Crawl Budget

Czym jest Crawl Budget?

Budżet indeksowania to ilość czasu i zasobów, jaką wyszukiwarka przeznacza na indeksowanie określonej witryny. Innymi słowy, jest to maksymalna liczba stron, które wyszukiwarka może przeszukać w witrynie w określonym czasie. Budżet indeksowania może być różny dla różnych wyszukiwarek (lub robotów indeksujących).

Google twierdzi, że nie należy martwić się o budżet indeksowania, chyba że:

• Twoja witryna ma ponad 1 milion unikalnych stron z treścią, która zmienia się mniej więcej raz w tygodniu.
• Masz średniej wielkości witrynę (około 10 tys. stron) i często zmieniasz zawartość (codziennie).
• Prowadzisz serwis informacyjny.
• Search Console klasyfikuje większość adresów URL witryny jako "Wykryte - obecnie nieindeksowane".

Każda witryna otrzymuje inny budżet indeksowania w oparciu o dwa główne czynniki:

1. Zapotrzebowanie na indeksowanie: Zdefiniowane przez liczbę stron, częstotliwość publikowania/aktualizowania i popularność stron.
2. Crawl Rate Limit: zależy od możliwości serwera, limitu indeksowania ustawionego przez właściciela witryny w Search Console, limitu indeksowania wyszukiwarki i automatycznych dostosowań Google na podstawie czasu odpowiedzi serwera.

Dlaczego Crawl Budget jest ważny?

Budżet indeksowania jest ważny, ponieważ wpływa na to, ile stron Googlebot może indeksować w Twojej witrynie i jak często Googlebot może ponownie indeksować Twoje strony internetowe, aby zaktualizować swój indeks. Google ma ogromne zasoby, ale nie może indeksować (i regularnie indeksować) wszystkich stron w Internecie. W rezultacie Google przydziela witrynom budżet na indeksowanie.

Aby upewnić się, że budżet na indeksowanie nie jest marnowany na nieistotne strony, należy skupić się na optymalizacji wydajności indeksowania witryny.

Jak zwiększyć budżet Crawl?

1. Przyspiesz swój serwer i skróć czas ładowania strony

Czas reakcji serwera i szybkość ładowania strony mają bezpośredni wpływ na indeksowanie. Gdy Googlebot indeksuje witrynę, najpierw pobiera zasoby, a następnie je przetwarza. Jeśli serwer reaguje szybko, Googlebot może indeksować więcej stron w witrynie.

• Skorzystaj z szybkiej i niezawodnej usługi hostingowej i sieci dostarczania treści (CDN), aby poprawić początkowy czas odpowiedzi serwera.
• Skróć czas ładowania strony, zapobiegając indeksowaniu dużych, ale niekrytycznych zasobów za pomocą pliku robots.txt, unikając długich łańcuchów przekierowań oraz usuwając ciężkie i źle zakodowane motywy i wtyczki.

2. Dodaj więcej linków

Liczba linków do strony wskazuje na jej znaczenie dla Google. Googlebot traktuje priorytetowo strony z większą liczbą linków zwrotnych i wewnętrznych. Zwiększ budżet indeksowania, dodając więcej linków zewnętrznych i wewnętrznych do swoich stron.

• Aby uzyskać sugestie dotyczące linkowania wewnętrznego, przeprowadź audyt swojej witryny za pomocą narzędzi takich jak Audyt witryny Ranktracker.

3. Napraw uszkodzone linki i zmniejsz liczbę przekierowań

Zbyt wiele niedziałających linków wewnętrznych (kody odpowiedzi 404 lub 410) i przekierowanych adresów URL (3xx) może marnować budżet indeksowania witryny. Napraw niedziałające linki i niepotrzebne przekierowania, aby zoptymalizować budżet indeksowania.

• Skorzystaj z narzędzi takich jak Audyt witryny Ranktracker, aby znaleźć uszkodzone i przekierowujące adresy URL w swojej witrynie.

4. Jeśli to możliwe, użyj interfejsu API indeksowania

Interfejs API indeksowania umożliwia bezpośrednie powiadamianie Google o dodaniu, usunięciu lub aktualizacji stron w witrynie. Pomaga to w szybszym indeksowaniu stron.

• Uwaga: Interfejs API indeksowania jest obecnie dostępny dla określonych przypadków użycia, takich jak filmy na żywo i oferty pracy.

Najczęściej zadawane pytania

Czy Googlebot respektuje opóźnienie indeksowania w pliku robots.txt?

Nie, Googlebot nie przestrzega ustawień opóźnienia indeksowania zastosowanych w pliku robots.txt.

Kiedy należy dbać o budżet Crawl?

Powinieneś dbać o budżet indeksowania, jeśli prowadzisz bardzo dużą witrynę (ponad 1 milion stron) lub średniej wielkości witrynę z bardzo częstymi (codziennymi) zmianami treści. Większość witryn nie musi martwić się o budżet indeksowania.

Jak mogę sprawdzić Crawl Budget dla mojej strony internetowej?

Nigdzie nie znajdziesz dokładnej liczby dla budżetu indeksowania. Możesz jednak sprawdzić przegląd aktywności indeksowania Google w raporcie Crawl Stats w Google Search Console.

Aby uzyskać więcej informacji na temat poprawy SEO witryny i wydajności indeksowania, odwiedź blog Ranktracker i zapoznaj się z naszym kompleksowym przewodnikiem SEO. Dodatkowo, zapoznaj się z kluczowymi terminami i pojęciami SEO w naszym Słowniku SEO.