Co to jest crawl budget?

Crawl budget to liczba adresów URL, które robot Google (Googlebot) jest gotowy odwiedzić i przeanalizować w Twoim serwisie w określonym przedziale czasu. Google nie ma nieograniczonych zasobów – każdej domenie przydziela określoną pulę crawlowania i po jej wyczerpaniu odkłada wizytę pozostałych stron na później. Dla małych witryn ten temat jest nieistotny, ale duże serwisy z setkami podstron mogą tracić widoczność, bo SEO nie może zadziałać na stronach, których Google po prostu nie odwiedza.

Od czego zależy crawl budget?

Google wyznacza crawl budget na podstawie dwóch czynników: crawl rate limit (jak szybko serwer odpowiada – im szybciej, tym więcej stron robot może odwiedzić) oraz crawl demand (jak popularna i aktualizowana jest strona – serwisy z dużą liczbą backlinków i częstymi aktualizacjami dostają wyższy budżet). Im wolniejszy serwer i im mniej wartościowa domena, tym mniej stron Googlebot odwiedzi dziennie. Szczegółowo całą mechanikę indeksowania omawia artykuł Crawl budget – dlaczego Google nie indeksuje stron?.

Co marnuje crawl budget?

Największymi pożeraczami crawl budgetu są: adresy URL generowane przez filtry i sortowanie w sklepach internetowych (setki wariantów tej samej strony z parametrami), strony z błędami 404 i 500, łańcuchy przekierowań, zduplikowana treść dostępna pod wieloma URL-ami i strony techniczne CMS, które powinny być zablokowane w pliku robots.txt. Każda z tych wizyt to zmarnowany budżet, który mógł trafić na Twoje kluczowe podstrony.

Jak optymalizować crawl budget?

Podstawowe działania to: blokowanie w robots.txt stron bez wartości SEO, poprawna konfiguracja mapy strony XML (tylko strony, które chcesz zaindeksować), usuwanie lub scalanie zduplikowanego contentu, poprawa szybkości serwera i redukcja błędów 4xx/5xx. Crawl budget jest elementem technical SEO i ma największe znaczenie dla serwisów powyżej kilkuset podstron. Mniejsze firmowe witryny rzadko muszą się tym martwić, ale warto znać pojęcie przy planowaniu struktury pozycjonowania stron.

Najczęściej zadawane pytania

Co to jest crawl budget?

Crawl budget to liczba URL-ów, które Googlebot jest w stanie odwiedzić w Twoim serwisie w danym czasie. Każdej domenie Google przydziela określoną pulę zasobów crawlowania – po jej wyczerpaniu pozostałe strony muszą czekać na kolejną wizytę robota.

Czy mała strona firmowa musi martwić się crawl budgetem?

Nie – małe serwisy z kilkudziesięcioma podstronami nie mają problemów z crawl budgetem. Temat jest istotny dla dużych witryn (sklepy internetowe, portale, serwisy z setkami podstron), gdzie nieoptymalna konfiguracja może prowadzić do nierównego indeksowania.

Jak sprawdzić, jak Googlebot crawluje moją stronę?

W Google Search Console, w zakładce Ustawienia → Statystyki crawlowania, znajdziesz dane o liczbie stron odwiedzanych przez Googlebota dziennie, czasie pobierania i rodzaju crawlowanych zasobów.