Co to jest robots.txt?

Jak wygląda i jak działa robots.txt?

Plik składa się z bloków dyrektyw. User-agent: * oznacza wszystkie roboty. Disallow: /wp-admin/ blokuje panel administracyjny. Allow: /wp-admin/admin-ajax.php otwiera wyjątek. Sitemap: wskazuje lokalizację mapy strony XML. Robots.txt to narzędzie do zarządzania crawl budgetem – indeksowaniem stron – czyli pulą zasobów, którą Google przeznacza na crawlowanie Twojego serwisu. Blokując strony techniczne i zduplikowane, kierujesz ten budżet na treści, które naprawdę mają trafić do indeksu. Razem z sitemap XML tworzy spójny system kontroli nad tym, co Google widzi w Twoim serwisie. Oba elementy wchodzą w skład technical SEO.

Co warto blokować w robots.txt?

Panel administracyjny CMS (/wp-admin/), strony koszyka i płatności w sklepach, wyniki wewnętrznej wyszukiwarki, strony ze zduplikowaną treścią tworzone przez filtry i sortowanie, strony testowe, staging i pliki techniczne bez wartości SEO. Czego natomiast nie blokować: plików CSS i JavaScript – Google potrzebuje ich do renderowania i oceny UX strony. Blokowanie stylów i skryptów to błąd, który może obniżać pozycje.

Robots.txt a bezpieczeństwo

Ważna uwaga: robots.txt to prośba, nie bariera. Uczciwe roboty wyszukiwarek ją respektują, złośliwe boty – niekoniecznie. Do ochrony wrażliwych treści i zasobów używaj mechanizmów autoryzacji, nie robots.txt. Co więcej, lista URL-ów w robots.txt jest publicznie dostępna – nie umieszczaj tam adresów stron, których nie chcesz ujawniać. Błędna konfiguracja – szczególnie przypadkowe Disallow: / blokujące cały serwis – to jeden z poważniejszych błędów technicznych, który regularnie pojawia się podczas audytu SEO – 50 punktów do sprawdzenia. Robots.txt jest częścią kompleksowego pozycjonowania stron po stronie technicznej.

Najczęściej zadawane pytania

Co to jest robots.txt?

Robots.txt to plik tekstowy w katalogu głównym serwisu, który komunikuje robotom wyszukiwarek, jakie strony mogą, a jakich nie powinny indeksować. To podstawowe narzędzie zarządzania indeksowaniem i crawl budgetem.

Czy robots.txt jest obowiązkowy?

Nie jest obowiązkowy, ale jest rekomendowany. Bez niego roboty mogą indeksować panel admina, strony testowe i zduplikowane treści – co marnuje crawl budget i może szkodzić SEO.

Jak sprawdzić zawartość pliku robots.txt?

Wpisz w przeglądarce yourdomain.com/robots.txt – plik jest publiczny. Możesz też zweryfikować jego poprawność w Google Search Console w zakładce Ustawienia → Plik robots.txt, gdzie narzędzie Google sprawdzi, czy nie ma błędów w składni.