Plik robots.txt pozostaje podstawowym narzędziem do wskazywania robotom indeksującym, które części witryny mogą one przeglądać. Wraz z pojawieniem się narzędzi wyszukiwania opartych na sztucznej inteligencji oraz agentów odwiedzających strony obok tradycyjnych robotów, znajomość zasad, których każdy z nich przestrzega, staje się kluczowa, aby przypadkowo nie wykluczyć swoich treści.
Umieszczony w głównym katalogu witryny, ten plik tekstowy zawiera kilka dyrektyw. User-agent określa konkretnego robota, Disallow nakazuje nie indeksować określonych ścieżek, Allow zezwala na indeksowanie niektórych adresów URL, nawet jeśli ich katalog nadrzędny jest zablokowany, a Sitemap wskazuje lokalizację mapy witryny w formacie XML. Działanie tych dyrektyw opisano w RFC 9309. Plik nie obsługuje pełnych wyrażeń regularnych i ma tylko dwa symbole wieloznaczne: gwiazdkę (*), która odpowiada zeru lub większej liczbie znaków, oraz znak dolara ($), który oznacza koniec adresu URL. Ścieżki są wrażliwe na wielkość liter, podczas gdy nazwy dyrektyw i nazwy robotów nie są.
Która reguła ma pierwszeństwo w przypadku konfliktu
Gdy robot ma przypisane własne reguły, stosuje się on do nich, a nie do reguł z grupy User-agent: *. W przypadku Google, w ramach danej grupy obowiązują dwie zasady. Najpierw stosowana jest reguła najbardziej szczegółowa, czyli taka, która pasuje do większej liczby znaków w adresie URL. Na przykład zezwolenie dotyczące podkatalogu, takiego jak /downloads/free/, ma pierwszeństwo przed zakazem dotyczącym /downloads/. Przy tej samej szczegółowości, stosowana jest reguła najmniej restrykcyjna.
Blokowanie stron, które nie muszą znajdować się w wynikach wyszukiwania, takich jak polityka prywatności, pozwala ograniczyć niepotrzebne indeksowanie i skierować budżet indeksowania na przydatne strony. Google wyjaśnia jednak, że nie przekłada się to automatycznie na zwiększenie budżetu dla innych stron, chyba że witryna osiągnęła już limit swojej zdolności indeksowania. Dotyczy to szczególnie sklepów internetowych: filtry o nieskończonej liczbie kombinacji oraz adresy URL akcji, takie jak dodawanie do koszyka lub listy życzeń, mogą generować ogromną liczbę stron bez własnej wartości. Gary Illyes z Google wielokrotnie ostrzegał, że takie adresy URL mogą być indeksowane w nieskończoność.
Plik nie gwarantuje jednak usunięcia strony z indeksu. Google może zaindeksować zablokowaną stronę na podstawie linków do niej prowadzących. Aby ją usunąć, źródło zaleca użycie znacznika noindex, pod warunkiem pozostawienia strony dostępnej do indeksowania, aby Google mogło odczytać tę instrukcję.
Roboty AI: szkolenie, wyszukiwanie i wizyty na żądanie
Kluczowa różnica dotyczy sposobu wykorzystania treści. Jeden robot może służyć do trenowania modelu językowego, inny do wyszukiwania lub pobierania informacji w czasie rzeczywistym, a jeszcze inny do wizyty zainicjowanej przez użytkownika. W OpenAI, OAI-SearchBot zasila odpowiedzi wyszukiwania w ChatGPT, ChatGPT-User obsługuje wizyty żądane przez użytkownika, a GPTBot służy do szkolenia. Możliwe jest więc zablokowanie GPTBot, jednocześnie zezwalając pozostałym dwóm.
Według badania BuzzStream, o którym w styczniu 2026 roku donosił Search Engine Journal, 79% przeanalizowanych amerykańskich i brytyjskich serwisów informacyjnych blokuje co najmniej jednego robota szkoleniowego, a 71% co najmniej jednego robota wyszukiwania lub pobierania w czasie rzeczywistym. Przewodnik podkreśla, że te roboty pobierające pomagają narzędziom AI znajdować i cytować strony, więc ich blokowanie jest odrębną decyzją od odmowy udziału w szkoleniu.
Te reguły mają ograniczenia. Robot, który ignoruje robots.txt, nadal może zbierać treści, a blokowanie szkolenia nie zmusza narzędzi AI do cytowania witryny. Według OpenAI, reguły z pliku mogą nie mieć zastosowania do ChatGPT-User, a Perplexity wskazuje, że Perplexity-User zazwyczaj je ignoruje. Anthropic twierdzi, że jej roboty, w tym Claude-User, przestrzegają robots.txt. Aby chronić prywatne informacje, nadal konieczne jest uwierzytelnianie.
Google i Apple oferują ponadto odrębne tokeny. Google-Extended obejmuje szkolenie modelu Gemini i niektóre zastosowania kotwiczenia odpowiedzi, nie blokując jednocześnie Googlebot ani włączenia do klasycznego wyszukiwania. Applebot-Extended kontroluje szkolenie modeli podstawowych, nie blokując indeksowania wyszukiwania przez Applebot. Oba te tokeny nie są osobnymi robotami: same w sobie nie zmniejszają liczby zapytań indeksujących.
