Plik robots.txt — co blokować, czego nie ruszać i jak zatrzymać boty AI

Co to jest robots.txt

To zwykły plik tekstowy w katalogu głównym domeny (np. https://twojadomena.pl/robots.txt), w którym prosisz roboty, żeby nie odwiedzały wybranych miejsc. Roboty wyszukiwarek sprawdzają go przed pobraniem stron. Plik przygotujesz i przetestujesz w generatorze robots.txt.

User-agent: * Disallow: /koszyk/ Disallow: /*?sort= Sitemap: https://twojadomena.pl/sitemap.xml

Robots.txt to nie noindex

To najczęstsze nieporozumienie. Disallow mówi „nie pobieraj tej strony”, ale strona może dalej pojawić się w Google — bez opisu — jeśli prowadzą do niej linki. Żeby usunąć stronę z wyników, potrzebny jest meta tag <meta name="robots" content="noindex"> (przygotujesz go w generatorze meta tagów), a robot musi móc go odczytać — czyli strona nie może być zablokowana w robots.txt.

Co warto blokować

• wyniki wewnętrznej wyszukiwarki (/?s=, /szukaj) — nieskończenie wiele mało wartościowych stron,
• koszyk, zamówienie, konto klienta,
• adresy z parametrami sortowania i filtrów, jeśli tworzą tysiące kombinacji,
• panel administracyjny (to porządek, nie zabezpieczenie).

Czego nie blokować

• CSS, JavaScript i obrazów — Google renderuje stronę jak przeglądarka; bez stylów oceni ją jako niedopasowaną do telefonów.
• Stron, które mają zniknąć z Google — użyj noindex lub przekierowania 301 (zob. przekierowania przy zmianie adresów).
• Całej strony po wdrożeniu — klasyczny błąd: wersja testowa miała Disallow: / i plik trafił na serwer produkcyjny. Ruch z Google znika po kilku dniach.

Boty AI

Roboty takie jak GPTBot, ClaudeBot, CCBot czy Google-Extended zbierają treści do trenowania modeli sztucznej inteligencji. Jeśli nie chcesz, żeby Twoje teksty były w ten sposób wykorzystywane, dodaj dla nich osobną grupę z Disallow: /. Nie wpływa to na zwykłe indeksowanie w Google i Bing. Pamiętaj jednak, że robots.txt działa tylko wobec robotów, które go przestrzegają — znane firmy deklarują, że to robią.

Jak roboty czytają reguły

1. Robot szuka grupy ze swoją nazwą; jeśli jej nie ma — używa grupy *. Grupy się nie sumują.
2. Z reguł w grupie wygrywa najdłuższa pasująca ścieżka; przy remisie — Allow.
3. Wielkość liter w ścieżkach ma znaczenie: /Admin to nie /admin.

Tester w generatorze stosuje te same zasady, więc od razu zobaczysz, która reguła zadecydowała. O pozostałych podstawach SEO przeczytasz w poradniku meta tagi SEO.