Przejdź do treści

Generator robots.txt z testerem adresów

Utwórz plik robots.txt: zablokuj panel administracyjny, wyniki wyszukiwania lub boty AI, dodaj mapę strony — i od razu sprawdź, czy wybrany adres będzie dostępny dla Googlebota lub innego robota.




  
  



    
  

    

    Umieść to narzędzie na swojej stronie
    

      
Bezpłatnie, bez rejestracji. Widżet pokazuje na dole napis „Narzędzie udostępnia AMKBIT.pl”.

      

        
        
        
        
      

      

      
      
Strona demonstracyjna

      
    

  

      

    
Budowa pliku robots.txt


User-agent: *            # dla wszystkich robotów
Disallow: /wp-admin/     # nie odwiedzaj tego katalogu
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xml


    

  • User-agent — nazwa robota, którego dotyczą reguły (gwiazdka = wszystkie).
    • 

  • Disallow — ścieżka, której robot nie powinien pobierać; puste Disallow: oznacza brak ograniczeń.
    • 

  • Allow — wyjątek od Disallow. Wygrywa reguła dłuższa (bardziej szczegółowa).
    • 

  • * zastępuje dowolny ciąg znaków, $ oznacza koniec adresu: /*.pdf$ blokuje wszystkie pliki PDF.
    • 

  • Sitemap — pełny adres mapy strony; ułatwia robotom znalezienie wszystkich podstron.
    • 



Czego nie blokować


Nie blokuj plików CSS i JavaScript — Google musi je pobrać, żeby poprawnie ocenić stronę. Nie blokuj też stron, które chcesz usunąć z wyników: robot nie zobaczy wtedy meta tagu noindex. Ustawienia meta robots przygotujesz w generatorze meta tagów.


Boty AI


Firmy rozwijające modele językowe udostępniają nazwy swoich robotów, żeby właściciele stron mogli zdecydować, czy treści mogą być używane do trenowania. Lista w generatorze obejmuje najpopularniejsze z nich; zablokowanie ich nie wpływa na pozycję w zwykłej wyszukiwarce Google (Google-Extended dotyczy tylko modeli AI Google).
        
Przykłady

    
Sklep
Blokada koszyka i PDF-ów: Disallow: /koszyk/, Disallow: /*.pdf$. Adres /koszyk/podsumowanie → zablokowany.

            
Najczęstsze pytania

    
Czy robots.txt ukryje stronę przed ludźmi?
Nie. Plik jest publiczny i każdy może go odczytać — wręcz wskazuje, gdzie są „ciekawe” katalogi. Poufne miejsca zabezpieczaj hasłem lub logowaniem.

            
Poradniki

    
Programowanie i tworzenie stronPlik robots.txt — co blokować, czego nie ruszać i jak zatrzymać boty AIJak działa robots.txt, czym różni się od meta tagu noindex, jakie błędy potrafią wyrzucić stronę z Google i jak zablokować roboty zbierające treści…Programowanie i tworzenie stronSitemap.xml — co to jest i jak ją przygotowaćDo czego służy mapa strony, które adresy dodać, gdzie ją umieścić i jak zgłosić ją wyszukiwarce.Programowanie i tworzenie stronKody odpowiedzi HTTP — 200, 301, 404, 500 i inne: co znaczą i co z nimi zrobićŚciąga z najważniejszych kodów statusu HTTP dla właścicieli stron i programistów: które są w porządku, które szkodzą SEO, czym różni się 301 od 302…

        
Wynik ma charakter pomocniczy. Przy ważnych decyzjach (finansowych, technicznych, zdrowotnych) sprawdź go niezależnie. Zasady korzystania.