freetool.cz
Nástroje

Generátor robots.txt (i pro blokování AI)

Zakažte přístup nechtěným botům, chraňte svůj obsah před trénováním umělé inteligence a ukažte Googlu svou Sitemapu.

Pravidla pro vyhledávače a boty

Pomůže Googlu a Seznamu rychleji objevit vaše články.

Blokovat AI boty (OpenAI, Anthropic...)
Zabrání vysávání vašeho obsahu pro trénink AI.
Blokovat agresivní SEO boty
Zastaví Ahrefs, Semrush, Majestic atd. (šetří výkon).
Ochrana pro WordPress
Zablokuje procházení složky /wp-admin/ a hledání.

Váš robots.txt

Tento text uložte do souboru s názvem robots.txt a nahrajte do hlavní složky webu (přístupné na vase-domena.cz/robots.txt).

Co je robots.txt a proč je důležitý?

Soubor robots.txt je jednoduchý textový soubor umístěný v kořenovém adresáři vašeho webu. Funguje jako vrátný pro vyhledávače (jako Google, Seznam, Bing) a další automatizované boty. Říká jim, které části vašeho webu smějí procházet a indexovat, a které naopak musí ignorovat.

Nová výzva: Ochrana před umělou inteligencí (AI)

V posledních letech se internetem pohybují noví roboti patřící společnostem zabývajícím se AI (OpenAI, Anthropic, Google, Meta). Tito roboti stahují váš autorský obsah a texty, aby na nich zdarma trénovali své velké jazykové modely (LLM). Pomocí našeho generátoru můžete těmto botům přístup jedním kliknutím odepřít.

Příklady blokovaných AI botů: GPTBot (trénink pro ChatGPT), ChatGPT-User (vyhledávání pluginů pro ChatGPT), Google-Extended (trénink pro Google Gemini) a CCBot (Common Crawl, který využívá mnoho jiných AI projektů).

Proč přidávat odkaz na Sitemapu?

Když na konec souboru robots.txt přidáte platný absolutní odkaz na vaši XML Sitemapu (mapu stránek), výrazně ulehčíte vyhledávačům práci. Nemusí zdlouhavě procházet vaše menu a odkazy, ale rovnou si stáhnou kompletní seznam všech článků a produktů na vašem webu. To urychlí jejich zobrazení ve výsledcích vyhledávání (SEO).

Obsah zkopírován do schránky!

Co robots.txt umí a co ne

Soubor musí ležet přímo v kořeni domény a je platný pro daný protokol, doménu i port. Formát popisuje standard RFC 9309: bloky začínají řádkem User-agent a obsahují pravidla Disallow a Allow, cesty se porovnávají od začátku a při konfliktu vyhrává specifičtější pravidlo. Direktiva Sitemap platí globálně, nezávisle na blocích.

Zásadní nedorozumění je, že robots.txt neřídí indexaci, ale procházení. Zakázaná stránka se stále může objevit ve výsledcích vyhledávání, pokud na ni vedou odkazy, jen bez popisku. Chcete-li stránku z výsledků skutečně vyloučit, potřebujete meta značku noindex nebo hlavičku X-Robots-Tag a robot k ní musí mít přístup, aby ji přečetl; zákaz v robots.txt by mu v tom paradoxně zabránil.

Blokování botů, kteří sbírají data pro modely

Provozovatelé jazykových modelů deklarují vlastní identifikátory. Patří mezi ně GPTBot a ChatGPT-User od OpenAI, Google-Extended jako signál pro trénink u Googlu, ClaudeBot, PerplexityBot, Applebot-Extended, Bytespider nebo CCBot pro Common Crawl, z jehož archivu čerpá řada dalších. Každého je nutné uvést ve vlastním bloku User-agent, protože hvězdička je jen záložní pravidlo pro roboty, kteří nemají blok vlastní.

Dodržování je dobrovolné. Velcí provozovatelé se pravidly řídí a zveřejňují rozsahy adres, u anonymních scraperů nezmůže robots.txt nic; ti se identifikují jako běžný prohlížeč. Skutečná ochrana obsahu se dělá na úrovni serveru, přihlášení nebo limitu požadavků. Blokování Google-Extended navíc nemá vliv na běžné vyhledávání a řazení ve výsledcích.

Časté chyby v konfiguraci

Nejdražší chybou je řádek zakazující celý web, který zůstane po přechodu z testovacího prostředí do produkce. Druhou je blokování složek s obrázky, styly a skripty; vyhledávač pak stránku nedokáže vykreslit a hodnotí ji jako rozbitou.

Direktiva Crawl-delay není součástí standardu a Google ji ignoruje, jiné vyhledávače ji respektují. Cesty se zadávají absolutně od kořene, hvězdička zastupuje libovolný řetězec a znak dolaru značí konec adresy. Prázdný Disallow znamená povolit vše. A administraci nemá smysl v souboru vypisovat, pokud tím jen prozradíte její umístění; soubor si přečte kdokoli.

Další nástroje z kategorie vývojářské nástroje

Zobrazit vše

Base64 Kodér a Dekodér

Obousměrný převod textu do formátu Base64 a zpět v reálném čase. Plná podpora pro české UTF-8 znaky.

Markdown Editor a HTML generátor

Pište texty bleskově ve formátu Markdown, sledujte živý náhled a jedním kliknutím exportujte čistý HTML kód.

Generátor SVG ikony z textu

Z názvu nebo jména vytvoří SVG ikonu s iniciálami a barvou odvozenou z textu. Vhodné jako náhradní avatar…

JWT dekodér

Rozbalte JSON Web Token a podívejte se na hlavičku, payload a čas expirace.

JSON Formátovač a Validátor

Zformátujte, zpřehledněte nebo naopak zmenšete (minify) svůj JSON kód. Obsahuje i okamžitou kontrolu chyb.

Kalkulačka bitrate videa

Spočítá potřebný datový tok podle rozlišení, snímkování a kodeku a odhadne velikost výsledného souboru i dobu…

Něco tu nesedí, nebo vám něco chybí?