Co je robots.txt a proč je důležitý?
Soubor robots.txt je jednoduchý textový soubor umístěný v kořenovém adresáři vašeho webu. Funguje jako vrátný pro vyhledávače (jako Google, Seznam, Bing) a další automatizované boty. Říká jim, které části vašeho webu smějí procházet a indexovat, a které naopak musí ignorovat.
Nová výzva: Ochrana před umělou inteligencí (AI)
V posledních letech se internetem pohybují noví roboti patřící společnostem zabývajícím se AI (OpenAI, Anthropic, Google, Meta). Tito roboti stahují váš autorský obsah a texty, aby na nich zdarma trénovali své velké jazykové modely (LLM). Pomocí našeho generátoru můžete těmto botům přístup jedním kliknutím odepřít.
Příklady blokovaných AI botů: GPTBot (trénink pro ChatGPT), ChatGPT-User (vyhledávání pluginů pro ChatGPT), Google-Extended (trénink pro Google Gemini) a CCBot (Common Crawl, který využívá mnoho jiných AI projektů).
Proč přidávat odkaz na Sitemapu?
Když na konec souboru robots.txt přidáte platný absolutní odkaz na vaši XML Sitemapu (mapu stránek), výrazně ulehčíte vyhledávačům práci. Nemusí zdlouhavě procházet vaše menu a odkazy, ale rovnou si stáhnou kompletní seznam všech článků a produktů na vašem webu. To urychlí jejich zobrazení ve výsledcích vyhledávání (SEO).