# robots.txt — Stěhování Vektos s.r.o. (www.vektos.cz)
#
# Strategie (P7 audit 2026-05-21, rev. 2026-07-21):
#   - Tradiční search engines (Google, Bing, Seznam): Allow napříč webem
#   - AI search engines s real-time browsing (citují zdroj v odpovědi): Allow
#       → ChatGPT-User, OAI-SearchBot, PerplexityBot, Perplexity-User,
#         Claude-User, Claude-SearchBot, Google-Extended, Amazonbot
#   - AI training crawlers (sklízí obsah do training datasetů): Disallow
#       → GPTBot, ClaudeBot, Applebot-Extended, CCBot, Bytespider,
#         Meta-ExternalAgent, cohere-ai, Diffbot
#
# Cíl: maximalizovat brand exposure v AI Search Engines (Perplexity, ChatGPT Search,
# Google AI Overviews), minimalizovat drift obsahu do LLM training korpusů.
#
# Rev. 2026-07-21: +OAI-SearchBot (index pro ChatGPT Search), +Perplexity-User
#   (on-demand fetch), +Meta-ExternalAgent (blok Meta/Llama training);
#   −mrtvé /preview-* cesty (stránky už neexistují, kryje je sitemap filtr v astro.config).
#
# Rev. 2026-08-21 (audit A4, rozhodnutí Jakuba Q1=A): Google-Extended přesunut
#   z Disallow do Allow. Důvod: dokumentace Google říká, že tenhle token řídí trénink
#   Gemini A ZÁROVEŇ „grounding … in Gemini Apps and Vertex AI services", a výslovně
#   NEovlivňuje Google Search ani AI Overviews. Blok tedy nechránil před ničím, co by
#   nešlo přes Googlebot, a jen vyřazoval web z citací v aplikaci Gemini. U GPTBot
#   a ClaudeBot to neplatí — tam je citační bot oddělený (OAI-SearchBot / Claude-SearchBot)
#   a povolený, takže blok tréninku nic nestojí a zůstává.
#   Legacy tokeny: `Claude-Web` a `anthropic-ai` už Anthropic nedokumentuje (dnes jen
#   ClaudeBot / Claude-User / Claude-SearchBot); ponechány jen pro zpětnou kompatibilitu.
#   `OAI-AdsBot` (čtvrtý bot OpenAI, validace stránek poslaných jako reklamy v ChatGPT,
#   netrénuje) tu záměrně není — spadá pod `*`, tedy povolen.
#   ⚠️ NEZAVÁDĚT `Seznam-Extended` ani token `AI` — obojí je opt-out ze Seznam Asistenta.
#
# LLMs.txt: https://www.vektos.cz/llms.txt (navigation index pro LLM klienty per llmstxt.org)

# ─── Default policy (Googlebot, Bingbot, Seznambot, ostatní) ────────────────
User-agent: *
Allow: /
Disallow: /api/
Disallow: /dekujeme-stehovani/
Disallow: /dekujeme-vyklizeni/
Disallow: /dekujeme-autodoprava/
Disallow: /dekujeme-montaze/

# ─── AI training crawlers — DISALLOW (block content from training datasets) ──

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

# anthropic-ai = legacy token, Anthropic ho už nedokumentuje. Ponechán bez efektu.
User-agent: anthropic-ai
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Diffbot
Disallow: /

# ─── AI search engines (real-time browsing + citations) — ALLOW ──────────────
# Tyto boti navštíví web on-demand když se uživatel zeptá AI asistenta,
# a v odpovědi uvedou citaci na zdroj. Allow = brand visibility v AI search.

User-agent: ChatGPT-User
Allow: /
Disallow: /api/
Disallow: /dekujeme-stehovani/
Disallow: /dekujeme-vyklizeni/
Disallow: /dekujeme-autodoprava/
Disallow: /dekujeme-montaze/

# OAI-SearchBot = crawler budující index pro ChatGPT Search (není training).
User-agent: OAI-SearchBot
Allow: /
Disallow: /api/
Disallow: /dekujeme-stehovani/
Disallow: /dekujeme-vyklizeni/
Disallow: /dekujeme-autodoprava/
Disallow: /dekujeme-montaze/

User-agent: PerplexityBot
Allow: /
Disallow: /api/
Disallow: /dekujeme-stehovani/
Disallow: /dekujeme-vyklizeni/
Disallow: /dekujeme-autodoprava/
Disallow: /dekujeme-montaze/

# Google-Extended = řídí trénink Gemini a ZÁROVEŇ grounding v aplikaci Gemini
# a Vertex AI. Na Google Search ani AI Overviews nemá vliv (ty řídí Googlebot).
# Allow od 2026-08-21 = chceme být citovaní v aplikaci Gemini.
User-agent: Google-Extended
Allow: /
Disallow: /api/
Disallow: /dekujeme-stehovani/
Disallow: /dekujeme-vyklizeni/
Disallow: /dekujeme-autodoprava/
Disallow: /dekujeme-montaze/

# Perplexity-User = on-demand fetch při uživatelském dotazu (nemusí vždy ctít robots.txt).
User-agent: Perplexity-User
Allow: /
Disallow: /api/
Disallow: /dekujeme-stehovani/
Disallow: /dekujeme-vyklizeni/
Disallow: /dekujeme-autodoprava/
Disallow: /dekujeme-montaze/

# Claude-Web = legacy token, v aktuální dokumentaci Anthropiku už nefiguruje
# (dnes jen ClaudeBot / Claude-User / Claude-SearchBot). Ponechán bez efektu.
User-agent: Claude-Web
Allow: /
Disallow: /api/
Disallow: /dekujeme-stehovani/
Disallow: /dekujeme-vyklizeni/
Disallow: /dekujeme-autodoprava/
Disallow: /dekujeme-montaze/

User-agent: Claude-User
Allow: /
Disallow: /api/
Disallow: /dekujeme-stehovani/
Disallow: /dekujeme-vyklizeni/
Disallow: /dekujeme-autodoprava/
Disallow: /dekujeme-montaze/

User-agent: Claude-SearchBot
Allow: /
Disallow: /api/
Disallow: /dekujeme-stehovani/
Disallow: /dekujeme-vyklizeni/
Disallow: /dekujeme-autodoprava/
Disallow: /dekujeme-montaze/

User-agent: Amazonbot
Allow: /
Disallow: /api/
Disallow: /dekujeme-stehovani/
Disallow: /dekujeme-vyklizeni/
Disallow: /dekujeme-autodoprava/
Disallow: /dekujeme-montaze/

Sitemap: https://www.vektos.cz/sitemap-index.xml