# ─────────────────────────────────────────────────────────────
# robots.txt · www.assocarservice.it
# Doctrine: AI-OPEN — dominio dealer, nessuna IP proprietaria qui.
# robots.txt = ACCESSO (Allow/Disallow) + preferenze d'uso AI (Content-Signal).
# Policy d'uso estesa → /ai.txt (Allow-Training: yes · CC-BY-4.0) + X-Robots-Tag.
# RFC 9309: un crawler segue UN solo gruppo → niente gruppi per-bot
# "Allow: /" (no-op che scollegherebbero i Disallow). Tutto sotto "*".
# ─────────────────────────────────────────────────────────────

User-agent: *
# Content Signals (Cloudflare, CC0 · standardizzazione IETF AIPREF in corso):
#   search   = indicizzazione motori di ricerca tradizionali
#   ai-input = uso in risposte AI generative (RAG / grounding / citazione)
#   ai-train = uso per addestramento di modelli
# Dominio dealer: tutto consentito (nessuna IP proprietaria qui). Preferenze, non blocchi.
Content-Signal: search=yes, ai-input=yes, ai-train=yes
Allow: /
Disallow: /api/
Disallow: /richiesta

# Bytespider (ByteDance): ignora spesso robots, crawl aggressivo,
# rapporto crawl/citazione ~0 — costo banda senza ritorno. Escluso.
# Enforcement reale per un bot che ignora robots: regola UA su WAF/Cloudflare.
User-agent: Bytespider
Disallow: /

# Sitemap INDEX top-level — lista tutti i segment children sotto
Sitemap: https://www.assocarservice.it/sitemap.xml
# Segment sitemaps (audit-grade granularity 2026-05-20)
Sitemap: https://www.assocarservice.it/sitemap-pages.xml
Sitemap: https://www.assocarservice.it/sitemap-vehicles.xml
Sitemap: https://www.assocarservice.it/sitemap-nlt.xml
Sitemap: https://www.assocarservice.it/sitemap-content.xml
# Specialized sitemaps (AI/LLM channels)
Sitemap: https://www.assocarservice.it/news-sitemap.xml
Sitemap: https://www.assocarservice.it/sitemap-llm.xml
Sitemap: https://www.assocarservice.it/ai-sitemap.xml

# RSS feed (Google Discover Follow, Apple News, RSS readers)
# https://www.assocarservice.it/rss.xml

# LLM discovery
# llms.txt: https://www.assocarservice.it/llms.txt
# llms-full.txt: https://www.assocarservice.it/llms-full.txt
# ai.txt: https://www.assocarservice.it/ai.txt
# ai-plugin: https://www.assocarservice.it/.well-known/ai-plugin.json
# sitemap-llm: https://www.assocarservice.it/sitemap-llm.xml (RAG-utili, xhtml:link alternate .llms.txt)
# opensearch: https://www.assocarservice.it/opensearch.xml (AI agentic search descriptor)