# =====================================================================
#  robots.txt — Ultra-book Diffusion / Les Illustrateurs
# ---------------------------------------------------------------------
#  Stratégie :
#   - On AUTORISE les IA/crawlers à lire le TEXTE du site (SEO / GEO :
#     voir la page /llm-info destinée aux moteurs de recherche IA).
#   - On INTERDIT aux robots IA connus de crawler les IMAGES des
#     créatifs (dossier /storage/), pour éviter leur réutilisation ou
#     leur transformation par des IA génératives.
#
#  ⚠ robots.txt n'est qu'une DEMANDE : seuls les robots « polis » la
#  respectent. Le blocage réellement appliqué (403) est dans .htaccess
#  (blocage des user-agents IA sur les fichiers images).
# =====================================================================

# --- Tous les robots : accès complet au site ---
User-agent: *
Disallow:

# --- Robots IA : interdits sur les images des créatifs ---
# (texte du site toujours autorisé pour le référencement IA)

User-agent: GPTBot
Disallow: /storage/

User-agent: ChatGPT-User
Disallow: /storage/

User-agent: OAI-SearchBot
Disallow: /storage/

User-agent: ClaudeBot
Disallow: /storage/

User-agent: Claude-Web
Disallow: /storage/

User-agent: anthropic-ai
Disallow: /storage/

User-agent: Google-Extended
Disallow: /storage/

User-agent: Applebot-Extended
Disallow: /storage/

User-agent: PerplexityBot
Disallow: /storage/

User-agent: Perplexity-User
Disallow: /storage/

User-agent: CCBot
Disallow: /storage/

User-agent: Bytespider
Disallow: /storage/

User-agent: Amazonbot
Disallow: /storage/

User-agent: cohere-ai
Disallow: /storage/

User-agent: Diffbot
Disallow: /storage/

User-agent: ImagesiftBot
Disallow: /storage/

User-agent: Meta-ExternalAgent
Disallow: /storage/

User-agent: Omgilibot
Disallow: /storage/