Le fichier robots.txt contrôle quels bots peuvent accéder à votre site. Pour le GEO, il faut autoriser explicitement les crawlers des moteurs IA — sinon, vous êtes invisible.
Configuration recommandée pour le GEO
User-agent: * Allow: / Sitemap: https://votresite.com/sitemap.xml # Autoriser explicitement les crawlers IA User-agent: GPTBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: OAI-SearchBot Allow: / User-agent: ClaudeBot Allow: / User-agent: anthropic-ai Allow: / User-agent: PerplexityBot Allow: / User-agent: Google-Extended Allow: / User-agent: Applebot-Extended Allow: / User-agent: CCBot Allow: / # Bloquer les scrapers inutiles User-agent: Bytespider Disallow: /
Liste des principaux crawlers IA
- GPTBot — OpenAI (entraînement ChatGPT)
- ChatGPT-User — OpenAI (recherche temps réel)
- OAI-SearchBot — OpenAI (Search)
- ClaudeBot — Anthropic
- anthropic-ai — Anthropic (legacy)
- PerplexityBot — Perplexity
- Google-Extended — Google (Gemini)
- Applebot-Extended — Apple Intelligence
- CCBot — Common Crawl
- Bytespider — ByteDance (à bloquer souvent)
Erreur fréquente : bloquer par défaut
De nombreux sites bloquent encore User-agent: * ou ont des règles restrictives qui bloquent les bots IA sans le savoir. Vérifiez votre robots.txt — c'est souvent le premier obstacle GEO.
Et votre site, comment se positionne-t-il ?
Diagnostic gratuit en 60 secondes — découvrez votre score de visibilité IA et les recommandations actionnables.