L’essentiel à retenir
- Deux mécanismes : l’entraînement des modèles (robots GPTBot, ClaudeBot, Google-Extended, CCBot) et la recherche en temps réel au moment de la réponse (OAI-SearchBot, PerplexityBot, index Bing et Google).
- La règle qui compte : bloquer l’entraînement n’empêche pas la citation ; bloquer la recherche la supprime.
- Prérequis : être indexé et bien classé dans Google et Bing, contenu présent dans le HTML sans JavaScript, pages rapides.
- Compléments : fichier llms.txt, données structurées, sitemap à jour ; vérification par les journaux du serveur.
Pour être cité par un assistant IA, votre site doit d’abord être lu par lui. Contrairement à une idée répandue, les assistants n’ont pas leur propre index complet du web : ils combinent ce que le modèle a appris lors de son entraînement et une recherche en temps réel dans des index existants (Bing pour ChatGPT et Copilot, Google pour Gemini, un index propre complété pour Perplexity). Cet article décrit les robots, les index, les réglages du robots.txt, les conditions de rendu et la façon de vérifier que votre site est bien lu. C’est le socle technique du GEO.
Entraînement et recherche : deux mécanismes distincts
| Entraînement (training) | Recherche au moment de la réponse (retrieval) | |
|---|---|---|
| Quand | Collecte massive périodique, intégrée au modèle lors de sa mise à jour | À chaque question, l’assistant interroge un index et lit quelques pages |
| Effet pour vous | Le modèle « connaît » votre marque, avec un retard de plusieurs mois | Vos pages sont citées avec lien dans la réponse |
| Robots | GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Gemini), CCBot (Common Crawl), Applebot-Extended, Meta-ExternalAgent | OAI-SearchBot et ChatGPT-User (OpenAI), PerplexityBot et Perplexity-User, Googlebot (aperçus IA, Gemini), Bingbot (Copilot, ChatGPT) |
| Si vous bloquez | Le modèle apprend moins sur vous ; peu d’effet sur les citations | Vous disparaissez des réponses avec sources |
Google-Extended ne contrôle que l’usage des contenus pour l’entraînement de Gemini ; les aperçus IA de la recherche Google utilisent Googlebot et suivent les règles habituelles (noindex, nosnippet, max-snippet). Le détail des sources utilisées par chaque assistant est dans les sources des IA génératives.
Régler le robots.txt
La recommandation pour une entreprise qui veut être citée : autoriser tous les robots de recherche IA, et décider séparément pour les robots d’entraînement. Exemple minimal :
| Directive | Effet | Recommandation |
|---|---|---|
User-agent: OAI-SearchBot puis Allow: / | ChatGPT peut citer vos pages dans ses recherches | Autoriser |
User-agent: PerplexityBot puis Allow: / | Perplexity indexe et cite | Autoriser |
User-agent: Googlebot / Bingbot | Recherche classique, aperçus IA, Copilot, ChatGPT via Bing | Autoriser (déjà le cas) |
User-agent: GPTBot, ClaudeBot, Google-Extended, CCBot | Entraînement des modèles | Au choix : autoriser pour que les modèles connaissent votre marque, bloquer pour protéger des contenus à forte valeur (base de connaissances payante) |
Balise nosnippet ou max-snippet | Limite l’extrait affiché par Google, aperçus IA compris | Ne pas utiliser sur les pages à citer |
Beaucoup de sites ont bloqué tous les robots IA en 2023-2024 par réflexe, GPTBot compris, et ont copié des listes qui incluaient les robots de recherche. Vérifiez votre fichier : une PME qui vend des services n’a aucun intérêt à empêcher ChatGPT de la recommander. Les règles de robots.txt sont détaillées dans meta robots et robots.txt.
Les conditions de lecture
- Être indexé et classé : les assistants piochent dans les premiers résultats de Bing et Google ; une page non indexée ou en page 5 n’est pas lue. Le SEO reste le prérequis ; voir le rapport Indexation de la Search Console. Vérifiez aussi l’indexation dans Bing (Bing Webmaster Tools), souvent négligée alors que ChatGPT et Copilot s’appuient dessus.
- Contenu dans le HTML : la plupart des robots IA n’exécutent pas le JavaScript. Un contenu chargé côté client est invisible pour eux. Rendu serveur ou statique pour les pages clés.
- Vitesse et disponibilité : les robots de recherche IA ont des délais courts ; une page lente ou un serveur qui répond 5xx sont ignorés.
- Pas de mur : paywall, connexion obligatoire, bannière qui masque le contenu dans le HTML, protections anti-bot trop agressives (certains pare-feux bloquent PerplexityBot).
- Structure lisible : titres hiérarchisés, paragraphes autonomes, tableaux HTML, données structurées ; voir structurer ses pages pour les IA.
Le fichier llms.txt
Proposé en 2024, llms.txt est un fichier texte à la racine du site qui présente l’entreprise et liste ses pages importantes avec un titre et une description, en Markdown, pour faciliter la lecture par les modèles. Aucun grand assistant n’a confirmé l’utiliser pour la recherche, mais le coût est nul et il sert de sommaire propre. GreenRed en publie un, régénéré à chaque mise à jour des ressources : www.greenred.fr/llms.txt. Considérez-le comme un complément au sitemap, pas comme un levier.
Vérifier que les IA lisent votre site
- Journaux du serveur : filtrer les user-agents GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Google-Extended ; leur présence et leur fréquence indiquent ce qui est lu. Les visites de ChatGPT-User et Perplexity-User correspondent à des lectures déclenchées par des questions d’utilisateurs.
- Test direct : demander à ChatGPT (avec recherche) et à Perplexity « que propose [votre entreprise] ? » et « résume la page [URL] » ; une réponse exacte et récente prouve la lecture.
- Trafic référent : sessions venues de chatgpt.com, perplexity.ai, gemini.google.com dans GA4 ; voir identifier le trafic IA dans GA4.
- Bing Webmaster Tools : pages indexées et erreurs, souvent différentes de la Search Console.
- Outil de suivi GEO : citations par question et par moteur.
Comment GreenRed vous aide
Plutôt que de jongler entre plusieurs outils, le suivi GEO de GreenRed réunit ces indicateurs dans un seul tableau de bord, les compare dans le temps et vous indique les actions prioritaires. Vous pouvez le tester gratuitement, sans carte bancaire, depuis la page Tarifs.
Questions fréquentes
Faut-il bloquer GPTBot ?
GPTBot sert à l’entraînement des modèles d’OpenAI, pas à la recherche en temps réel de ChatGPT, qui utilise OAI-SearchBot et l’index Bing. Le bloquer réduit ce que le modèle apprend sur vous sans supprimer les citations. Une entreprise qui veut être connue et recommandée a plutôt intérêt à l’autoriser ; un éditeur de contenus payants peut le bloquer.
Comment ChatGPT trouve-t-il les pages qu’il cite ?
Quand la recherche web est active, ChatGPT reformule la question en requêtes, interroge un index (Bing, complété par son propre robot OAI-SearchBot), lit les premières pages pertinentes et rédige la réponse en citant ses sources. Être indexé et bien classé dans Bing est donc aussi important que dans Google.
Le fichier llms.txt est-il obligatoire ou utile ?
Ni obligatoire ni prouvé : aucun grand assistant n’a confirmé s’en servir pour la recherche. Il coûte peu à produire et offre un sommaire lisible de vos pages importantes. Publiez-le en complément du sitemap, sans en attendre un effet direct sur les citations.
Mon site en JavaScript est-il lu par les IA ?
Souvent mal : la plupart des robots IA lisent le HTML sans exécuter le JavaScript. Si votre contenu ne s’affiche qu’après exécution de scripts (frameworks en rendu client), il est invisible pour eux. Passez les pages clés en rendu serveur ou statique, et vérifiez avec un test « résume cette page » dans Perplexity.