L’essentiel à retenir
- Définition : le robots.txt est un fichier texte à la racine du site qui indique aux robots d’exploration les URL qu’ils peuvent ou ne peuvent pas parcourir.
- Limite : il bloque l’exploration, pas l’indexation ; une page bloquée peut rester indexée sans contenu. Pour désindexer, on utilise noindex.
- Syntaxe : User-agent, Disallow, Allow, Sitemap ; les règles se lisent par robot et par préfixe d’URL.
- IA en 2026 : GPTBot, ClaudeBot, PerplexityBot et Google-Extended s’y déclarent ; les bloquer retire le site des réponses des assistants.
Le robots.txt est un fichier texte placé à la racine d’un site (https://www.exemple.fr/robots.txt) qui indique aux robots d’exploration quelles parties du site ils sont autorisés à parcourir. C’est le premier fichier qu’un robot consulte avant de visiter une page. Il relève du protocole d’exclusion des robots, standardisé en 2022 (RFC 9309), respecté par Google, Bing et la plupart des robots des IA, mais sans valeur contraignante : un robot malveillant peut l’ignorer.
Ce que le robots.txt fait, et ce qu’il ne fait pas
Il contrôle l’exploration, pas l’indexation. Une URL bloquée par Disallow n’est pas visitée, mais elle peut être indexée si des liens pointent vers elle : Google affiche alors un résultat sans description. Pour retirer une page de l’index, il faut la laisser explorable et y placer une balise noindex ; bloquer une page en noindex dans le robots.txt empêche justement Google de lire cette balise. Le robots.txt ne protège pas non plus un contenu confidentiel : il indique au contraire où il se trouve. Les balises meta robots et les codes de réponse restent les outils de l’indexation.
La syntaxe
| Directive | Rôle | Exemple |
|---|---|---|
User-agent | Le robot concerné par les règles qui suivent ; * pour tous | User-agent: Googlebot |
Disallow | Préfixe d’URL interdit à l’exploration | Disallow: /admin/ |
Allow | Exception à un Disallow | Allow: /admin/public/ |
Sitemap | Emplacement du sitemap XML | Sitemap: https://www.exemple.fr/sitemap.xml |
* et $ | Joker et fin d’URL dans les chemins | Disallow: /*?sessionid= |
Les règles sont sensibles à la casse, s’appliquent par groupe de User-agent (le groupe le plus spécifique l’emporte) et, en cas de conflit entre Allow et Disallow, la règle la plus longue gagne. Un fichier vide ou absent autorise tout. La directive Crawl-delay est ignorée par Google. Le sitemap XML se déclare ici pour être découvert sans soumission.
Un exemple pour un site de PME
User-agent: *
Disallow: /admin/
Disallow: /panier/
Disallow: /*?tri=
Allow: /
Sitemap: https://www.exemple.fr/sitemap.xmlCe fichier laisse tout explorer sauf l’administration, le panier et les URL de tri à paramètres, qui produisent du contenu dupliqué, et déclare le sitemap. Les fichiers CSS et JavaScript ne doivent jamais être bloqués : Google en a besoin pour afficher la page comme un visiteur.
Les robots des IA génératives
| Robot | Éditeur | Usage |
|---|---|---|
| GPTBot, OAI-SearchBot | OpenAI | Entraînement et recherche ChatGPT |
| ClaudeBot | Anthropic | Entraînement et recherche Claude |
| PerplexityBot | Perplexity | Recherche et citations |
| Google-Extended | Entraînement Gemini ; n’affecte ni la recherche ni les aperçus IA | |
| Bingbot | Microsoft | Recherche Bing et Copilot |
Bloquer ces robots retire le site des réponses des assistants IA, qui pèsent en 2026 une part croissante des découvertes d’entreprises. Pour une PME qui cherche de la visibilité, la règle est de les autoriser ; les médias qui vendent leur contenu font un autre choix. La question est développée dans l’indexation par les IA.
Les erreurs fréquentes
- Disallow: / oublié après une mise en ligne : le fichier de préproduction bloque tout le site en production ; première cause de désindexation brutale.
- Bloquer une page pour la désindexer : elle reste indexée sans description ; utilisez noindex.
- Bloquer CSS, JavaScript ou images : Google ne peut plus rendre la page et la juge mal.
- Bloquer les robots IA par défaut : perte de visibilité dans les assistants sans bénéfice.
- Un fichier à un autre emplacement : seul
/robots.txtà la racine du domaine est lu ; un sous-domaine a le sien.
Le rapport robots.txt de la Search Console montre la version lue par Google, les erreurs de syntaxe et permet de tester une URL.
Comment GreenRed vous aide
Plutôt que de jongler entre plusieurs outils, le module Santé du site de GreenRed réunit ces indicateurs dans un seul tableau de bord, les compare dans le temps et vous indique les actions prioritaires. Vous pouvez le tester gratuitement, sans carte bancaire, depuis la page Tarifs.
Questions fréquentes
À quoi sert le fichier robots.txt ?
À indiquer aux robots d’exploration les parties du site qu’ils peuvent parcourir et celles qu’ils doivent ignorer, et à déclarer l’emplacement du sitemap. Il contrôle l’exploration, pas l’indexation, et n’a aucune valeur de protection.
Peut-on désindexer une page avec le robots.txt ?
Non. Une page bloquée par Disallow peut rester indexée si des liens pointent vers elle, affichée sans description. Pour la retirer de l’index, laissez-la explorable et ajoutez une balise meta robots noindex, ou renvoyez un code 410.
Faut-il bloquer les robots des IA comme GPTBot ?
Pour une entreprise qui cherche de la visibilité, non : les bloquer retire le site des réponses de ChatGPT, Claude ou Perplexity, qui pèsent une part croissante des découvertes en 2026. Google-Extended ne concerne que l’entraînement de Gemini et n’affecte pas les aperçus IA.
Comment vérifier que mon robots.txt est correct ?
Ouvrez l’URL /robots.txt du domaine, vérifiez l’absence d’un Disallow: / global, puis utilisez le rapport robots.txt de la Search Console qui affiche la version lue par Google, signale les erreurs de syntaxe et permet de tester une URL précise.