L’essentiel à retenir
- Définition : le crawl budget est le nombre d’URL qu’un moteur explore sur un site dans un temps donné ; il combine la capacité du serveur et l’intérêt que le moteur porte au site.
- Qui est concerné : les sites de plus de 10 000 pages, les e-commerces à filtres et les sites qui publient beaucoup ; un site de 200 pages n’a pas de problème de crawl budget.
- Le gaspillage : URL à paramètres, pagination infinie, pages en redirection ou en 404, contenus dupliqués, pages inutiles indexables.
- Leviers : vitesse du serveur, robots.txt, canonical, noindex, sitemap propre, maillage vers les pages utiles, suppression des pages sans valeur.
Le crawl budget (budget d’exploration) désigne le nombre d’URL qu’un moteur de recherche explore sur un site pendant une période donnée. Google le décrit comme la combinaison de deux éléments : la limite de capacité, c’est-à-dire ce que le serveur supporte sans ralentir, et la demande d’exploration, c’est-à-dire l’intérêt que Google porte aux pages selon leur popularité et leur fraîcheur. Quand un site compte plus de pages que Google n’en explore, des pages nouvelles ou mises à jour attendent des jours ou des semaines avant d’être vues.
Quels sites sont concernés
| Type de site | Concerné ? | Pourquoi |
|---|---|---|
| Site vitrine de 20 à 500 pages | Non | Google explore l’intégralité en quelques jours |
| Blog ou média de 500 à 10 000 pages | Rarement | Seulement si la pagination et les archives créent des dizaines de milliers d’URL |
| E-commerce avec filtres et tri | Oui | Chaque combinaison de filtres crée une URL ; des millions d’URL possibles |
| Site de plus de 10 000 pages ou à publication quotidienne | Oui | Le volume dépasse ce que Google explore par jour |
| Site lent ou en erreur fréquente | Oui, quelle que soit la taille | Google réduit l’exploration pour ne pas surcharger le serveur |
Pour une PME au site de quelques centaines de pages, la question n’est pas le crawl budget mais l’indexation : une page explorée peut ne pas être indexée si Google la juge peu utile. Les deux notions se lisent dans le même rapport de la Search Console ; voir l’indexation dans la Search Console.
De quoi dépend le crawl budget
- La vitesse et la disponibilité du serveur : temps de réponse court et absence d’erreurs 5xx augmentent la capacité ; un serveur lent la réduit immédiatement.
- La popularité : les pages qui reçoivent des liens externes et internes sont explorées plus souvent ; voir le PageRank.
- La fraîcheur : un site qui publie ou met à jour régulièrement est visité plus souvent.
- La qualité : les pages dupliquées, vides ou de faible valeur diminuent la demande d’exploration pour tout le site.
- La structure : les pages accessibles en trois clics depuis l’accueil sont explorées avant les pages profondes.
Ce qui gaspille le budget
- Les URL à paramètres : tri, filtres, identifiants de session, UTM internes ; des milliers d’URL pour le même contenu.
- La pagination et les archives sans fin : pages de listes, tags, calendriers.
- Les redirections en chaîne et les 404 : chaque saut et chaque erreur consomment une exploration ; voir la redirection 301.
- Le contenu dupliqué : http et https, avec et sans www, avec et sans slash final, versions imprimables ; voir la balise canonical.
- Les pages indexables sans valeur : résultats de recherche interne, paniers, comptes, pages de test.
- Les ressources lourdes : scripts et images inutiles qui ralentissent le rendu.
Lire le crawl budget dans la Search Console
Le rapport Statistiques d’exploration (Paramètres, puis Statistiques d’exploration) affiche le nombre de requêtes par jour, le volume téléchargé, le temps de réponse moyen, la répartition par code de réponse, par type de fichier et par objectif (découverte ou actualisation). Un temps de réponse qui monte au-dessus de 500 ms, une part de 404 ou de redirections supérieure à 10 %, ou une majorité d’explorations sur des URL à paramètres signalent un budget mal utilisé. Les fichiers journaux du serveur donnent le détail URL par URL ; un crawler comme Screaming Frog reproduit le parcours de Google et liste les URL inutiles.
Optimiser le crawl budget
| Levier | Action |
|---|---|
| Serveur | Réduire le temps de réponse sous 300 ms, corriger les erreurs 5xx, mettre en cache ; voir les Core Web Vitals |
| Robots.txt | Bloquer les URL à paramètres, la recherche interne, les paniers ; voir le fichier robots.txt |
| Canonical et noindex | Une seule version indexable par contenu ; noindex sur les pages utiles aux visiteurs mais pas au moteur |
| Sitemap | Uniquement les URL canoniques en 200, avec un lastmod fiable ; voir le sitemap XML |
| Maillage | Pages importantes à moins de trois clics, liens depuis les pages populaires |
| Nettoyage | Supprimer ou fusionner les pages sans trafic ni lien, corriger les 404 et les chaînes de redirections |
Comment GreenRed vous aide
Plutôt que de jongler entre plusieurs outils, le module Santé du site de GreenRed réunit ces indicateurs dans un seul tableau de bord, les compare dans le temps et vous indique les actions prioritaires. Vous pouvez le tester gratuitement, sans carte bancaire, depuis la page Tarifs.
Questions fréquentes
Qu’est-ce que le crawl budget ?
Le nombre d’URL qu’un moteur de recherche explore sur un site pendant une période donnée. Google le définit comme la combinaison de la capacité du serveur (ce qu’il supporte sans ralentir) et de la demande d’exploration (l’intérêt du moteur pour les pages selon leur popularité et leur fraîcheur).
Mon site de 300 pages a-t-il un problème de crawl budget ?
Non, sauf s’il est très lent ou en erreur fréquente. Google explore intégralement un site de cette taille en quelques jours. Si des pages ne sont pas indexées, la cause est leur qualité ou leur maillage, pas le budget d’exploration ; le rapport Pages de la Search Console en donne la raison.
Comment savoir si Google gaspille son exploration sur mon site ?
Dans les Statistiques d’exploration de la Search Console : un temps de réponse au-dessus de 500 ms, plus de 10 % de 404 ou de redirections, ou une majorité d’explorations sur des URL à paramètres. Les fichiers journaux du serveur et un crawl du site donnent le détail.
Quels sont les leviers les plus efficaces ?
Accélérer le serveur, bloquer les URL à paramètres dans le robots.txt, imposer une seule version indexable par contenu (canonical, noindex), nettoyer le sitemap, corriger les 404 et les chaînes de redirections, et rapprocher les pages importantes de l’accueil par le maillage.