Un site de 400 pages qui met sept secondes à répondre. Googlebot y passe une fois par jour, indexe trois nouvelles pages, repart. Le propriétaire, lui, se demande pourquoi ses articles de la semaine dernière n'apparaissent toujours pas. Ce n'est pas une question de contenu médiocre. C'est une question de plafond.
Le crawl budget, c'est le volume de pages que Google accepte d'explorer sur votre site dans un laps de temps donné. Vous ne le réglez pas depuis un bouton. Vous le négociez avec un serveur qui répond vite et une structure qui ne fait pas perdre de temps à l'araignée. Et si vous cherchez « comment optimiser le crawl budget d'un site », c'est probablement que quelque chose, chez vous, frotte.
Points clés à retenir
- Le crawl budget n'a de sens qu'au-delà de plusieurs centaines de milliers d'URL, ou sur un site à forte publication quotidienne.
- Deux leviers distincts : la limite de débit (ce que votre serveur supporte) et la demande de crawl (ce que Google juge utile d'explorer).
- Les URL paramétrées, les pages de tri et les calendriers vides consomment du budget pour rien. C'est le gaspillage le plus fréquent.
- Un temps de réponse serveur sous les 200 ms change concrètement le rythme des visites.
- Les Crawl Stats de la Search Console sont le seul tableau de bord honnête. Le reste, c'est de la supposition.
Le crawl budget : un vrai problème pour qui, au juste ?
Franchement, la majorité des sites qui s'inquiètent du crawl budget n'en ont pas besoin. Si vos nouvelles pages sont indexées en quelques heures ou le lendemain de leur publication, vous n'avez pas de plafond. Vous avez une inquiétude mal placée.
Le problème devient réel dans trois cas précis. Un catalogue e-commerce qui génère des milliers d'URL de filtres à la volée. Un site d'actualité qui publie plusieurs dizaines d'articles par jour. Une place de marché avec des millions de fiches produits. En dehors de ces contextes, optimiser le crawl budget revient souvent à régler un robinet qui n'est pas fermé.
Pourquoi tant de confusion autour de cette notion
La formule « crawl budget » sonne comme une ressource qu'on pourrait acheter ou débloquer. Elle n'existe pas comme un compteur dans un tableau de bord Google. Ce qui existe, c'est un comportement adaptatif : Googlebot ajuste sa cadence selon la vitesse de votre serveur et l'intérêt perçu de vos pages. Si votre site répond en 150 ms, il peut explorer davantage. S'il met trois secondes, il ralentit de lui-même pour ne pas vous mettre à genoux.
Voilà le mécanisme réel. Et c'est pour ça que la première action à mener n'est pas technique au sens de « balises et redirections ». Elle est côté hébergement.
Les deux leviers à actionner, dans cet ordre
On m'a souvent demandé par où commencer. Ma réponse, après plusieurs années à auditer des sites, tient en une phrase : commencez par la vitesse serveur, terminez par la structure. L'inverse donne des résultats décevants.
La limite de débit : ce que votre serveur encaisse
Un serveur lent plafonne mécaniquement les visites de l'araignée. Si votre temps de réponse dépasse régulièrement la seconde, Googlebot réduit la voilure. Mon conseil : visez un temps de réponse serveur sous les 200 ms sur une page de contenu classique. Ce n'est pas une norme officielle, c'est un ordre de grandeur que j'ai constaté comme seuil de confort.
Concrètement, deux réglages changent la donne :
- Un cache de page complet côté serveur ou CDN, pour que la majorité des requêtes ne touchent jamais la base de données.
- Une limitation propre des requêtes en rafale (rate limiting) plutôt qu'un blocage brutal de l'IP de Googlebot, qui aurait l'effet inverse de celui recherché.
Attention à un piège classique : certains pare-feu (WAF) bloquent les IP de robots jugées trop insistantes. Si vous ne savez pas ce que fait votre pare-feu face à Googlebot, vérifiez.
La demande de crawl : ce que Google juge utile
La demande de crawl, elle, dépend de la popularité perçue et de la fraîcheur de votre contenu. Une page que personne ne lie et qui ne bouge jamais n'attire aucune visite d'araignée. Ce n'est pas une punition. C'est un calcul de rentabilité.
D'où un principe simple : ne gaspillez pas les visites sur des pages sans valeur. Chaque URL explorée inutilement est une URL utile qui attend son tour.
Identifier le gaspillage : la lecture des Crawl Stats
Ouvrez la Search Console, section Paramètres, puis Statistiques d'exploration. Le rapport classe les réponses par code HTTP. C'est là que tout se joue. Un site sain présente une écrasante majorité de réponses 200 sur des pages de contenu réelles. Un site qui gaspille affiche une proportion notable de 3xx, 4xx, 5xx, ou de réponses 200 sur des URL qui ne devraient pas exister.
Les coupables habituels
Dans mon expérience, le gaspillage vient presque toujours des mêmes endroits :
- Les URL paramétrées générées par les filtres de recherche interne ou les tris de liste.
- Les calendriers d'archives vides (les fameux « ?month= » sans contenu).
- Les redirections en chaîne : A vers B vers C, chacune coûtant une visite.
- Les pages en erreur 404 qui restent liées en interne, année après année.
- Les versions paginées infinies, qui produisent des URL sans fin.
Une comparaison rapide aide à décider quoi traiter en priorité :
| Type d'URL gaspillée | Effort de correction | Impact sur le budget |
|---|---|---|
| Paramètres de tri | Faible (balise canonical + robots.txt) | Élevé |
| Pages 404 liées en interne | Faible (nettoyage des liens) | Moyen |
| Chaînes de redirection | Moyen (audit complet) | Moyen |
| Recherche interne indexable | Élevé (refonte de la logique) | Très élevé |
Comment savoir si vous gaspillez vraiment
Un ratio utile : rapportez le nombre de réponses 200 sur des pages de contenu réelles au total des réponses explorées. Si une part notable des visites atterrit sur des codes 3xx ou 4xx, vous avez un problème. Pas besoin d'un chiffre exact. Le simple fait qu'un tiers de votre activité d'exploration concerne des redirections ou des erreurs suffit à justifier un nettoyage.
Structure et sitemap : le socle qu'on néglige
Une arborescence claire n'est pas un luxe esthétique. C'est ce qui permet à l'araignée de trouver toutes vos pages importantes en un minimum de sauts. Une page enterrée à six clics du menu est une page que Google visitera rarement.
Le sitemap, lui, doit refléter la réalité. Un sitemap qui liste des URL mortes ou des pages en noindex est un aveu de désordre. Ne déclarez que les pages canoniques et indexables. Un sitemap propre, c'est un signal de confiance.
Les liens internes, votre meilleur levier gratuit
Chaque lien interne est une invitation à explorer. Si vous voulez que Googlebot visite votre nouvelle page produit, liez-la depuis une page déjà bien visitée. C'est plus efficace que d'attendre qu'il la découvre par le sitemap. Je l'ai constaté à de nombreuses reprises : ajouter trois liens contextuels depuis des pages populaires accélère la découverte bien plus qu'un ping de sitemap.
Ce que j'ai vu échouer (et pourquoi)
Une erreur que j'ai commise tôt : tout vouloir bloquer dans un robots.txt. J'y ai mis des paramètres, des dossiers entiers, croyant bien faire. Résultat, j'ai bloqué des ressources CSS dont l'araignée avait besoin pour rendre les pages. Googlebot explorait à l'aveugle. Leçon : avant de bloquer, vérifiez que vous ne coupez pas l'accès à ce qui sert au rendu.
Autre écueil : sur-optimiser un site qui n'en avait pas besoin. J'ai passé des heures sur le crawl budget d'un site de 800 pages, alors que le vrai problème était un contenu dupliqué. La structure était saine. Le contenu, non. Avouons-le, on cherche parfois midi à quatorze heures.
Faut-il tout bloquer dans le robots.txt ?
Non. Le robots.txt est un outil grossier. Pour les paramètres d'URL, une balise canonical bien posée et une règle ciblée suffisent souvent. Réservez le blocage strict aux cas où une URL ne doit jamais être explorée, comme des paniers ou des pages de compte.
Combien de temps avant de voir un effet ?
Comptez plusieurs semaines. Googlebot ajuste sa cadence progressivement. Après un nettoyage des URL mortes et une accélération du serveur, les Crawl Stats montrent souvent un changement de répartition dans le mois qui suit. Ne vous attendez pas à un retournement en 48 heures.
Vérifier que ça marche, sans se raconter d'histoires
Le seul juge de paix, ce sont les Crawl Stats. Comparez la répartition des codes avant et après vos corrections. Si la part des 200 sur contenu réel augmente et que les 3xx/4xx baissent, vous avez gagné. Si rien ne bouge, c'est que le blocage ne venait pas de là.
Et si, malgré tout, vos pages importantes restent invisibles ? Parfois, le problème n'est pas le crawl budget. C'est la qualité ou l'originalité de ce que vous publiez. Google n'explore pas ce qu'il ne juge pas digne d'intérêt. Aucun réglage technique ne corrige ça.
Le crawl budget est une notion utile, mais piégeuse : elle donne l'illusion qu'optimiser la technique suffit. Elle ne sert vraiment qu'aux sites qui ont dépassé un certain volume et dont le serveur tient la cadence. Pour tous les autres, la vraie question reste celle qu'on évite : vos pages méritent-elles d'être explorées ? Si la réponse est oui, le budget suivra. Si c'est non, aucun robots.txt ne vous sauvera.

