Nehos Groupe
Définition & Concepts

Crawl Budget

Version Décideur

L'essentiel

Googlebot est un robot qui visite les sites web pour les mettre à jour dans l'index Google. Mais ce robot ne peut pas lire indéfiniment des millions de pages sur chaque site — il alloue un certain quota de pages à visiter sur chaque domaine. Ce quota, c'est le crawl budget. Si ton site a 50 000 pages et que Googlebot n'en visite que 1 000 par jour, les nouvelles pages mettront des semaines à apparaître dans Google. Sur un e-commerce, ça peut signifier que tes nouveaux produits ne sont pas indexés pendant des jours après publication. Le problème vient souvent de pages inutiles : les pages de résultats de filtres (couleur=rouge&taille=M), les URLs avec paramètres de tracking, les pages de pagination profonde. Ces pages aspirent ton budget crawl sans apporter de valeur. La solution : apprendre à Google à ignorer ces pages via robots.txt, et lui indiquer clairement tes pages prioritaires via un sitemap XML à jour.

Version Expert

Détails Techniques

Crawl budget : concept SEO technique formalisant la capacité et la volonté d'un moteur de recherche à crawler les pages d'un site donné dans un intervalle de temps. Google a défini deux sous-composantes dans sa documentation officielle. (1) Crawl capacity limit : limite auto-imposée par Googlebot pour ne pas surcharger les serveurs du site. Influencée par le temps de réponse serveur (TTFB), la disponibilité (uptime), les erreurs 5xx. Si le TTFB dépasse 800 ms, Googlebot réduit son rythme. (2) Crawl demand : volume de crawl que Google juge nécessaire pour un site donné, basé sur la popularité (autorité de domaine, backlinks) et la fraîcheur du contenu (fréquence de mise à jour). Sites à risque élevé de sous-crawl : e-commerce 10k+ SKU avec facettes de navigation, CMS avec paramètres d'URL en session ou UTM non filtrés, sites avec pagination profonde (>15 pages) non gérée par rel=next. Leviers d'optimisation : robots.txt (désindexation pages à zéro valeur), balises canonical (consolidation du crawl sur URL cible), sitemap XML dynamique (priorisation pages stratégiques), amélioration TTFB (Next.js App Router + streaming SSR + CDN préchargé). Outils de monitoring : GSC rapport Couverture de l'index (taux d'indexation), log files Googlebot (analyse fréquence réelle de crawl), Screaming Frog.

#Définition Crawl Budget

Crawl budget : concept SEO technique formalisant la capacité et la volonté d'un moteur de recherche à crawler les pages d'un site donné dans un intervalle de temps. Google a défini deux sous-composantes dans sa documentation officielle. Pour approfondir, consultez la page service GEO/AEO Nehos.

Sur le terrain, (1) Crawl capacity limit : limite auto-imposée par Googlebot pour ne pas surcharger les serveurs du site. Influencée par le temps de réponse serveur (TTFB), la disponibilité (uptime), les erreurs 5xx. Si le TTFB dépasse 800 ms, Googlebot réduit son rythme. (2) Crawl demand : volume de crawl que Google juge nécessaire pour un site donné, basé sur la popularité (autorité de domaine, backlinks) et la fraîcheur du contenu (fréquence de mise à jour). Sites à risque élevé de sous-crawl : e-commerce 10k+ SKU avec facettes de navigation, CMS avec paramètres d'URL en session ou UTM non filtrés, sites avec pagination profonde (>15 pages) non gérée par rel=next. Leviers d'optimisation : robots.txt (désindexation pages à zéro valeur), balises canonical (consolidation du crawl sur URL cible), sitemap XML dynamique (priorisation pages stratégiques), amélioration TTFB (Next.js App Router + streaming SSR + CDN préchargé). Outils de monitoring : GSC rapport Couverture de l'index (taux d'indexation), log files Googlebot (analyse fréquence réelle de crawl), Screaming Frog.

On voit trop de projets échouer par méconnaissance de Crawl Budget. La théorie compte — mais la mise en pratique encore plus.

#Crawl Budget expliqué simplement

Googlebot est un robot qui visite les sites web pour les mettre à jour dans l'index Google. Mais ce robot ne peut pas lire indéfiniment des millions de pages sur chaque site — il alloue un certain quota de pages à visiter sur chaque domaine. Ce quota, c'est le crawl budget. Si ton site a 50 000 pages et que Googlebot n'en visite que 1 000 par jour, les nouvelles pages mettront des semaines à apparaître dans Google. Sur un e-commerce, ça peut signifier que tes nouveaux produits ne sont pas indexés pendant des jours après publication. Le problème vient souvent de pages inutiles : les pages de résultats de filtres (couleur=rouge&taille=M), les URLs avec paramètres de tracking, les pages de pagination profonde. Ces pages aspirent ton budget crawl sans apporter de valeur. La solution : apprendre à Google à ignorer ces pages via robots.txt, et lui indiquer clairement tes pages prioritaires via un sitemap XML à jour.

Prenez un cas concret : une entreprise de 50 personnes qui accélère sa croissance. C'est la réalité du terrain — loin des définitions académiques.

#Cas d'usage concrets

E-commerce mode 45 000 SKU — optimisation crawl budget facettes — Site e-commerce avec 45 000 produits et système de filtres générant 380 000 URLs paramétrées. Taux d'indexation GSC : 31 % (seuil d'alerte). Intervention Nehos : blocage robots.txt des 380 000 URLs filtrées, mise en place canonical sur pages de recherche interne, sitemap XML dynamique sur 45 000 produits priorisés. Résultat : taux d'indexation 78 % en 11 semaines, nouvelles fiches produits indexées en 2-4 jours vs 18-25 jours avant.

Site média 120 000 articles — pagination et archives CMS — CMS WordPress avec 120 000 articles et génération automatique de pages d'archives par tag, catégorie, auteur, date. Audit log files Googlebot : 68 % du budget crawl consommé sur des pages d'archives sans valeur SEO. Blocage robots.txt archives + noindex sur tags. Budget crawl réorienté vers les articles éditoriaux. Gain : 40 % des articles récents indexés en moins de 48h vs >7 jours avant.

Agence B2B — optimisation TTFB pour crawl capacity — Site Next.js avec TTFB médian 1,4 s sur pages de service. Googlebot loguait un crawl ralenti détecté en log files. Migration vers Next.js 16 App Router + Vercel Edge Network + streaming SSR. TTFB médian descendu à 180 ms. Fréquence de crawl Googlebot mesurée en logs : +340 % sur les pages de service stratégiques en 6 semaines post-migration.

#Crawl Budget chez Nehos Groupe

Chez Nehos Groupe, on ne se contente pas de théoriser. Sur les 3 derniers projets impliquant Crawl Budget, on a documenté les résultats avec des KPIs précis. Notre service GEO/AEO Nehos couvre ce périmètre de A à Z.

Chaque mission démarre par un cadrage structuré : objectifs chiffrés, périmètre technique, jalons à 30/60/90 jours. Les résultats mesurés sur nos clients : 6 semaines est un ordre de grandeur courant. On livre, on mesure, on itère. Pas de slides sans livrable. Voir aussi : audit SEO technique Nehos, service Development Next.js Nehos.

#Termes associés

Plusieurs concepts gravitent autour de ce sujet.

Tous ces termes sont interconnectés. Maîtriser l'un sans comprendre les autres, c'est voir le puzzle sans toutes les pièces.

Applications Concrètes

Contexte : E-commerce mode 45 000 SKU — optimisation crawl budget facettes

"Site e-commerce avec 45 000 produits et système de filtres générant 380 000 URLs paramétrées. Taux d'indexation GSC : 31 % (seuil d'alerte). Intervention Nehos : blocage robots.txt des 380 000 URLs filtrées, mise en place canonical sur pages de recherche interne, sitemap XML dynamique sur 45 000 produits priorisés. Résultat : taux d'indexation 78 % en 11 semaines, nouvelles fiches produits indexées en 2-4 jours vs 18-25 jours avant."

Contexte : Site média 120 000 articles — pagination et archives CMS

"CMS WordPress avec 120 000 articles et génération automatique de pages d'archives par tag, catégorie, auteur, date. Audit log files Googlebot : 68 % du budget crawl consommé sur des pages d'archives sans valeur SEO. Blocage robots.txt archives + noindex sur tags. Budget crawl réorienté vers les articles éditoriaux. Gain : 40 % des articles récents indexés en moins de 48h vs >7 jours avant."

Contexte : Agence B2B — optimisation TTFB pour crawl capacity

"Site Next.js avec TTFB médian 1,4 s sur pages de service. Googlebot loguait un crawl ralenti détecté en log files. Migration vers Next.js 16 App Router + Vercel Edge Network + streaming SSR. TTFB médian descendu à 180 ms. Fréquence de crawl Googlebot mesurée en logs : +340 % sur les pages de service stratégiques en 6 semaines post-migration."

Questions & Réponses

Questions fréquentes sur Crawl Budget

Quatre signaux à surveiller. (1) Dans GSC, rapport Couverture de l'index : si le ratio pages indexées / pages soumises en sitemap est inférieur à 50 %, c'est un signal d'alerte. (2) Délai d'indexation des nouvelles pages supérieur à 7 jours pour un site actif. (3) Analyse des log files serveur : si Googlebot crawle massivement des URLs sans valeur (paramètres, facettes, archives), au détriment des pages stratégiques. (4) Dans GSC, rapport Statistiques d'exploration : si la fréquence de crawl est en baisse sur les 90 derniers jours sans explication technique visible.
Non, pas directement. Le crawl budget ne fait pas partie des signaux de ranking Google. Son impact est indirect mais critique : une page non crawlée ne peut pas être indexée, une page non indexée ne peut pas être classée. Sur les grands sites (>50 000 pages), optimiser le crawl budget est une condition préalable à la visibilité organique. Sur les petits sites (<1 000 pages) avec un bon maillage interne et des temps de réponse corrects, le crawl budget est rarement un problème.
Différence fondamentale. `Disallow` dans robots.txt : Googlebot ne crawle pas la page — elle n'est donc pas vue, mais si des liens externes pointent vers elle, elle peut quand même apparaître dans l'index sans contenu (URL connue mais non crawlée). `Noindex` dans les meta tags : Googlebot crawle la page, lit le noindex, et ne l'indexe pas. Pour le crawl budget, robots.txt Disallow est plus efficace car il évite que Googlebot consomme du budget sur ces pages. Mais attention : une page en Disallow avec une balise canonical ou noindex dedans sera ignorée par Googlebot qui ne lira pas le contenu.
Lien direct via le TTFB (Time To First Byte). Un TTFB élevé (>800 ms) ralentit la crawl capacity de Googlebot, qui s'auto-limite pour ne pas surcharger votre serveur. Améliorer le TTFB — via Next.js Server Components, streaming SSR, mise en cache CDN, edge network — améliore simultanément les Core Web Vitals (LCP en particulier) et libère du crawl budget. C'est un des rares leviers SEO technique qui produit un double effet positif : meilleur classement via Core Web Vitals + meilleure indexation via crawl capacity.
Pas systématiquement. La recommandation actuelle de Google (2024) : ne pas bloquer les pages de pagination si elles contiennent du contenu unique non présent sur la page 1. Bloquer robots.txt la pagination dite 'profonde' (pages /page/15 à /page/200) sur des archives avec peu de trafic et zéro backlinks, oui. En revanche, pour un e-commerce avec pagination de catégories produits (où les pages 2+ contiennent des produits non présents en page 1), bloquer la pagination peut nuire à l'indexation des produits. L'approche recommandée Nehos : audit log files avant toute décision de blocage.
Google l'a documenté : le crawl budget n'est généralement pas un problème pour les sites de moins de 1 000 pages avec une structure saine. Il devient un sujet prioritaire pour les sites de plus de 10 000 pages, et un sujet critique pour les e-commerce de plus de 50 000 SKU. Les sites avec de l'UGC (User Generated Content) — forums, marketplaces, reviews — peuvent également rencontrer des problèmes de crawl budget dès 5 000 pages si les URLs dynamiques sont mal gérées.

Exploration associée

service GEO/AEO Nehosdéfinition hreflangdéfinition Core Web Vitalsdéfinition cocon sémantiqueagence IA B2B Nehos — Toulousedéfinition INP (Interaction to Next Paint)définition Schema Markupservice Development Next.js Nehos
Réserver un audit