---
title: "Qu'est-ce que le budget de crawl ? Optimisation pour les sites e-commerce"
description: "Qu’est-ce que le budget d’exploration et quand devient-il un problème ? Découvrez comment les URL de filtres, les pages en double et les chaînes de redirections l’épuisent en e-commerce, et comment y remédier."
url: https://www.faprika.com/fr/blog/qu-est-ce-que-le-budget-de-crawl
language: fr
site: Faprika
---

# Qu'est-ce que le budget de crawl ? Optimisation pour les sites e-commerce

> Qu’est-ce que le budget d’exploration et quand devient-il un problème ? Découvrez comment les URL de filtres, les pages en double et les chaînes de redirections l’épuisent en e-commerce, et comment y remédier.

Imaginez que vous ayez ajouté hier une nouvelle collection à votre boutique et publié des centaines de produits. Les jours passent et la plupart de ces produits n’apparaissent toujours pas dans les résultats de recherche. Le plus souvent, le coupable n’est ni la qualité du contenu ni la concurrence : le robot du moteur de recherche perd son temps sur votre site entre combinaisons de filtres, options de tri et anciennes URL, sans jamais atteindre vos produits. C’est précisément le sujet de ce guide : **qu’est-ce que le budget de crawl**, quand il devient un vrai problème et comment le gérer sur un site e-commerce.

Ce guide explique d’abord comment les robots explorent un site, quelles sont les deux composantes du budget de crawl et pour qui il compte. Vous y trouverez ensuite les six sources qui épuisent le budget en e-commerce, les méthodes de détection à l’aide des journaux du serveur et des rapports d’exploration, les outils de résolution (robots.txt, canonical, redirections, sitemap, liens internes, vitesse), les erreurs fréquentes et une liste de contrôle. Une réponse nuancée à la question « Ce sujet me concerne-t-il avec mon petit site ? » figure également dans le texte.

Idée clé

« Le budget de crawl est le temps limité que le robot passera sur votre site. Si vous lui faites perdre ce temps sur des combinaisons de filtres, des URL en double et des redirections en chaîne, les pages que vous voulez vendre restent en file d’attente. L’objectif n’est pas de multiplier le robot, mais d’orienter son temps vers les bonnes pages. »

## Qu’est-ce que le budget de crawl ?

Le budget de crawl correspond au nombre de pages qu’un robot de moteur de recherche peut et souhaite explorer sur un site pendant une période donnée. Il se compose de deux éléments : le rythme d’exploration que votre serveur peut supporter (limite de débit d’exploration) et l’envie du robot d’explorer votre site (demande d’exploration).

Pour que les moteurs de recherche puissent voir des pages, ils doivent d’abord les trouver, puis les télécharger et les analyser. Les logiciels qui s’en chargent s’appellent robots d’exploration ou spiders. Le robot part d’URL connues, découvre de nouvelles URL en suivant les liens de la page et met en file ce qu’il trouve. Comme il est impossible d’explorer tous les sites du monde à vitesse illimitée, chaque site dispose d’une sorte de « temps alloué ». Ce temps alloué s’appelle le budget de crawl.

Le budget n’est pas présenté comme un chiffre fixe et ne peut pas être connu avec précision de l’extérieur ; il varie d’un site à l’autre et au fil du temps. C’est pourquoi nous ne donnons ni chiffres ni seuils dans cet article. L’essentiel est de comprendre **comment il fonctionne** et **ce qui le consomme**.

*Görsel: Ce qu’est le budget d’exploration : la limite de débit et la demande d’exploration se combinent pour déterminer le temps que le robot passera sur le site (Le budget de crawl combine deux composantes : la limite de débit et la demande d’exploration)*

### Limite de débit d’exploration

La limite de débit d’exploration est le rythme de requêtes que le robot peut tenir sans surcharger votre serveur. Si le serveur répond vite et de façon stable, le robot peut explorer plus à l’aise ; s’il constate des ralentissements, des délais d’attente dépassés ou des erreurs serveur, il réduit son rythme. Autrement dit, la vitesse de votre site influe non seulement sur l’expérience des visiteurs, mais aussi sur le nombre de pages que le robot peut voir. Pour l’aspect visiteur de la vitesse, consultez les articles [pourquoi la vitesse du site est importante en e-commerce](https://www.faprika.com/fr/blog/pourquoi-la-vitesse-du-site-est-elle-importante) et [qu’est-ce que les Core Web Vitals](https://www.faprika.com/fr/blog/qu-est-ce-que-les-core-web-vitals).

### Demande d’exploration

La demande d’exploration correspond à l’envie du robot d’explorer votre site. Des facteurs comme l’importance apparente des pages, leur fréquence de modification et le degré d’« obsolescence » des URL connues déterminent cette demande. Les pages fréquemment mises à jour et recevant de nombreux liens peuvent être visitées plus souvent ; celles qui n’ont pas changé depuis des années et vers lesquelles personne ne pointe peuvent rester au second plan. Si le nombre d’URL de votre site explose, la demande se répartit entre les pages importantes et les autres.

Lecture recommandée

Qu’est-ce que robots.txt ? Bien l’utiliser pour un site

e-commerce

## Comment les robots des moteurs de recherche explorent-ils un site ?

Le robot trouve d’abord une URL, puis demande la page, analyse son contenu et ajoute les liens de la page à la file d’attente comme nouvelles URL. Ce cycle est alimenté par de nombreuses sources, comme le sitemap, les liens internes et les liens externes.

1. **Découverte.** Le robot apprend les URL à partir du sitemap, des liens internes des pages et des liens provenant d’autres sites.
2. **Contrôle des autorisations.** Avant de visiter une page, il consulte les règles du fichier robots.txt ; il n’entre pas dans une URL interdite.
3. **Requête.** Il demande la page au serveur. Le serveur répond par un code de statut tel que 200, 301, 404 ou 5xx.
4. **Analyse.** Il analyse le contenu de la page, son titre, sa balise canonical, ses données structurées et ses liens.
5. **Mise en file.** Il place les nouvelles URL trouvées dans une file d’exploration ; il décide selon ses propres priorités de celles auxquelles revenir et à quel moment.

Point à retenir : **l’exploration** et **l’indexation** ne sont pas la même chose. Le robot peut explorer une page sans la juger intéressante, ou la considérer comme une copie d’une autre URL et ne pas l’indexer. L’exploration est un préalable à l’indexation, mais toutes les pages explorées n’apparaissent pas dans l’index. Il est utile de rappeler les sujets que nous traitons séparément pour les problèmes d’indexation : les articles [qu’est-ce que le contenu dupliqué](https://www.faprika.com/fr/blog/qu-est-ce-que-le-contenu-duplique) et [qu’est-ce que la balise canonical](https://www.faprika.com/fr/blog/qu-est-ce-que-la-balise-canonical) complètent la relation entre ces deux notions.

## Pour qui le budget de crawl est-il important ?

Le budget de crawl compte surtout pour les grands sites qui génèrent de nombreuses URL et pour ceux dont le contenu change en permanence. Sur un petit site bien organisé, il ne pose généralement pas de problème en soi.

Il faut éviter l’exagération. Dans une boutique de quelques centaines de pages à la structure d’URL propre, il n’est généralement pas gênant que le robot explore toutes les pages ; plutôt que de faire de l’« optimisation du budget de crawl » sur un tel site, mieux vaut consacrer du temps à la qualité du contenu, aux pages produits et aux liens internes. En revanche, il faut prendre le sujet au sérieux dans les cas suivants :

- **Les boutiques comptant un grand nombre de produits et de catégories,**
- **Les sites qui laissent les pages de filtres, de tri et de résultats de recherche** ouvertes en tant qu’URL,
- **Les boutiques dont le stock et les prix changent souvent** ou qui ajoutent et retirent sans cesse de nombreux produits,
- **Les sites en cours de migration, de changement d’URL ou de restructuration,**
- **Les sites dont les pages nouvellement publiées mettent longtemps à être indexées.**

| Situation | Le budget de crawl est-il un problème ? | Que faire en premier ? |
| --- | --- | --- |
| Peu de pages, URL propres | Généralement non | Concentrez-vous sur le contenu et les liens internes |
| Nombreux produits, filtres générant des URL | Possible | Gérez les URL de filtres et de tri |
| Nombreuses URL en double | Possible | Organisez canonical et redirections |
| Les nouvelles pages sont indexées tardivement | Possible ; il peut y avoir d’autres causes | Vérifiez d’abord la qualité des pages et les liens |
| Après une migration ou un changement d’URL | Peut s’intensifier temporairement | Gardez redirections et sitemap propres |

Astuce

Vérifiez d’abord la cause

Si vos nouvelles pages sont indexées tardivement, le budget de crawl n’en est pas forcément la seule raison ; la qualité de la page, le fait qu’elle soit une copie, une balise noindex ou l’absence de tout lien vers la page pour le robot provoquent le même symptôme. Écartez ces hypothèses avant d’incriminer le budget.

## Qu’est-ce qui consomme le budget de crawl en e-commerce ?

En e-commerce, les sources qui consomment le plus de budget sont les URL de filtres et de tri, les pages en double, les chaînes de redirections, les pages d’erreur, la pagination infinie et la lenteur des réponses du serveur. Point commun : elles font perdre du temps au robot sur des URL de faible valeur.

*Görsel: Optimisation du budget d’exploration : URL de filtres, pages en double, chaînes de redirections, pages d’erreur, pagination infinie et réponse lente (Six sources courantes qui consomment le budget de crawl en e-commerce)*

| Source | Pourquoi consomme-t-il le budget ? | Piste de solution générale |
| --- | --- | --- |
| Adresses de filtre et de tri | Chaque combinaison est une nouvelle URL ; les mêmes produits sont explorés encore et encore dans des ordres différents | robots.txt, canonical, contrôle des liens internes |
| Pages en double | Un même contenu présent sur plusieurs URL oblige le robot à relire la même chose | Canonical, 301, regroupement |
| Chaînes de redirections | Chaque maillon est une requête distincte ; le robot dépense plusieurs requêtes avant d’atteindre la cible | Une seule redirection directe vers la cible |
| Pages d’erreur | Le robot réessaie sans cesse les URL en 404 qui reçoivent encore des liens | Corrigez les liens, utilisez une 301 le cas échéant |
| Pagination infinie | Des pages sans fin ou des liens de type calendrier engagent le robot sur un chemin infini | Limitez la pagination, construisez une chaîne de liens claire |
| Réponse lente | Lorsque le serveur répond tard, le robot réduit son rythme | Amélioration de la vitesse et du serveur |

### 1. URL de filtres et de tri

Sur une page de catégorie, la couleur, la taille, la tranche de prix et les options de tri sont le plus souvent ajoutées à l’URL sous forme de paramètres. Chaque combinaison devient une URL distincte, et leur nombre se multiplie rapidement à mesure que les options augmentent. Par exemple, même une catégorie ne comptant que quelques filtres et quelques options de tri peut générer de nombreuses URL lorsqu’ils sont tous utilisés ensemble. Pendant que le robot visite ces URL une à une, le temps disponible pour atteindre les vraies pages produits diminue.

L’objectif n’est pas d’empêcher les visiteurs d’utiliser les filtres, mais d’éviter que le robot explore chaque combinaison. Les pages de filtres qui font réellement l’objet de recherches (par exemple une couleur et un type de produit que les gens cherchent par leur nom) peuvent être traitées comme une page à part entière ; les autres peuvent être signalées par une balise canonical pointant vers la catégorie principale ou fermées à l’exploration par robots.txt. Le guide [optimisation des filtres produits et de la barre de recherche en e-commerce](https://www.faprika.com/fr/blog/filtrage-de-produits-et-optimisation-de-la-barre) peut également aider pour l’expérience de filtrage et de recherche.

### 2. Pages en double

La version avec www et celle sans www d’une même page, les versions avec et sans barre oblique finale, les liens avec paramètres de suivi ou les URL distinctes pour les variantes de produits constituent chacun une page distincte aux yeux du robot. Il les visite toutes, constate que le contenu est identique et revient pourtant à la visite suivante. Plus il y a d’URL en double, plus le budget est gaspillé. Nous avons traité en détail les causes et les solutions dans l’article [qu’est-ce que le contenu dupliqué](https://www.faprika.com/fr/blog/qu-est-ce-que-le-contenu-duplique).

### 3. Chaînes de redirections

Lorsqu’une URL redirige vers une autre, qui redirige à son tour vers une troisième, on parle de chaîne. Les migrations et modifications d’URL successives d’un site accumulent avec le temps de telles chaînes : ancienne URL A vers B, B vers C. Le robot effectue une requête distincte pour chaque maillon jusqu’à atteindre la cible ; de plus, sur les longues chaînes, il peut abandonner à un moment donné. La solution consiste à rediriger chaque ancienne URL directement vers la destination finale en une seule étape. L’article [qu’est-ce qu’une redirection 301](https://www.faprika.com/fr/blog/redirection-301) est un bon point de départ pour comprendre la logique des redirections.

Lecture recommandée

Qu’est-ce qu’une redirection 301 ? Guide d’utilisation correcte en

e-commerce

### 4. Pages d’erreur (404) et soft 404

Si les URL de produits supprimés figurent encore dans les liens internes, dans le sitemap ou dans des liens venant d’autres sites, le robot continue de venir sur ces URL et reçoit une erreur 404 à chaque fois. Quelques 404 sont normales ; le problème survient lorsque votre propre site continue de pointer vers des URL en 404. Il existe aussi le cas dit « soft 404 » : la page renvoie le code de statut 200 mais affiche « produit introuvable » dans son contenu. Le robot peut prendre ces pages pour de vraies pages et continuer à les explorer. Pour bien configurer la page d’erreur, consultez le guide [qu’est-ce qu’une page 404](https://www.faprika.com/fr/blog/qu-est-ce-qu-une-page-404).

### 5. Pagination infinie et espaces de liens sans fin

La pagination fait naturellement partie des listes de produits ; toutefois, si le numéro de page peut augmenter sans limite ou si même les pages vides sont ouvertes comme URL, le robot s’engage sur une route sans fin. Le même problème se rencontre avec les liens de type calendrier que l’on peut suivre indéfiniment avec les boutons suivant et précédent, et avec les pages de résultats de recherche qui génèrent une nouvelle URL à chaque clic. Les détails d’une pagination bien conçue sont expliqués dans l’article [SEO de la pagination](https://www.faprika.com/fr/blog/qu-est-ce-que-la-pagination).

### 6. Réponse lente du serveur

Lorsque le serveur répond lentement, le robot réduit son rythme pour ne pas le surcharger. Moins de pages sont explorées dans le même laps de temps. Pendant les périodes de campagne intenses, un serveur sous tension ou des modèles de page inutilement lourds ralentissent à la fois les visiteurs et le robot.

Astuce

Choisissez une seule solution pour chaque ressource consommatrice

Appliquer à la même adresse un blocage robots.txt, une balise canonical et une redirection produit des signaux contradictoires. Déterminez d'abord pourquoi l'adresse existe, puis choisissez uniquement la solution adaptée.

## Comment repérer un problème de budget d'exploration ?

Pour repérer un problème de budget d'exploration, il faut observer les adresses que le robot visite réellement sur votre site. Il existe deux sources principales : les journaux du serveur et les statistiques d'exploration fournies par le moteur de recherche.

### Journaux du serveur (fichiers de logs)

Les journaux du serveur sont des fichiers qui enregistrent ligne par ligne chaque requête adressée au site. Chaque ligne contient généralement l'heure, le nom du client (y compris celui du robot), l'adresse demandée et le code de statut renvoyé par le serveur. Ce sont les données qui montrent le plus fidèlement comment le robot répartit ses visites, car elles reflètent des requêtes réelles et non des estimations.

*Görsel: Une ligne de journal du serveur pour analyser le budget d’exploration : comment lire les champs heure, nom du robot, code de statut et URL (Une ligne de journal serveur et ses quatre champs essentiels)*

En examinant les journaux, cherchez des réponses aux questions suivantes :

- Quelles sections (catégorie, produit, filtre, recherche, blog) le robot visite-t-il le plus ?
- Quelle est la part des adresses à paramètres (tri, filtre, suivi) par rapport à vos vraies pages ?
- De nombreuses réponses 301, 404 ou 5xx sont-elles renvoyées ? Pour quelles adresses ?
- Vos nouvelles pages importantes ne sont-elles pas visitées du tout, ou seulement très tardivement ?
- Le nom du robot correspond-il à un véritable robot de moteur de recherche, ou à un client qui se fait passer pour lui ?

L'accès aux fichiers de logs dépend de l'hébergement ; sur une plateforme de boutique prête à l'emploi, vous n'y avez peut-être pas un accès direct. Il faut alors les demander à votre fournisseur de plateforme ou à votre équipe technique.

### Les statistiques d'exploration du moteur de recherche

Les outils que les moteurs de recherche proposent aux propriétaires de sites comprennent généralement une section intitulée « statistiques d'exploration » ou similaire. Vous y voyez, sous forme de synthèse, l'évolution des requêtes du robot sur votre site, les codes de statut renvoyés, les types de fichiers explorés et la rapidité de réponse de votre serveur. Elle est moins détaillée que les journaux du serveur, mais constitue un point de départ simple pour observer la tendance. Une chute soudaine du nombre de requêtes, une dégradation du temps de réponse ou une hausse du taux d'erreurs peuvent être des signes d'un problème de budget.

### Vérifications manuelles rapides

1. **Comptez les adresses à paramètres.** Sélectionnez un filtre et un tri sur votre page de catégorie et regardez la barre d'adresse ; si les choix s'ajoutent à l'adresse, chaque combinaison constitue une adresse distincte.
2. **Examinez le plan du site.** Si le plan du site contient des adresses qui redirigent, renvoient une erreur 404 ou sont en double, vous envoyez le robot au mauvais endroit. Pour plus de détails, consultez le guide [qu'est-ce qu'un plan de site](https://www.faprika.com/fr/blog/qu-est-ce-qu-un-plan-du-site).
3. **Passez en revue vos liens internes.** Les liens du menu, du pied de page et des pages produit mènent-ils à des adresses qui redirigent ou à des doublons ?
4. **Testez les chaînes de redirections.** Ouvrez une ancienne adresse et regardez en combien d'étapes on atteint la destination.
5. **Refaites la mesure de vitesse.** Notez les pages où la réponse du serveur est lente.

Astuce

Ne décidez pas sur une seule mesure

Le comportement du robot fluctue d'un jour à l'autre. Plutôt que de tirer des conclusions du journal d'une seule journée, comparez la tendance sur plusieurs semaines ; après avoir appliqué une solution, revenez à la même mesure.

## Comment optimiser le budget d'exploration ?

Pour optimiser le budget d'exploration, il faut orienter le temps du robot vers les pages de valeur et réduire les adresses sans intérêt. On utilise pour cela conjointement le fichier robots.txt, la balise canonical, les redirections, le plan du site, le maillage interne et la vitesse du serveur.

*Görsel: Étapes d’optimisation du budget d’exploration : mesurer, regrouper, choisir la solution, appliquer et surveiller (Cinq étapes pour récupérer du budget d'exploration)*

| Outil | Que fait-elle ? | Quand le choisir ? |
| --- | --- | --- |
| robots.txt | Empêche le robot d'accéder à certains motifs d'adresses | Adresses de filtres et de recherche qui ne doivent jamais être explorées |
| Balise canonical | Indique qu'une adresse en double renvoie vers l'adresse principale | Adresses qui doivent rester accessibles aux visiteurs, mais pour lesquelles la page principale doit apparaître dans les résultats de recherche |
| Redirection 301 | Déplace définitivement une ancienne adresse vers une nouvelle | Adresses définitivement supprimées ou fusionnées, versions d'adresses |
| Sitemap | Indique aux robots quelles adresses sont importantes | Uniquement les adresses principales que vous souhaitez voir indexées |
| Lien interne | Conduit le robot et le visiteur vers les pages importantes | Découverte des pages nouvelles et de valeur |
| Amélioration de la vitesse | Réduit le temps de réponse du serveur et le poids des pages | Situations où le robot ralentit parce que le serveur est devenu plus lent |

### Bloquer les adresses inutiles avec robots.txt

Le fichier robots.txt indique aux robots les motifs d'adresses qu'ils ne doivent pas explorer. Il est utile pour les adresses de filtres, de tri et de recherche interne qui ne doivent pas être explorées du tout. Voici un exemple de règle (les adresses sont données à titre d'exemple et doivent être adaptées à la structure de vos propres adresses) :

<code>User-agent: * Disallow: /*?sirala= Disallow: /*?filtre= Disallow: /arama</code>

Une mise en garde est importante : le robot n'explore pas une adresse bloquée par robots.txt, mais cela ne signifie pas qu'elle n'apparaîtra jamais dans l'index, car si elle reçoit des liens d'ailleurs, l'adresse peut tout de même être connue. De plus, comme le robot ne peut pas lire du tout la page bloquée, il ne voit pas non plus la balise canonical ou noindex qu'elle contient. C'est pourquoi appliquer à la même adresse à la fois un blocage robots.txt et une balise canonical n'a le plus souvent aucun sens. Le choix de l'outil selon la situation est expliqué en détail dans l'article [qu'est-ce que robots.txt](https://www.faprika.com/fr/blog/qu-est-ce-que-robots-txt).

### Indiquer l'adresse principale avec canonical

Si une page de filtre ou de tri doit rester accessible aux visiteurs, la page indique l'adresse principale de la catégorie au moyen de la balise canonical :

<code><link rel="canonical" href="https://magazaadresiniz/kategori/ayakkabi"></code>

La balise canonical n'arrête pas directement l'exploration ; c'est seulement un indice fort qui précise quelle adresse est la principale. Le robot visite quand même la page. La balise canonical est donc très utile pour l'indexation et le regroupement des signaux, mais elle ne suffit pas à sauver le budget d'exploration ; si le problème de budget est important, il faut l'envisager avec robots.txt et la simplification des liens internes. Pour plus de détails, consultez l'article [qu'est-ce que la balise canonical](https://www.faprika.com/fr/blog/qu-est-ce-que-la-balise-canonical).

Astuce

Canonical et robots.txt remplissent des rôles différents

La balise canonical dit « cette page est une copie de celle-ci » ; robots.txt dit « n'accède pas à cette adresse ». Si vous ne voulez pas que le robot visite une page du tout, utilisez robots.txt ; si la visite ne vous gêne pas mais que vous voulez mettre l'adresse principale en avant, utilisez canonical.

### Simplifier les redirections

Repérez les chaînes et redirigez chaque ancienne adresse directement vers la destination finale. Ne laissez pas d'adresses qui redirigent dans les liens internes du site ; mettez le lien à jour pour qu'il pointe directement vers l'adresse cible. Ainsi, le robot comme le visiteur économisent une étape. Pour des conseils utiles sur la structure des adresses et leur refonte, consultez l'article [comment structurer les URL](https://www.faprika.com/fr/blog/a-quoi-doit-ressembler-une-structure-d-url).

### Garder le plan du site propre

Un plan de site est la liste par laquelle vous indiquez aux robots « voici les adresses importantes ». Si le plan contient des pages qui redirigent, renvoient une erreur 404, portent une balise noindex ou dont la balise canonical pointe vers une autre adresse, le robot est envoyé au mauvais endroit. Un bon plan de site ne contient que les adresses principales qui répondent par un code 200 et que vous souhaitez voir indexées. Les nouvelles pages doivent y être ajoutées et les pages supprimées en être retirées. Les détails de ce sujet figurent dans le guide [qu'est-ce qu'un plan de site](https://www.faprika.com/fr/blog/qu-est-ce-qu-un-plan-du-site).

Nous vous recommandons de lire

Qu'est-ce qu'un plan de site (sitemap) ? La bonne configuration pour un site

e-commerce

### Conduire le robot vers les bonnes pages grâce aux liens internes

Le robot parcourt votre site en suivant les liens. Si vous donnez de nombreux liens internes à une page, celle-ci paraît plus importante et le robot a plus de chances d'y revenir ; à l'inverse, une page qui ne reçoit de lien de nulle part est difficile à trouver. À partir de la page d'accueil et du menu, faites en sorte que les pages de catégories et de produits importantes soient accessibles par un chemin court. Réduisez les liens internes qui mènent à des adresses en double ou sans valeur : par exemple, tous les liens de filtres n'ont pas besoin d'être de simples liens que le robot peut suivre. Pour les détails du maillage interne, les articles [qu'est-ce qu'un lien interne](https://www.faprika.com/fr/blog/qu-est-ce-qu-un-lien-interne) et [SEO des pages de catégorie](https://www.faprika.com/fr/blog/seo-page-categorie) vous seront utiles.

### Vérifier la pagination et les pages vides

Chaque page de pagination doit afficher sa propre adresse, et il doit exister une chaîne de liens claire entre les pages. Si des adresses de pages vides s'ouvrent alors que les produits sont épuisés, faites en sorte qu'elles renvoient une erreur 404 ou qu'elles ne soient jamais générées. Répartir les produits des catégories selon une structure raisonnable soulage à la fois le visiteur et le robot.

### Améliorer la vitesse et la stabilité du serveur

Lorsque le robot reçoit des réponses lentes, il réduit son rythme ; un serveur rapide et stable permet d'explorer davantage de pages dans le même laps de temps. Garder des images légères, réduire les scripts inutiles et tirer parti du cache profitent à la fois à l'expérience des visiteurs et à l'exploration. Pour l'amélioration de la vitesse, consultez le guide [vitesse du site en e-commerce](https://www.faprika.com/fr/blog/pourquoi-la-vitesse-du-site-est-elle-importante).

## Quelles sont les erreurs fréquentes dans l'optimisation du budget d'exploration ?

L'erreur la plus fréquente consiste à vouloir résoudre chaque adresse en double par la même méthode et à intervenir inutilement sur un site qui n'a pas de problème de budget. Les erreurs ci-dessous sont des exemples très souvent rencontrés en pratique.

- **Bloquer par erreur des pages importantes avec robots.txt.** Une règle peut s'appliquer plus largement que prévu et bloquer aussi des pages de produits ou de catégories. Testez les adresses importantes après chaque modification.
- **Croire que la balise canonical résoudra à elle seule le problème de budget.** Canonical n'arrête pas l'exploration ; elle indique seulement l'adresse principale.
- **Mettre des pages en noindex tout en conservant les liens.** Les pages en noindex sont toujours explorées ; les visites du robot sur ces pages consomment du budget.
- **Laisser subsister les chaînes de redirections.** Ajouter un nouveau maillon à chaque déplacement au lieu de relier l'ancienne adresse à la destination finale allonge la chaîne.
- **Mettre tout dans le plan du site.** Si des adresses en double, qui redirigent ou en noindex restent dans le plan du site, celui-ci perd sa crédibilité.
- **Intervenir à l'excès sur un site sans problème.** Écrire des règles robots.txt complexes sur un petit site augmente le risque de bloquer par erreur des pages qui fonctionnent bien.
- **Décider sans mesurer.** Dire « le budget ne suffit pas » sans consulter les journaux peut masquer la vraie cause (qualité du contenu, manque de liens).
- **Ne pas assurer de suivi après avoir appliqué la solution.** Pour voir comment la modification se reflète dans le comportement du robot, revenez à la même mesure quelques semaines plus tard.

## Liste de contrôle du budget d'exploration

La liste ci-dessous est la version texte des éléments du schéma ; vous pouvez passer votre boutique en revue dans cet ordre.

*Görsel: Liste de contrôle du budget d’exploration : URL de filtres, canonical, redirections, 404, plan du site, pagination, vitesse du serveur et liens internes (Liste de contrôle de la boutique pour le budget d'exploration)*

- Les adresses de filtres et de tri sont gérées : les adresses inutiles sont fermées à l'exploration ou renvoient vers l'adresse principale.
- Les adresses en double sont signalées par canonical ; les versions d'adresses (www, http, barre oblique finale) redirigent vers une seule version.
- Les redirections mènent directement à la destination en une seule étape ; les liens internes n'utilisent pas d'adresses qui redirigent.
- Les adresses qui reçoivent des liens ne renvoient pas d'erreur 404 ; les pages supprimées redirigent vers un emplacement approprié.
- Le plan du site ne contient que des adresses principales répondant par un code 200.
- La pagination est limitée et ses liens sont clairs ; les pages vides ne s'ouvrent pas comme adresses.
- La réponse du serveur est rapide et stable ; il n'est pas mis en difficulté pendant les périodes de forte affluence.
- Les pages de catégories et de produits importantes sont accessibles par un chemin court depuis le menu et les liens internes.
- Les journaux du serveur ou les statistiques d'exploration sont examinés à intervalles réguliers.

Nous vous recommandons de lire

Comment configurer les paramètres SEO d'un site

e-commerce

? Guide pas à pas

## Gestion de l'exploration avec Faprika

Dans Faprika, plusieurs outils de gestion qui influent sur le budget d'exploration relèvent des paramètres SEO. Selon la formation sur les paramètres SEO du Centre d'aide, l'option d'adresse canonical se trouve dans la section SEO sous Configuration, Paramètres, Paramètres généraux ; ce paramètre aide à indiquer les adresses de chaque page. La même formation traite du contrôle du nom de domaine et de l'accès cohérent aux versions d'adresses avec et sans www ; regrouper les versions d'adresses en une seule réduit le nombre de visites du robot sur la même page à plusieurs adresses.

Dans la comparaison des offres, la ligne « Canonical / Gestion des balises H / Robots / Sitemap » couvre la gestion de la balise canonical, des balises de titre, de robots et du plan du site ; la ligne « Panneau 301 / 302 / 410 / Gestion des enregistrements d'adresses » couvre la gestion des redirections et des enregistrements d'adresses. Les lignes « Mise à jour automatique en masse des informations SEO/méta » et « Rapports SEO » figurent aussi parmi les outils qui facilitent ces tâches. Les outils inclus varient selon l'offre ; pour connaître le contenu actuel, consultez la page des [offres e-commerce](https://www.faprika.com/fr/tarifs).

La modification des informations SEO des produits et des catégories produit par produit est abordée dans la formation sur la gestion du catalogue. Tenir à jour les paramètres du catalogue et des médias réduit les rencontres du robot avec des adresses inutiles ou défectueuses. Pour planifier les outils ensemble en fonction de la structure de votre boutique plutôt que de les configurer un à un, consultez le guide des [paramètres SEO e-commerce](https://www.faprika.com/fr/blog/comment-configurer-le-seo-e-commerce) ; pour présenter vos pages au moteur de recherche, consultez l'article [qu'est-ce que les données structurées](https://www.faprika.com/fr/blog/qu-est-ce-que-les-donnees-structurees). Si votre boutique est multilingue, l'article [qu'est-ce que la balise hreflang](https://www.faprika.com/fr/blog/qu-est-ce-que-la-balise-hreflang) est complémentaire pour relier entre elles les versions linguistiques.

## Questions fréquentes

**Qu’est-ce que le budget d’exploration ?**

Le budget de crawl correspond au nombre de pages qu’un robot de moteur de recherche peut et souhaite explorer sur un site pendant une période donnée. Il est déterminé à la fois par le rythme d’exploration que votre serveur peut supporter (limite de débit d’exploration) et par l’envie du robot d’explorer votre site (demande d’exploration).

**Le budget d'exploration est-il un problème pour un petit site e-commerce ?**

En général, non. Sur un site comptant peu de pages et une structure d’URL propre, le robot peut explorer toutes les pages. Le sujet devient sérieux pour les grandes boutiques qui génèrent de nombreuses URL de produits, de filtres et de tri, ou qui ajoutent et suppriment sans cesse du contenu.

**Qu’est-ce qui consomme le plus de budget de crawl ?**

En e-commerce, les causes les plus fréquentes sont les adresses de filtres et de tri, les pages en double, les chaînes de redirections, les adresses renvoyant des erreurs, la pagination infinie et les réponses lentes du serveur. Elles ont toutes en commun que le robot passe du temps sur des adresses de faible valeur.

**Comment repérer un problème de budget de crawl ?**

Le plus fiable est de consulter les journaux du serveur pour voir quelles URL le robot visite. Les statistiques d’exploration fournies par le moteur de recherche montrent en outre la tendance des requêtes, les codes de statut et la vitesse de réponse. Une indexation tardive des nouvelles pages peut être un indice, mais ne constitue pas une preuve à elle seule.

**La balise canonical protège-t-elle le budget de crawl ?**

Pas à elle seule. La balise canonical est un indice fort qui désigne l’URL principale et elle est très utile pour l’indexation et le regroupement des signaux, mais le robot peut quand même visiter une page dotée d’une balise canonical. Pour les URL qui ne doivent jamais être explorées, le fichier robots.txt convient mieux ; pour les URL déplacées définitivement, une redirection 301.

**Une page bloquée par robots.txt disparaît-elle de l’index ?**

Pas toujours. Le fichier robots.txt empêche le robot d’explorer la page, mais si l’URL reçoit des liens d’ailleurs, elle peut tout de même être connue. Si vous ne voulez pas qu’une page apparaisse dans l’index, il peut être nécessaire d’utiliser un signal comme noindex en autorisant l’exploration ; choisissez l’outil adapté à l’objectif de la page.

Orientez le temps du robot vers les pages que vous voulez vendre

Planifions ensemble les paramètres canonical, de redirection et de plan du site en fonction de la structure de votre boutique. Avec Faprika, faites présenter vos pages de produits et de catégories importantes au moteur de recherche selon une structure claire et ordonnée.

Demander une démo

#### Articles qui peuvent vous intéresser

- [**Qu'est-ce qu'un plan du site (sitemap) ?**](https://www.faprika.com/fr/blog/qu-est-ce-qu-un-plan-du-site)
- [**Qu’est-ce que le fichier robots.txt ?**](https://www.faprika.com/fr/blog/qu-est-ce-que-robots-txt)
- [**Qu’est-ce qu’une balise canonical ?**](https://www.faprika.com/fr/blog/qu-est-ce-que-la-balise-canonical)
- [**Qu'est-ce que le contenu dupliqué ?**](https://www.faprika.com/fr/blog/qu-est-ce-que-le-contenu-duplique)
