En matière de visibilité et de référencement naturel, plusieurs facteurs sont à prendre en compte pour le classement d’une page sur un moteur de recherche. Entre technique, contenu et popularité, diverses techniques sont à mettre en œuvre pour une stratégie de référencement réussie.
L’optimisation du crawl est l’une des étapes clefs pour réussir son référencement naturel. Avoir un meilleur crawl aura toujours un impact positif et considérable sur la découverte de nouveaux contenus, ou d’actualisation et de rafraichissements des anciens. Mais alors, comment faire pour l’optimiser ?
Crawler un site, qu’est-ce que c’est ?
Le crawl d’un site web correspond au processus de parcours par un robot d’exploration (également appelé Crawler, ou encore spider), sur une page indexable d’un site internet. Par exemple, crawler un site web est une méthode constamment utilisé par Googlebot, le robot d’exploration du moteur de recherche Google.
Il existe plusieurs types de crawler destinées à la récupération de contenu sur le web :
⦁ Les robots d’exploration précédent l’indexation des pages sur un moteur de recherche (dont vous n’avez pas de contrôle direct)
⦁ Les robots d’exploration provenant d’outils pour auditer son site web et analyser les erreurs
Il existe également des outils qui permettent de simuler l’exploration d’un site web tel qu’un moteur de recherche le fait. Cette solution est envisageable pour analyser, et réparer certaines erreurs sur un site web. Par exemple, Semrush intègre un audit SEO complet à l’aide d’un crawl de vos pages.
On peut également crawler un site pour une raison de migration, en cas de refonte de site ou de changement de CMS…
Le budget crawl chez Google
Le robot d’exploration issue de Google (appelé Googlebot) permet de récupérer le contenu des pages afin de les envoyer à l’indexation. Ce processus permet à Google de mettre à jour sa base de données et d’actualiser les pages de résultat de recherche.
Google dispose de ressources limitées pour parcourir le web et extraire le contenu de chaque page. Pour que le robot visite plus de pages, il faut donc que le site soit plus rapide à charger. Vous ne serez donc pas surpris que le crawling par Googlebot affecte grandement votre référencement sur internet.
Vous pouvez analyser votre budget crawl en vous rendant sur Google Search Console. Il vous suffit de vous rendre dans les paramètres de l’outil, et de cliquer sur « ouvrir le rapport » dans la section « exploration ».
C’est d’ailleurs sur cet outil que vous découvrirez les erreurs qu’a pu rencontrer Google lors de l’exploration d’une page. En vous rendant sur le rapport de couverture, vous pourrez analyser des exemples de pages exclues du moteur de recherche.
Les Googlebots
Il existe plusieurs « Googlebot » et ces robots d’explorations sont tous destinés à récupérer votre contenu avec un format différent. Voici quelques versions de Googlebot très fréquente :
⦁ Googlebot Image : Récupération d’images
⦁ Googlebot-News : Récupération de contenu d’actualité ( google news )
⦁ Googlebot Video : Récupération de vidéo
⦁ Googlebot pour smartphone : Analyse du site version mobile
⦁ Googlebot pour ordinateur : Analyse du site version ordinateur
⦁ Google Favicon : Récupération du favicon
Rendez-vous ici pour voir toutes les versions de Googlebot.
Il est également possible de consulter la version du robot d’exploration qui a parcouru une page sur votre site. Il vous suffit de vous rendre sur les fichiers logs du serveur et analyser Googlebot. Les logs sont généralement disponibles sur les espaces d’hébergement.
Les facteurs à prendre en compte
La fréquence à laquelle le robot d’exploration varie en fonction de plusieurs facteurs tels que :
⦁ La popularité du site web
⦁ La régularité de publications
⦁ La qualité du contenu
⦁ Le maillage interne (lien vers les pages à prioriser)
Plus votre site dispose de popularité, plus il sera d’autorité et sera plus important aux yeux de Google.
En SEO (Search Engine Optimization), il est important que les pages d’un site web soient visités le plus régulièrement possible. Pour cela, elle a besoin d’un contenu qualitatif qui répond à l’intention de recherche de l’internaute, mais également de la popularité (Backlinks et maillage interne).
Vous êtes en mesure de pouvoir faciliter la vie des robots ! Pour cela, il suffit d’optimiser votre site web, et il vous le récompensera…
Afin d’améliorer votre budget crawl, je vous propose 7 petits conseils pour optimiser l’exploration de votre site par Googlebot :
⦁ Réduisez les ressources du serveur (CSS,JS..), ainsi que les requêtes PHP
⦁ Choisissez un thème optimisé pour la performance
⦁ Installez un système de cache comme WP Rocket
⦁ Optimisez votre maillage interne
⦁ Améliorez la popularité avec des backlinks qualitatifs et bien thématisées
⦁ Créez du contenu de qualité
⦁ Évitez des pages avec du contenu dupliqués
Bien évidemment, je vous conseille de suivre régulièrement votre rapport sur Google Search Console, et de compléter votre audit avec un outil professionnel tel que Semrush.
J’espère que ces conseils ont pu vous aider à comprendre et améliorer le crawling de votre site web ! Si vous avez des questions, n’hésitez pas à les poser et nous vous ferons un plaisir de vous aider.