Un site web qui n'est pas indexé est comme s'il n'existait pas puisqu'il n'apparaîtra pas dans les requêtes de recherche et n'aura pas de trafic organique. C'est pourquoi nous ne pouvons pas permettre à Google de ne pas indexer notre site web. Malheureusement, c'est un problème assez courant.
Pas de panique ! Dans ce billet, nous vous expliquons les principales techniques pour faire indexer votre site web par Google.
Comment fonctionne l'indexation de Google ?
Google est basé sur des algorithmes quelque peu complexes, mais le processus qu'il suit pour indexer une page est simple. Le moteur de recherche s'appuie sur une série de codes que nous connaissons sous le nom d'araignées du web, de crawlers ou de bots.
Ces araignées inspectent les pages web pour trouver des contenus nouveaux et mis à jour. Il peut s'agir d'une nouvelle page d'un site existant ou d'un site entièrement nouveau. Les robots commencent par parcourir quelques pages web et suivent ensuite les liens de ces pages pour trouver de nouvelles URL.
Il y a quelque temps, les SERP de Google étaient faciles à "manipuler" et nous pouvions obtenir de Google qu'il indexe un site web essentiellement par ses mots clés et ses liens.
Aujourd'hui, la situation est totalement différente. Bien que ces mots clés soient toujours importants, Google accorde également une grande importance à l'expérience et à l'intention de l'utilisateur derrière la recherche. On peut dire que les araignées sont plus intelligentes aujourd'hui.
L'indexation par Google fait référence à la manière dont les robots traitent les données trouvées sur une page lorsqu'ils la parcourent.
Comment faire pour que votre site web soit rapidement indexé par Google
Comme nous l'avons dit, il est assez courant que Google n'indexe pas une page, mais les causes sont généralement les mêmes.
Vous pouvez les résoudre en appliquant les solutions suivantes :
Vérifiez que vous disposez des directives robots.txt appropriées
Une raison pour laquelle Google n'indexerait pas votre site pourrait être les directives données dans le fichier robots.txt.
Pour le vérifier, allez sur yourdomain.com/robots.txt, et cherchez l'un de ces deux codes :
User-agent: Googlebot
Disallow: /
User-agent: *
Disallow: /
Tous deux indiquent à GoogleBot qu'il ne doit pas explorer les pages du site. Vous devez les supprimer pour résoudre le problème sans plus attendre.
Supprimer les balises noindex
Google n'indexera pas votre page si vous lui dites de ne pas le faire. Cela pourrait être utile pour préserver la confidentialité de certaines pages web.
Il y a deux façons de dire au moteur de recherche de ne pas indexer un site :
Méta tags
Google does not index pages with any of these meta tags in the <head> of the HTML:
<meta name=“robots” content=“noindex”>
<meta name=“googlebot” content=“noindex”>
Vous devez supprimer les balises "noindex" situées dans les pages que vous voulez que Google indexe. Pour ce faire, vous pouvez utiliser un moteur de recherche SEO tel que FandangoSEO pour identifier rapidement toutes les pages comportant la balise "noindex".
X-Robots-Tag
GoogleBot respecte également la directive X-Robots Tag. Vous pouvez vérifier si Google ne peut pas explorer une page en raison de cette directive en utilisant l'outil d'inspection d'URL de la Google Search Console.
Vous devez demander à votre développeur d'exclure les pages que vous souhaitez indexer afin qu'il ne renvoie pas cet en-tête.
Utiliser l'API d'indexation de Google ou le GSC
Les sites comportant de nombreuses pages avec peu de contenu (annonces, offres d'emploi, etc.) peuvent utiliser l'API d'indexation de Google pour demander automatiquement l'exploration et l'indexation de nouveaux contenus et des modifications de contenus.
L'API permet de soumettre des URL individuelles. Elle est utile pour que Google tienne à jour l'index de votre page. Grâce à cette API, vous pourrez :
- Mettre à jour une URL: Aviser Google d'une nouvelle URL ou d'une mise à jour d'une URL à explorer.
- Supprimer une URL : Informer le moteur de recherche qu'une page obsolète a été supprimée du site.
- Vérifiez le statut d'une demande: Voir quand GoogleBot a parcouru l'URL pour la dernière fois.
C'est quelque chose que vous pouvez également faire avec FandangoSEO. Cet outil vous permet de demander à Google d'indexer jusqu'à 200 URL à la fois.
Un autre moyen d'accélérer l'indexation de vos pages web est la console de recherche Google. Utilisez l'outil d'inspection des URL du SGC pour demander à Google de recomposer vos pages. Ceci est utile pour demander l'exploration d'URL individuelles. Il permet de soumettre un maximum de 12 URL par jour. Si vous devez en soumettre davantage, il est préférable d'utiliser un sitemap XML.
Pour commencer, vous devrez inspecter les URL à l'aide de l'outil d'inspection des URL. Ensuite, sélectionnez Indexation des demandes. L'outil vérifiera d'abord si vous avez des problèmes d'indexation. Si ce n'est pas le cas, l'URL sera mise en file d'attente pour le crawling.
Éliminer les étiquettes canoniques incorrectes
La balise canonique indique à Google quelle version d'une page est préférée. La plupart des pages ne la contiennent pas, les moteurs de recherche supposent donc qu'ils doivent les indexer. Cependant, si votre page a une balise canonical incorrecte, elle pourrait causer une erreur en informant Google d'une version préférée qui n'existe pas.
Si vous souhaitez examiner les balises canoniques d'un site web, utilisez l'outil d'inspection des URL de Google ou un SEO Crawler. Si vous détectez une page qui ne devrait pas contenir la balise canonique, supprimez-la.
Inclure les pages concernées dans votre plan de site
Votre plan de site indique à Google les pages qui sont essentielles et celles qui ne le sont pas. D'où l'importance de fournir un sitemap à Google.
La vérité est que le moteur de recherche devrait pouvoir trouver des pages sur votre site web, qu'elles soient sur le plan du site ou non, mais c'est une bonne idée de les inclure car cela "facilite les choses" pour Google.
Vous pouvez utiliser l'outil d'inspection des URL du SGC pour vérifier si une page est incluse dans le plan du site.
Détecter les pages orphelines
Une page orpheline est une page sans liens internes. Google découvre un nouveau contenu lorsqu'il parcourt le web, mais logiquement, il ne peut pas trouver de pages orphelines s'il n'y a pas de liens vers celles-ci. Et les visiteurs du site ne le peuvent pas non plus.
Vous pouvez détecter s'il y a des pages orphelines sur un site web en utilisant un SEO Crawler. Pour en savoir plus, consultez notre Guide des pages orphelines.
Correction des liens internes contenant l'attribut nofollow
Les liens Nofollow sont ceux qui contiennent une balise rel="nofollow" et qui sont utilisés pour empêcher le transfert du PageRank vers l'URL de destination. Google n'a pas suivi ce type de lien jusqu'à la mise à jour Nofollow du 1er mars 2020, lorsqu'ils ont déclaré que cet attribut ne fonctionne désormais qu'à titre indicatif.
Vous devez examiner vos liens internes pour identifier ceux qui contiennent un attribut nofollow. Si vous souhaitez que la page cible soit indexée, vous devrez supprimer les directives nofollow.
Ajouter des liens internes puissants
Si vous souhaitez que Google indexe une page rapidement, vous pouvez montrer la valeur de cette page en lui fournissant une bonne quantité de jus de lien (ou d'autorité). Pour ce faire, vous pouvez lier la page aussi près que possible de votre page d'accueil. Le nombre de liens que la page possède révèle également son poids sur votre site.
Pour en savoir plus sur la façon de créer un lien interne fort, consultez notre guide.
Éviter les doublons
Les robots deGoogle s'embrouillent s'il y adu contenu endouble. Le moteur de recherche n'indexe initialement qu'une seule URL pour chaque ensemble unique de contenu, de sorte qu'il leur est difficile de décider quelle version indexer en cas de contenu similaire.
Comme des pages de contenu similaires "se font concurrence", cela affecte négativement les performances de toutes ces pages. C'est pourquoi vous devez éviter les contenus dupliqués.
Assurez-vous que votre page a de la valeur
Il est peu probable que Google indexe des pages de mauvaise qualité, car elles n'apportent rien à l'utilisateur. Par conséquent, si aucun problème technique n'explique l'échec de l'indexation, la raison pourrait être le manque de valeur du contenu.
Demandez-vous si la page a de la valeur et si cela vaut la peine de cliquer dessus. Si ce n'est pas le cas, il serait nécessaire d'améliorer son contenu. Gardez toujours à l'esprit l'intention de l'utilisateur.
Comme vous pouvez le voir, il s'agit de vérifier qu'aucun problème technique n'entrave l'indexation de la page. Et une fois que cela a été exclu, vous devez vérifier si elle apporte une valeur ajoutée à l'utilisateur.
Dernière mise à jour le 7 juin 2021 par Hannah Dango
