John Mueller de Google a clarifié sur Reddit une question à propos d’une balise méta robots fréquemment utilisée, notamment les conséquences de son absence. Bien que la réponse de Mueller soit logique et basée sur des documents, elle pourrait surprendre bon nombre d’éditeurs et de spécialistes en référencement.

Balise meta robots

Les métadonnées transmises par le HTML méta renseignent les robots comme Googlebot. Ces métadonnées sont des données lisibles par machine.

Divers méta-éléments existent, tels que la méta-description, mais le méta-élément Robots est unique car il dirige les robots des moteurs de recherche.

Les directives communiquées par la balise méta robots dictent aux robots de respecter les instructions indiquées dans cette balise.

Plusieurs instructions peuvent être transmises via la balise méta robots, mais la suivante est pertinente pour la question adressée à John Mueller.

La balise méta noindex, nofollow :

<meta name="robots" content="noindex, nofollow">

Cette balise indique aux robots des moteurs de recherche de ne pas indexer le contenu de la page et de ne pas suivre les liens.

Une balise méta commune ordonne aux moteurs de recherche d’indexer le contenu et de suivre tous les liens :

<meta name="robots" content="index, follow">

Bien que cette balise soit répandue, elle est souvent mal comprise. Certains pensent que puisque Google supporte nofollow, il supporte également follow.

Plusieurs sites d’autorité affirment que Google utilise la balise méta index, follow.

Cependant, l’utilisation de ces directives par Google, comme l’explique John Mueller, est différente.

Effet de l’omission de la balise Meta Robots index ?

Un utilisateur de Reddit a posé cette question :

« Je suis perplexe avec le site Web sur lequel je travaille. Voici les méta-extraits habituels des sites sur lesquels je travaille :

<meta name=’robots’ content=’index, follow….

Sur le site actuel, la balise “index” manque.

Quel est l’impact de l’absence de cette balise “index” sur le site ? »

John Mueller a répondu :

« La balise méta robots “index” ne sert à rien (du moins pour Google) – elle est complètement ignorée. “Follow” également. Google a des pages pour documenter les balises méta fonctionnelles : https://developers.google.com/search/docs/crawling-indexing/special-tags & https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag. Tout autre usage sera ignoré. <meta name=”robots” content=”topranking bestcheese”> est une option, pour déconcerter les gens.

Pourquoi Google ignore Index et Follow des robots

Google néglige la balise méta robots index et follow car indexer et suivre sont les valeurs par défaut.

L’objectif des robots des moteurs de recherche est d’indexer et de suivre les liens. La documentation de Google sur les balises robots précise :

“Les valeurs par défaut sont index, follow et n’ont pas besoin d’être spécifiées.”

La liste complète des directives valides pour Google se trouve ici.

Si la méta robots que vous utilisez n’est pas listée, Googlebot l’ignorera.

Index et Follow sont-ils inutiles ?

Officiellement, pour Googlebot, <meta name=”robots” content=”index, follow”> est inutile et ignoré par Googlebot.

Bing traite les balises index, follow de manière similaire mais avec une nuance, comme indiqué dans sa documentation officielle.

La documentation de Bing explique :

« Par défaut, nous supposons “index”, mais <meta name=”robots” content=”index”> peut être utilisé pour confirmer l’indexation.

Concernant la directive follow :

« Par défaut, nous supposons “suivre”, mais “suivre” peut être explicitement indiqué si souhaité.

Dans mes plus de 20 ans en SEO, créer, optimiser et classer des sites Web, j’ai toujours jugé sage de fournir aux robots ce qu’ils attendent, évitant l’inattendu. Si une méta description n’est pas nécessaire, mieux vaut l’omettre, afin de faciliter l’indexation et la compréhension du contenu par les moteurs de recherche, en éliminant tout ce qui pourrait contrarier cet objectif.

Dans ce cas, l’absence de la balise “index” n’aurait probablement aucun effet.

Cependant, il existe une autre perspective sur l’indexation et le suivi.

Certains éditeurs utilisent cette balise méta robots :

<meta name="robots" content="noindex, follow">

Certains suggèrent que si une page n’est pas indexée, la directive “follow” force le moteur de recherche à suivre les liens.

Cependant, ceci est incorrect si une directive “noindex” est présente, car Google ne peut suivre un lien sur une page non indexée. Si elle n’est pas dans l’index, les liens sur ces pages ne le sont pas non plus.

Dans la même catégorie :

• 8 solutions faciles pour accélérer l’indexation de votre contenu SEO sur Google
• Google ne passera pas ! 3 méthodes pour rendre vos pages web invisibles aux yeux du moteur de recherche de Mountain View
• SEO : Peut-on demander une réindexation totale de son site web ? John Mueller de Google nous répond !
• SEO et visibilité en ligne : Les techniques d’indexation web indispensables à connaitre !
• Les balises HTML fêtent leurs 32 ans : Quelle est leur importance pour le SEO ?