Google annonce la fin de l’interprétation de la commande noindex dans le fichier robots.txt

Créer en 1994 par Martijn Koster le fichier robots.txt à pour fonction de préciser aux robots des moteurs de recherche comme Googlebot ou d’autres robots ce qu’ils peuvent explorer ou pas lors de leur passage, comme dans cet exemple.

Le 2 juillet 2019, Google a annoncé que d’ici le 1erseptembre, ses robots ne prendront plus en compte les commandes noindex, crawl-delay et nofollow. Selon Google, il ne les aurait jamais supportés mais appliquait les directives du noindex. Google engage les spécialistes SEO à utiliser d’autres solutions pour lui indiquer si une page n’est pas destinée à être indexée. Dans les faits, l’option noindex pouvait dans certains cas être très pratique et rapide pour supprimer de l’index de Google des pages qui ne devaient plus faire partie de son index. Avec la fin de cette option, il faudra dorénavant désavouer les urls concernées via la search console ou utiliser une des méthodes recommandées par Google.

 

Google annonce ne plus prendre en compte la commande noindex dans le fichier robots.txt

Google annonce ne plus prendre en compte la commande noindex dans le fichier robots.txt

  • Noindex dans les balises méta robots: Prise en charge à la fois dans les en-têtes de réponse HTTP et en HTML, la directive noindex est le moyen le plus efficace de supprimer les URL de l’index lorsque l’analyse est autorisée.
  • Codes de statut HTTP 404 et 410: les deux codes de statut signifient que la page n’existe pas. Ces URL seront supprimées de l’index de Google une fois qu’elles auront été analysées et traitées.
  • Protection par mot de passe: à moins que le balisage indique le contenu d’un abonnement ou du paywall, le fait de masquer une page derrière un identifiant le supprimera généralement de l’index de Google.
  • Bloquer dans le fichier robots.txt: les  moteurs de recherche ne peuvent indexer que les pages dont ils ont connaissance. Par conséquent, si vous bloquez l’analyse d’une page, son contenu ne sera généralement pas indexé. Bien que le moteur de recherche puisse également indexer une URL en fonction de liens provenant d’autres pages, sans voir le contenu lui-même, nous visons à rendre ces pages moins visibles à l’avenir.
  • Outil de suppression d’URL de la console de recherche: cet outil est une méthode simple et rapide pour supprimer temporairement une URL des résultats de recherche de Google.

Vous pouvez consulter l’article de Google en anglais au sujet du robots.txt ici.