Créer en 1994 par Martijn Koster le fichier robots.txt à pour fonction de préciser aux robots des moteurs de recherche comme Googlebot ou d’autres robots ce qu’ils peuvent explorer ou pas lors de leur passage, comme dans cet exemple.
Le 2 juillet 2019, Google a annoncé que d’ici le 1erseptembre, ses robots ne prendront plus en compte les commandes noindex, crawl-delay et nofollow. Selon Google, il ne les aurait jamais supportés mais appliquait les directives du noindex. Google engage les spécialistes SEO à utiliser d’autres solutions pour lui indiquer si une page n’est pas destinée à être indexée. Dans les faits, l’option noindex pouvait dans certains cas être très pratique et rapide pour supprimer de l’index de Google des pages qui ne devaient plus faire partie de son index. Avec la fin de cette option, il faudra dorénavant désavouer les urls concernées via la search console ou utiliser une des méthodes recommandées par Google.
Google annonce ne plus prendre en compte la commande noindex dans le fichier robots.txt
Vous pouvez consulter l’article de Google en anglais au sujet du robots.txt ici.
Cette mise à jour principale de Google comprend quatre changements majeurs dans les signaux de…
Google annonce aujourd’hui la prise en charge des données structurées pour les variantes de produits.…
La fonctionnalité Google Maps, depuis son lancement, a révolutionné la manière dont nous naviguons et…
Google introduit deux mises à jour majeures pour vous aider à effectuer des recherches de…
Un résumé complet de tous les facteurs de classement Google confirmés supposés ou faux. Une…
Il est courant en début d’année de faire des prédictions et d’essayer de se projeter.…
This website uses cookies.