Le fichier robots.txt, est un fichier contenant des commandes destinées aux robots d’indexation des moteurs de recherche ou d’autres robots. Il donne des informations sur les fichiers et/ou contenus ou encore pages WEB que vous souhaitez que les robots visites ou pas.

Exemple de fichier robots txt

Exemple de fichier robots txt.