Gestion du fichier Robots.txt

Choisissez les moteurs de recherche qui doivent indexer votre site pour votre référencement avec votre module de Gestion du Robots.txt.

Le fichier Robots.txt est un fichier texte contenant des commandes à destination des robots d'indexation des moteurs de recherche afin de leur préciser les pages qui doivent ou ne doivent pas être indexées.

Notre module de gestion du Robots.txt permet d'automatiser la création de ce fichier.

Côté administration, vous pouvez :

• pour chaque page, ne pas authoriser l'indexation par les moteurs de recherche
• générer automatiquement le fichier Robots.txt qui contient la liste de toutes les exclusions
• éditer le fichier Robots.txt

Côté site :

• Les différents moteurs de recherche référencent uniquement les pages authorisées du fichier Robots.txt