Qu'est-ce que le fichier Robots.txt ?
Le fichier Robots.txt dit aux moteurs de recherche quelles pages ils peuvent explorer ou non. Ce fichier est placé à la racine du site à l'adresse https://exemple.com/robots.txt.
Ce fichier peut, s'il est mal utilisé, causer l'indexation de certaines de vos pages dans les résultats des moteurs de recherche que vous ne souhaitez pas.
Comment vérifier la validité du fichier Robots.txt ?
- Le fichier Robots.txt ne doit pas retourner une erreur HTTP 500 (5xx).
- Ne pas dépasser un poids de 500kb. Certains moteurs de recherche risque de ne pas lire la totalité du fichier s'il dépasse cette longueur.
- Vérifier les erreurs de syntaxe
- Fournir une adresse absolue du Sitemap (https://exemple.com/sitemap.xml au lieu de /sitemap.xml)
