Guide

Articles d'aide, guides, base de connaissances et plus.

Le robots.txt n'autorise pas l'analyse

Il se peut que l'analyse de certaines pages ne puissent être réalisée. Les scores d'une page ne pouvant pas être analysée ne sont pas affichés et un message d'erreur est retourné. 

Dans le cas où l'analyse n'a pas été réalisée à cause d'un problème de Robots.txt, cela signifie tout simplement que le site interdit notre robot d'analyser la page en question.

Comment autoriser Cocolyze à analyser ma page web?

Il faut autoriser notre robot dans le fichier Robots.txt, situé à la racine du site web, à l'adresse http://monsiteweb.com/robots.txt

Ce fichier contient une liste de directives précisant pour tous les robots (ou robot par robot) la décision d'autoriser l'exploration du site ou d'une partie du site.

Notre robot est (utilisé pour les robots.txt) :

Cocolyzebot 

Notre User-Agent complet (visible dans les logs de passages du robot) est : 

Mozilla/5.0 (compatible; Cocolyzebot/1.0; +https://cocolyze.com/cocolyzebot)

Vous trouverez plus d'informations sur le fonctionnement des fichiers Robots.txt sur la documentation Google.

N'hésitez pas à nous contacter si vous avez besoin d'aider pour autoriser l'exploration de votre site web  😉

Recherche