Retour

Erreur - Le serveur ne retourne pas un code HTTP 200

Le serveur ne retourne pas un code HTTP 200

Un code HTTP est un code retourné par un serveur WEB lors d'une requête client (navigateur ou robots). Ces codes sont catégorisés en famille :

  • code 2xx (200) : code informant que l'échange s'est bien déroulé et que la réponse a été fournie
  • code 3xx (de 300 à 399) : ce sont des codes spécifiques informant le client d'une redirection, c'est à dire d'un changement d'URL à suivre
  • code 4xx (de 400 à 499) : ce sont les erreurs dites "client" où l'accès à la page n'est pas possible
    • code 403 : l'accès à la page a été refusé par le serveur : par nécessité d'authentification, à cause de filtres anti-bots etc
    • code 404  ressource non trouvée, la page à laquelle le client essaye d'accéder n'existe pas, il ne reconnait pas l'URL
  • code 5xx (de 500 à 599) : ce sont les erreurs dites "serveur" où le serveur/application a rencontré une erreur interne et n'est pas en mesure de fournir la page

Lorsque que le serveur ne renvoie pas un code HTTP 200 pour l'URL saisie, nos robots ne sont pas en mesure d'analyser la page puisque la réponse n'a pas été validée. En effet, il est tout à fait normal qu'une erreur 404 renvoie une page HTML, celle-ci informe l'utilisateur qu'elle n'a pas été trouvée, mais il ne s'agit d'une page d'erreur et celle-ci n'est pas destinée à être analysée.

Lorsque le serveur ne renvoie pas un code HTTP 200, il est nécessaire de :

  • vérifier l'URL saisie, une URL non reconnue renverra un code HTTP 404
  • vérifier qu'il ne s'agit pas d'une erreur de configuration ou de code
  • ajouter une exception sur votre pare-feu/proxy pour nos robots, dans la plupart des cas lors d'erreur HTTP 403. Nos robots sont identifiés grâce à leurs user-agents (ils ne possèdent pas d'IPs fixes) :
    •  "Mozilla/5.0 (Linux ; Android 6.0.1 ; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, comme Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible ; Cocolyzebot/1.0; +https://cocolyze.com/bot)" pour l'analyse mobile
    • "Mozilla/5.0 (compatible; Cocolyzebot/1.0; https://cocolyze.com/bot)" pour l'analyse ordinateur
  • contacter vos prestataires, une erreur 5xx peut provenir d'une panne de la base de données, de l'incompatibilité avec un nouveau module etc
Retour