Corriger les problèmes d'exploration et de Robots.txt

Qu'est-ce que l'exploration?

Afin d'indexer votre site dans ses résultats, Google doit visiter votre site. Ses robots vos parcourir vos pages afin d'en comprendre le contexte et de les associer à un mot clé. C'est ce que l'on appelle l'exploration. 
Si Google ne peut pas accéder à votre site, il aura des difficultés à associer votre page à un mot clé. 

Dans l'onglet Pages, vous retrouverez un rapport d'exploration réalisé par nos robots. Nos robots d'analyse reproduisent le comportement des robots Google. 

Qu'est-ce qu'un fichier Robots.txt?

Le fichier Robots.txt est un fichier texte situé à la racine de votre site (site.com/robots.txt). Ce fichier est lu par les robots avant l'exploration. Il contient des indications permettant aux robots de savoir si vous les autorisez ou non à explorer une ou certaines pages de votre site. 
Vous retrouvez ici un guide officiel de Google sur la rédaction d'un fichier Robots.txt.

Comment gérer l'exploration de mon site?

Attention, l'indexation et l'exploration sont souvent confondus.

Si vous ne voulez pas qu'une page apparaisse dans Google, vous devez autoriser son exploration dans le robots.txt mais interdire son indexation (via une balise meta NoIndex).
En effet, si vous interdisez l'exploration de cette page, Google ne pourra pas trouver l'indication NoIndex qu'elle contient, et ainsi il se peut qu'il la référence tout de même. 

De manière générale, il n'y a pas d'intérêt particulier à utiliser le fichier Robots.txt sauf dans certains cas spécifiques (afin d'économiser le budget crawl par exemple).

Veillez à ce que les pages que vous souhaitez voir apparaitre dans Google soient correctement explorable.

Si une page n'est pas explorable volontairement, vous pouvez cacher cette erreur dans votre rapport de crawl et ne plus le prendre en compte dans la notation.