Afin d'analyser le contenu de votre page, Google doit être capable d'explorer (ou "crawler") votre page. C'est à dire qu'il doit être capable d'y accèder tel qu'un utilisateur via son navigateur.
Généralement, lorsqu'un site est en cours de construction ou pour des raisons internes, certains webmasters décident de bloquer volontairement l'accès à leurs pages via Google.
Attention, cela n'empêchera pas Google d'indéxer vos pages dans ses résultats s'il trouve des liens vers votre site, cela l'empêchera seulement de voir son contenu.
Il faut intervenir sur le fichier Robots.txt, un fichier texte à la racine du site internet, accessible depuis l'adresse www.siteweb.com/robots.txt.
Dans ce fichier, il est possible de définir des directives afin d'autoriser ou d'interdire un ou plusieurs robots à explorer certaines de vos pages.
Retrouvez la documentation complète du fichier Robots.txt sur la documentation Google.