Corregir los problemas de rastreo y Robots.txt

¿Qué es el rastreo?

Para indexar tu sitio en sus resultados, Google debe visitar tu sitio. Sus robots recorrerán tus páginas para entender el contexto y asociarlas con una palabra clave. Esto se llama rastreo.
Si Google no puede acceder a tu sitio, tendrá dificultades para asociar tu página con una palabra clave.

En la pestaña Páginas, encontrarás un informe de rastreo realizado por nuestros robots. Nuestros robots de análisis replican el comportamiento de los robots de Google.

¿Qué es un archivo Robots.txt?

El archivo Robots.txt es un archivo de texto ubicado en la raíz de tu sitio (sitio.com/robots.txt). Este archivo es leído por los robots antes de realizar el rastreo. Contiene instrucciones que permiten a los robots saber si les autorizas o no a rastrear una o varias páginas de tu sitio.
Aquí puedes encontrar una guía oficial de Google sobre cómo escribir un archivo Robots.txt.

¿Cómo gestionar el rastreo de mi sitio?

Atención, a menudo se confunden indexación y rastreo.

Si no quieres que una página aparezca en Google, debes permitir su rastreo en el robots.txt pero prohibir su indexación (mediante una etiqueta meta NoIndex).
De hecho, si prohíbes el rastreo de esa página, Google no podrá encontrar la indicación NoIndex que contiene y, por lo tanto, es posible que la indexe de todos modos.

En general, no hay un interés particular en usar el archivo Robots.txt excepto en ciertos casos específicos (por ejemplo, para ahorrar presupuesto de rastreo).

Asegúrate de que las páginas que deseas que aparezcan en Google sean correctamente rastreables.

Si una página no es rastreable intencionalmente, puedes ocultar este error en tu informe de rastreo y no tenerlo en cuenta en la puntuación.