Uno de los archivos más importantes para la indexación de contenidos de nuestro sitio web por parte de los motores de búsqueda es el archivo robots.txt. El archivo robots.txt nos permite indicar a Google cuál es el contenido que queremos que rastree, así como su jerarquía y periodicidad en el rastreo, pero también qué contenido de nuestro sitio no queremos que aparezca en los resultados de búsqueda.
Como ejemplo sencillo, os enlazo a mi robots.txt, que aunque es sencillo, puede que no sea el más adecuado para todo el mundo.
En el siguiente enlace encontraréis más información acerca de lo que es el robot.txt, su funcionamiento, y algún que otro ejemplo para sitios web creados en WordPress.
Enlazando: robots.txt: Cómo Crear el Archivo y un Ejemplo para WordPress.
No sabía que era una cosa tan sencilla. Gracias por la información, acabo de mejorar y crear un robots.txt para que rastree unas urls específicas.