El archivo robots.txt es el encargado de decir pase o quedese ahí a los robots de los buscadores como en este caso el spider de google por ejemplo con este archivo podemos indicar al buscador de google que no acceda por ejemplo al feed u otras secciones de nuestro blog.
Es demasiada util para que no se indexen paginas que no deseamos que sean vistas por los buscadores ya que podrian generar contenido duplicado y este arhivo nos puede sacar de mas de un problema.
Utilizamos:
Disallow: Para especificar la URL que no puede ser rastreada
User-Agent : Indicamos que robot no ingresara en esas URL
El archivo tiene que estar justo en el directorio principal de nuestra web para que el robot pueda acceder a el.
Puedes buscar herramientas para generar el archivo o lo puedes crear tu mismo, por ejemplo te muestro el que yo tengo en el blog.
Claro que tu puedes crearlo como tu quieras o como mejor se acomode a tus necesidades y las de tu blog.
