Todos deseamos que el contenido de nuestros sitios este en los indices de busqueda de Google, por lo tanto es importante revisar el archivo robots.txt el cual le dice a los robots de los principales buscadores que contenido debe incluir en sus bases de datos y que contenido no.
Por ejemplo la imágen siguiente muestra un error típico donde se le dice a los buscadores que no incluyan la carpeta de imágenes en sus motores de busqueda.

Más información sobre el archivo robots.txt la puedes encontrar en el siguiente url: https://support.google.com/webmasters/answer/6062608
Tags:
- Tips Web
