Hay un motivo de bastante peso por la que a veces es necesario bloquear a Googlebot y evitar que el contenido de tu sitio aparezca en los resultados de busqueda de Google, y es cuando inicias con la creación de un sitio, en ese momento no cuentas con contenido, a veces inclusive pasan varios días antes de iniciar con la creación del sitio.
El problema es que el robot de Google llegará y verá que tu sitio no tiene contenido o que no se actualiza con frecuencia de esta forma el robot dirá "Este sitio no esta actualizado lo visitaré nuevamente dentro de una semana", a la semana vuelve a llegar y no encuentra nada nuevo, entonces vuelve a decir "Este sitio no esta actualizado lo visitaré nuevamente dentro de dos semanas" y asi, luego dice "un mes", luego "dos meses", etc.
Lo malo es que cuando ya tengas por fin el sitio listo, el robot de Google tendra una frecuencia de visita a tu sitio de tres meses o más, y será todo un dolor hacer que Google indexe tu sitio, no hay un teléfono al que puedas llamar o un correo para solicitar su atención, es un proceso automático así que lo mejor es ocultarlo mientras tu sitio está en construcción.
Lograr esta misión es algo muy sencillo, solamente crea un archivo llamado robots.txt y en su interior crea el siguiente contenido.
User-Agent * Disallow /
Estas lineas evitan que cualquier bot, llemese Google, Yahoo, Bing, etc. indexe tu sitio web, cuando ya tengas tu página lista simplemente elimina la línea Disallow / ó si lo prefieres elimina el archivo robots.txt.
Tags:
- SEO
Puzzle Bobble
Karate Blazers
Puzzle De Bloques
Magical Cat Adventure