El archivo Robots.txt es esencial para el posicionamiento de tu página web ya que todas las arañas o robots rastreadores de internet se encargan de encontrar este archivo para luego empezar a evaluar la información de la temática de un blog de WordPress, además de que nosotros mismos podamos decirle que archivos indexar y los que no son necesarios que indexe en sus bases de datos.
¿Tienes una web o blog en WordPress que no indexa?
El archivo robots.txt bien configurado evita que los crawlers de los buscadores indexen páginas que no necesitas que aparezcan en Google como las búsquedas, los directorios de administración, el directorio de plugin, y si además tienes un woocommerce evitarás indexar las páginas de cuenta, carrito, etc...
El archivo "robots" se crea con la extensión .txt que podemos crear y editar con un simple bloc de notas o un cualquier editor de texto.
Cuando ya lo tengas, has de subirlo a la raíz de tu web con el nombre robots.txt, este es el único lugar donde los rastreadores lo encontrarán.
Aquí tienes algunos ejemplos de tobots.txt para WordPress
Si queremos que se rastree todo el sitio:
Si quieres bloquear todo el sitio:
Desde aquí puedes bloquear determinadas carpetas:
Ejemplo de robots.txt standard para wordpress:
El robots.txt también permite añadir comentarios, indicarle el sitemap de tu web...
Te invito a ver el robots.txt de mi página web en wordpress, a ver que te parece.
Recuerda que puedes validar tu Robots.txt desde Google Webmaster Tools, podrás comprobar si hay errores o que puedes mejorar.
También puedes accerder desde la herramienta de Google Probador de robots.txt.
Ya sabes, optimiza el robots.txt de tu wordpress o página web, el posicionamiento o no de tu site en buena parte depende de el.
¿Necesitas un consultor SEO para tu negocio?
Pregúntame como mejorar tu web y ayudar a que tu negocio sea más visible en internet