¿Tienes una web o blog en WordPress que no indexa?
El archivo Robots.txt es esencial para el posicionamiento de tu página web ya que todas las arañas o robots rastreadores de internet se encargan de encontrar este archivo para luego empezar a evaluar la información de la temática de un blog de WordPress, además de que nosotros mismos podamos decirle que archivos indexar y los que no son necesarios que indexe en sus bases de datos.
El archivo “robots” se crea con la extensión .txt que podemos crear y editar con un simple bloc de notas o un cualquier editor de texto.
Cuando ya lo tengas, has de subirlo a la raíz de tu web con el nombre robots.txt, este es el único lugar donde los rastreadores lo encontrarán.
Aquí tienes algunos ejemplos de tobots.txt para WordPress
Si queremos que se rastree todo el sitio:
User-agent: *
Disallow:
Si quieres bloquear todo el sitio:
User-agent: *
Disallow: /
Desde aquí puedes bloquear determinadas carpetas:
User-agent: *
Disallow: /wp-login
Disallow: /wp-admin
Ejemplo de robots.txt standard para wordpress:
User-agent: *
Disallow: /wp-content/plugins/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /*?
Disallow: /cgi-bin/
Disallow: /wp-content/cache/
User-agent: Mediapartners-Google*
Allow: /
User-agent: Mediapartners
Allow: /
User-agent: AdsBot-Google
Allow: /
User-agent: Googlebot
Allow: /
User-agent: Googlebot-Mobile
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
Sitemap: http://www.tusitioweb.com/sitemap.xml
Sitemap: http://www.tusitioweb.com/feed/
El robots.txt también permite añadir comentarios, indicarle el sitemap de tu web…
Te invito a ver el robots.txt de mi página web en wordpress, a ver que te parece.
http://www.jluislopez.es/robots.txt
Ya sabes, optimiza el robots.txt de tu wordpress o página web, el posicionamiento o no de tu site en buena parte depende de el.
Shares¿Necesitas un consultor SEO para tu negocio?
Desde Asnet podemos ayudarte a mejorar el posicionamiento de tu página web y obtener más rendimiento sobre ella.