Revista Informática

Screaming Frog Spider Segunda Parte🐸

Publicado el 16 julio 2019 por José Luis @jluis8

Este post Screaming Frog Spider Segunda Parte🐸 aparece primero en Asnet Soluciones Informáticas.

¿Preparados para el segundo tutorial sobre Screaming Frog?

¡Allá vamos! 😊

Nos quedamos en el punto 1.3 sobre el apartado de URL Rewriting, con lo que ya habrás podido testear y jugar con la herramienta, pero hoy vamos a dar un paso más: vamos a adentrarnos en las profundidades de la “rana”.

1.4 Include & Exclude

Si has de chequear un portal grande (hablamos de miles y millones de URLs), como hemos comentado en el apartado anterior, Screaming se bloqueará, ya que no puede enfrentarse a una cantidad ilimitada de URLs.

Con lo que las funciones de Include y Exclude podrás hacer un rastreo segmentado para que no bloqueemos la herramienta.

Cuando entras por primera vez parecen tener un aspecto muy similar: es una ventana donde podremos añadir parámetros y/o carpetas que necesitas incluir o excluir.

Include & Exclude Screaming Frog SpiderInclude & Exclude Screaming Frog Spider

Si quieres saber qué parámetros han de excluirse, en ésta guía podrás echar un vistazo de todas las expresiones a excluir. Es importante que sepas que al hacer la exclusión de una URL, Screaming no la rastreará, con lo que si ésta URL tiene enlaces internos hacia otras URL, no serán seguidas.

No llegará a ella.

1.5 Speed

A veces tenemos que trabajar con webs que son algo lentas y que no soportan una carga de usuarios elevada, con lo que al pasar Screming Frog, puede ralentizarse aún más.

Pero para ello tenemos el apartado Speed: con ella controlaremos a qué velocidad queremos que rastree Screaming Frog la web.

Speed Screaming Frog SpiderSpeed Screaming Frog Spider

En el campo de Max Threads indicamos las tareas a realizar: es decir podemos indicar cuantas acciones queremos que trabajen de manera simultánea.

Recomendamos un máximo de 5 y no es necesario tocarlo.

Si clicamos en Limit URL/s, son aquellas direcciones que nos dejará rastrear por segundo: muy útil para webs lentas.

1.6 User – Agent Configuration & Http Header

Para usar el HTTP Header antes tendremos que configurar en la pestaña anterior, User- Agent, que tipo de “agente” queremos ser: es decir, quien queremos simular que somos para que rastreemos la web de una manera u otra.

Por defecto tenemos Screming Frog, pero podremos escoger entre Googlebot, etc..pero tendremos que configurar el User Agent en ésta primera pantalla:

User AgentUser Agent

Y después en el HTTP Header, podremos configurar nuestro rastreo.

HTTP HeaderHTTP Header

1.7 Custom Search & Custom Extraction

Con éstas dos herramientas podemos extraer URL determinadas con elementos específicos como podría ser el code de Analytics, o en URL que se mencionen keywords específicas.

El apartado Custome – Search, podremos configurar aquellos apartados que necesitemos extraer de las URLs:

Custome SearchCustome Search

Y el apartado Custome Extract, te permitirá recopilar cualquier dato.

Ésta extracción se realiza en HTML estático que devuelve las páginas internas en un código de respuesta 2xx.

Con esta función podrás extraer:

  • Extraer elemento HTML: el elemento seleccionado y su contenido HTML interno
  • Extraer HTML interno: el contenido HTML interno del elemento seleccionado. Si el elemento seleccionado contiene otros elementos HTML, se incluirán.
  • Extraer texto: el contenido de texto del elemento seleccionado y el contenido de texto de cualquier subelemento.
  • Valor de la función: el resultado de la función suministrada, por ejemplo, count (// h1) para encontrar el número de etiquetas h1 en una página.

Si quieres saberlo todo sobre las extracciones de Screaming Frog, te dejo su guía.🤓

2. En MODES

Si observamos el menú principal, veremos una pestaña que pone Mode:

Mode Screaming Frog SpiderMode Screaming Frog Spider

Aquí tendremos las opciones de Spider, List o SERP: éste será el modo en que quieras que actué Screaming Frog y comprobar los posibles errores que tengas en URLs o meta description o visualizar el Sitemaps.

3. Todo configurado ¿Cómo analizo lo extraído?

Una vez lo tengas todo configurado podremos darle a Start y cuando llegue al 100% del rastreo, observarás que los paneles centrales estarán llenos de información sobre la web a rastrear:

Analizar ExtracciónAnalizar Extracción

Podrás desplazarte con la barra dentro de los diferentes paneles y podrás observar los posibles errores que puedan surgir de la URL que hayas analizado, y toda la información que has configurado.

La pestaña inicial de Internal, situada arriba del panel central, en la que te encuentras una vez se ha realizado el análisis, obtendremos los siguientes datos:

  • Content
  • Status Code
  • Status
  • Indexability
  • Indexability Status
  • Title and Meta Descirptions y Keywords
  • Encabezados (H1,H2,etc..)
  • Meta Robots
  • Canonicals
  • Size
  • Contador de palabras
  • Crawl Depth
  • Link Score – Inlinks (Cantidad de enlaces entrantes internos que tiene dicha URL)– % total
  • Outlinks – Unique Links – External Outlinks – Unique External Outlinks
  • Hash : código único identificativo generado por el código fuente.
    • 😎 Tip VIP: para observar contenido duplicado. Si el código es el mismo….¡sospecha!
  • Response time: tiempo de repsuesta
  • Last modified: última modificación
  • Reedirect URL: que redirección hay
  • Reedirect Type: tipo de redirección, ya sea 301, etc…
  • URL Encded Adrees

El panel lateral derecho te dejará filtrar el tipo de contenido que necesitas y gráfico con los datos en su conjunto:

Panel Filtro Screaming FrogPanel Filtro Screaming Frog

4. ¿Cómo exportar la información de Screaming Frog?

Te recomiendo que una vez tengas la información que necesitas, sería interesante exportarlo a un Excel y poder trabajarlo desde allí ya que es tal la cantidad de información que puede obtener Screaming Frog, que necesitas una plataforma que te sea cómoda.

Si vas a la pestaña Bulk Export nos facilita la exportación de dichos datos:

Bulk ExportBulk Export

Puedes elegir aquellas opciones que necesites en ese momento o métricas que pueden interesarte para un informe en concreto o por una acción específica.

Un SEO ha de llevarse bien con Screaming Frog

Como has podido ver las posibilidades de análisis, crawleo y detalle de la herramienta son infinitas y la verdad que puede abarcar información de la web que analizar al detalle.

Saber el estado de una web y las mejoras que harán que el SEO funcione mucho mejor y complete las acciones de marketing propuestas.

Este post Screaming Frog Spider Segunda Parte🐸 aparece primero en Asnet Soluciones Informáticas.


Volver a la Portada de Logo Paperblog