Cómo se integra un buscador

Antes he hablado de los buscadores y su arquitectura, ahora veamos que partes los componen:

Rastreador (o spider=araña).

Esta parte del buscador es un simple robot que descarga páginas de un sitio web y las rastrea buscando enlaces. Después, abre y descarga cada uno de esos enlaces para rastrearlos también. El rastreador visita los sitios web periódicamente para encontrar cambios en el contenido y modificar su ranking de acuerdo a estos. Dependiendo de la calidad de un sitio web y de la frecuencia de las actualizaciones de su contenido esto puede ocurrir desde digamos una vez al mes hasta varias veces al día par sitios de noticias de alta popularidad. El rastreador no hace el ranking de los sitios web él mismo. En vez de eso, simplemente pasa todos los sitios web rastreados a otro módulo del buscador llamado indexador.