Mejorando Live Search

Hace algún tiempo comentábamos dos nuevas mejoras incorporadas al crawler del buscador Live Search. Éstas eran parte de un conjunto de mejoras destinadas a aumentar la amplitud y riqueza de los contenidos del índice del buscador. Cómo parte de este conjunto de mejoras, es posible que se detecte una subida del trafico consumido por MSNBot.



Otra novedad del crawler de Live Search es la lectura de la cabecera Crawl-delay, utilizada para evitar la saturación de los servidores.

El comando funciona de la siguiente manera:

• Crawl-delay: 5
  Espera 5 segundos hasta la siguiente petición (lento).
• Crawl-delay: 10
  Espera 10 segundos hasta la siguiente petición (muy lento).

Fuente: More Crawling Improvements from MSNBot