Desayuno con Robots

No conozco a ningún colega que no diga alguna vez que le gustaría mayor velocidad de indexación; de hecho, Google ya ofrece la posibilidad de aumentar esa velocidad desde su herramienta Velocidad de Rastreo, en Google Sitemaps.

Desde hace unos días, mi humilde foro phpbb me cuenta desde su panel, que se pasan a desayunar cada mañana los 3 crawlers o bots de los 3 magníficos: Google, Yahoo y Live-MSN. Hasta 24 sesiones simultaneas, más de 10 sólo de googlebot.

Estos son algunos de los clientes habituales a la hora del desayuno:

crawl-66-249-66-206.googlebot.com
crawl-66-249-65-47.googlebot.com]

livebot-207-46-98-68.search.live.com

72.30.226.140 [lj602352.inktomisearch.com]
74.6.71.243 [lj611467.inktomisearch.com]
72.30.252.93 [lj602273.inktomisearch.com]

Ciertamente he de reconocer que funciona, y que la velocidad de indexación de páginas nuevas es importante. La pregunta que suelo hacerme es si merece la pena el tráfico que consume el Bot de yahoo ( alrededor del 80 % de Googlebot) y el trabajo que le da al server, para las visitas que me genera. De momento, mientras no tenga problemas técnicos, seguiré permitiendo sus generosas visitas diarias, pensando no sólo en el nº de visitas, sino en su pluralidad, dado que las pocas visitas que puede aportarme suelen ser de países donde me interesa aparecer.