¿Necesita tu Web un fichero Robots.TXT?

Hay cientos de páginas, foros y blogs en Internet donde te dicen como hacer un fichero robots.txt , pero antes debes saber si tu página Web realmente necesita un fichero Robots.txt

Recuerdo que hace poco pregunté a un amigo que música llevaba en su iPod y la respuesta fué contundente: No necesito un iPod: tengo música en mi trabajo, en el coche y en casa. He de reconocer que, aunque es un buen amigo, es un poco borde, pero me dió una lección de sentido común: no necesitaba un iPod.

Los Webmasters y SEOs tenemos 2 herramientas en nuestras manos muy poderosas para controlar la indexación de nuestras webs: los Sitemaps y los Ficheros Robots.txt. Si cualquiera de estas herramientas es poderosa e interesante, una buena combinación lo será aún más.

Pero vamos con la pregunta del título, que me pierdo por el camino:

¿Como saber si una página Web necesita un Fichero Robots.txt?
La pregunta es buena, pero la respuesta la dejamos para el final; vamos a comenzar con otra pregunta, igual de buena.

¿Para que sirve un fichero Robots.txt?
El fichero Robots.txt SOLO sirve para decirle a los robots de los buscadores (Googlebot, Yahoo Slurp, MSNbot, Scooter, etc) QUE PAGINAS O PARTES NO QUIERES QUE VISITEN NI INDEXEN de tus páginas Web. Los robots o arañas de los buscadores leen el fichero robots.txt ANTES que la página, y no visitarán las páginas o secciones (carpetas-directorios) de tu web que le indiques.

¿Entonces, un fichero Robots.txt no vale para mejorar la indexación de la página Web?
Si, pero de forma indirecta, y no como efecto principal.

¿Como saber si una página Web necesita un Fichero Robots.txt?
Ahora si: Es posible colocar una fichero Robots.txt en la mayoría de las páginas Web, aunque esté vacio, pero donde es realmente importante es en Webs de contenido dinámico: Foros, Blogs, Gestores de contenidos CMS, tiendas y catálogos Online, páginas con apartados privados, etc.

¿Que debemos escribir en un Fichero Robots.txt?
No vamos a contaros como hacer un robots,txt y subirlo a vuestra Web, hay miles de sitios con buena información para hacerlo; nosotros sólo vamos a aconsejaros que incluir en él.
Deberías prohibir la indexación de los apartados privados y de administración, apartados de estadísticas, páginas de identificación-login, listados de usuarios, y en general todo lo que no aporte contenidos atractivos a tu web, páginas por las que no deseas ser encontrado en una búsqueda en Google, Yahoo, Live y demás buscadores. Así mismo, debería impedir el acceso de los Robots a un mismo contenido en más de una ubicación(por ejemplo, distintas Categorías en los Blogs), para evitar que aparezcan como contenidos duplicados, y por lo tanto, en resultados suplementarios.
Podemos también impedir con el robots.txt la indexación de nuestras imágenes, documentos en formato PDF, XLS, DOC, etc.

¿Como puede mejorar nuestra indexación el Fichero Robots.txt?
Aunque se supone que es para explicarle a los robots de los buscadores LO QUE NO QUEREMOS INDEXAR, al cerrarles esas puertas, cuando los robots lleguen a nuestra Web tendrán más tiempo y posibilidades de encontrar los nuevos contenidos que no les están vetados por las instrucciones del robots.txt

Y para finalizar, si somos capaces de crear un fichero Robots.txt que evite perder el tiempo y esfuerzo a Googlebot y compañía, y lo unimos a un sitemap actualizado, el tiempo que los robots dediquen a nuestra Web será mucho mejor aprovechado que si dejamos todo en sus "robóticas manos". El robots.txt les dirá: POR AQUI NO !!, mientras que el sitemap les dirá: PASEN POR AQUI SEÑORES, LES ESTABAMOS ESPERANDO.