Robots txt
Por
lo general, en el mundo del SEO destinamos muchos esfuerzos a que nuestra
página sea totalmente indexable por los motores de búsqueda, pero a veces
tenemos ciertos contenidos dentro del site que por una u otra razón no queremos
que sean indexados, para este fin se han creado los llamados robots txt.
Los archivos tipo robots txt son muy útiles para dar instrucciones a las
arañas de los buscadores sobre la indexación de nuestro site, si hay una parte
de la web con información confidencial por ejemplo, solo tenemos que poner un robots
txt a esa parte y no aparecerá en los motores de búsqueda. Además los robots
txt son muy útiles cuando hacemos cambios sustanciales en la web, por
ejemplo cuando cambiamos el nombre de una URL, los pasos a seguir serían:
1- quitar del sitemap el nombre de la antigua URL e
introducir la nueva
2-poner en un archivo de robots txt la antigua URL y
subirlo a la raiz del FTP.
Por otro lado, en caso de tener contenido duplicado en nuestro site debemos
poner robots txt para que Google no nos penalice, esto cobra especial
importancia desde que Google indexa flash, porque hasta ahora había muchas webs
en flash que estaban duplicadas en HTML para que los buscadores pudiesen
indexarlas, pero como actualmente puede leer este lenguaje de programación es
posible que considere que estas webs tienen gran cantidad de contenido
duplicadas, por lo que debemos poner un robots txt en una de las dos
partes (es recomendable ponerlo en la parte flash)
Por último decir que crear un robots txt es facil y simple, en esta web te damos algunas indicaciones y ejemplos para que los crees.
Las siguientes herramientas son muy útiles para analizar robots txt:
