Crear Robots txt
Crear un robots txt es muy simple, pero a la vez muy importante para una correcta indexación de nuestro site, pues como ya hemos comentado antes gracias a estos archivos podemos guiar a las arañas de los buscadores en el rastreo de una web y evitar que almacenen en su base de datos ciertas URLs
Para crear un robots txt básico simplemente debemos crear un documento (por ejemplo con el Notepad) al que llamaremos robots txt, en este documento pondremos como encabezamiento User-agent: * y a continuación Disallow:
Detrás del Disallow pondremosla URL
que no queremos que sea indexada, podremos poner tantas URLs como queramos con
su correspondiente Disallow delante, por otro lado podemos poner la URL completa o parcial (como el caso del ejemplo)visualmente el documento quedará así:
Pero además podemos crear robots txt mucho más complejos con órdenes específicas, en el caso anterior detrás del user agent (que delimita al buscador) hemos puesto un buscador, por lo que hace referencia a todos, pero podemos crear un robots txt que solo impida rastrear a Google y se lo permita a los demás. Estos son los nombre para crear robots txt de algunos de los principales motores de búsqueda:
Como ejemplo si queremos crear un robots txt que impida a Altavista rastrear la URL www.crear-robots-txt.html, serías así:
User-agent: Scooter
Disalow: www.crear-robots-txt.html
Así de simple, pero despues de crear tu robots txt no olvides subirlo a la raíz del FTP, tampoco olvides que si no quieres que ningún buscador indexe una página debes poner un asterísco detrás de user-agent.
Como recomenmdación, decir que si dispones de cuenta en Web Master Tools es convenientes que mandes a eliminar la web de forma manual además de crear el robots txt.
Para crear un robots txt básico simplemente debemos crear un documento (por ejemplo con el Notepad) al que llamaremos robots txt, en este documento pondremos como encabezamiento User-agent: * y a continuación Disallow:
Detrás del Disallow pondremos
Pero además podemos crear robots txt mucho más complejos con órdenes específicas, en el caso anterior detrás del user agent (que delimita al buscador) hemos puesto un buscador, por lo que hace referencia a todos, pero podemos crear un robots txt que solo impida rastrear a Google y se lo permita a los demás. Estos son los nombre para crear robots txt de algunos de los principales motores de búsqueda:
- Excite - ArchitextSpider
- Altavista - Scooter
- Lycos - Lycos_Spider_(T-Rex)
- Google - Googlebot
- Alltheweb - FAST-WebCrawler/
Como ejemplo si queremos crear un robots txt que impida a Altavista rastrear la URL www.crear-robots-txt.html, serías así:
User-agent: Scooter
Disalow: www.crear-robots-txt.html
Así de simple, pero despues de crear tu robots txt no olvides subirlo a la raíz del FTP, tampoco olvides que si no quieres que ningún buscador indexe una página debes poner un asterísco detrás de user-agent.
Como recomenmdación, decir que si dispones de cuenta en Web Master Tools es convenientes que mandes a eliminar la web de forma manual además de crear el robots txt.
