Uno de los principios básicos del SEO es la creación y la configuración del archivo robots.txt.
El fichero robots.txt es un archivo de texto que indica unas recomendaciones para que los robots de los buscadores (crawlers) cumplan, es decir, permiten indicar a los motores de búsqueda que información tienen que indexar y que no.
Un crawler, también llamados spiders, arañas, bots o indexadores, son unos robots que acceden a las páginas web para buscar, recopilar y almacenar la información del sitio. Cuando uno de estos crawlers explora un sitio web lo primero que hace es buscar el archivo robots.txt en la raíz del sitio, para seguir las indicaciones. Los crawlers más importantes son :
- Googlebot : El robot del buscador Google.
- Bingbot : El robot del buscador Bing.
- Slurp : El robot del buscador Yahoo.
Con el echo de generar el fichero robots.txt, podremos conseguir una serie de beneficios como:
- Impedir el acceso a ciertos robots, ya que algunos crawlers no son de buscadores y sólo perjudican en el rendimiento de la página web.
- Reducir la sobrecarga del servidor, ya que algunos robots pueden llegar a saturar el servidor con las múltiples peticiones que realizan.
- Prohibir la indexación de cierto contenido en los buscadores. A veces nos interesará que una zona en concreto no se accesible.
- Eliminar contenido duplicado, ya que el duplicidad de contenido de un sitio web perjudica gravemente.
- Indicar la ubicación de nuestro sitemap.xml para que la indexación sea más rápida y automatizada.
¿Cómo crear el fichero robots.txt?
- Crear un fichero llamado robots.txt. Recuerda que se debe utilizar las minúsculas para el nombre del archivo. «robots.txt» NO «Robots.TXT».
- Añadir las indicaciones que deberan seguir los motores de búsqueda. En este enlace, muestra un seguido de ejemplos que nos puede ayudar a crear nuestro robots.txt.
- Subir el fichero generado al directorio raíz de tu sitio web.