{"id":817,"date":"2013-04-08T18:55:03","date_gmt":"2013-04-08T18:55:03","guid":{"rendered":"http:\/\/www.ibrugor.com\/blog\/?p=817"},"modified":"2013-04-08T18:55:03","modified_gmt":"2013-04-08T18:55:03","slug":"robots-txt-que-es-y-para-que-sirve","status":"publish","type":"post","link":"https:\/\/www.ibxagency.com\/blog\/robots-txt-que-es-y-para-que-sirve\/","title":{"rendered":"Robots.txt &#8211; \u00bfQu\u00e9 es y para que sirve?"},"content":{"rendered":"<p>Uno de los principios b\u00e1sicos del SEO es la creaci\u00f3n y la configuraci\u00f3n del archivo\u00a0<strong>robots.txt<\/strong>.<\/p>\n<p>El fichero <strong>robots.txt\u00a0<\/strong>es un archivo de texto que indica unas recomendaciones para que los robots de los buscadores (<em>crawlers<\/em>) cumplan, es decir, permiten indicar a los motores de b\u00fasqueda que informaci\u00f3n tienen que indexar y que no.<\/p>\n<p>Un <em>crawler, <\/em>tambi\u00e9n llamados spiders, ara\u00f1as, bots o indexadores, son unos robots que acceden a las p\u00e1ginas web para buscar, recopilar y\u00a0almacenar la informaci\u00f3n del sitio. Cuando uno de estos\u00a0<em>crawlers <\/em>explora un sitio web lo primero que hace es buscar el archivo\u00a0<strong>robots.txt\u00a0<\/strong>en la ra\u00edz del sitio, para seguir las indicaciones. Los <em>crawlers\u00a0<\/em>m\u00e1s importantes son \u00a0:<\/p>\n<ul>\n<li><span style=\"line-height: 15px;\">Googlebot : El robot del buscador Google.<\/span><\/li>\n<li>Bingbot : El robot del buscador Bing.<\/li>\n<li>Slurp : El robot del buscador Yahoo.<\/li>\n<\/ul>\n<p>Con el echo de generar el fichero robots.txt, podremos conseguir una serie de beneficios como:<\/p>\n<ul>\n<li><span style=\"line-height: 15px;\">Impedir el acceso a ciertos robots, ya que algunos crawlers no son de buscadores y s\u00f3lo perjudican en el rendimiento de la p\u00e1gina web.<\/span><\/li>\n<li>Reducir la sobrecarga del servidor, ya que algunos robots pueden llegar a saturar el servidor con las m\u00faltiples peticiones que realizan.<\/li>\n<li>Prohibir la indexaci\u00f3n de cierto contenido en los buscadores. A veces nos interesar\u00e1 que una zona en concreto no se accesible.<\/li>\n<li>Eliminar contenido duplicado, ya que el duplicidad de contenido de un sitio web perjudica gravemente.<\/li>\n<li>Indicar la ubicaci\u00f3n de nuestro <em>sitemap.xml<\/em> para que la indexaci\u00f3n sea m\u00e1s r\u00e1pida y automatizada.<\/li>\n<\/ul>\n<p><strong>\u00a0\u00bfC\u00f3mo crear el fichero robots.txt?<\/strong><\/p>\n<ol>\n<li>Crear un fichero llamado <em>robots.txt<\/em>. Recuerda que se debe utilizar las min\u00fasculas para el nombre del archivo. \u00abrobots.txt\u00bb NO \u00abRobots.TXT\u00bb.<\/li>\n<li>A\u00f1adir las indicaciones que deberan seguir los motores de b\u00fasqueda. En este <a href=\"http:\/\/es.wikipedia.org\/wiki\/Est%C3%A1ndar_de_exclusi%C3%B3n_de_robots\">enlace<\/a>, muestra un seguido de ejemplos que nos puede ayudar a crear nuestro robots.txt.<\/li>\n<li>Subir el fichero generado al directorio ra\u00edz de tu sitio web.<\/li>\n<\/ol>\n<p>&nbsp;<\/p>\n<p>&nbsp;<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Uno de los principios b\u00e1sicos del SEO es la creaci\u00f3n y la configuraci\u00f3n del archivo\u00a0robots.txt. El fichero robots.txt\u00a0es un archivo de texto que indica unas recomendaciones para que los robots de los buscadores (crawlers) cumplan, es decir, permiten indicar a los motores de b\u00fasqueda que informaci\u00f3n tienen que indexar y que no. Un crawler, tambi\u00e9n [&hellip;]<\/p>\n","protected":false},"author":3,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[18,16],"tags":[],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/www.ibxagency.com\/blog\/wp-json\/wp\/v2\/posts\/817"}],"collection":[{"href":"https:\/\/www.ibxagency.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ibxagency.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ibxagency.com\/blog\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ibxagency.com\/blog\/wp-json\/wp\/v2\/comments?post=817"}],"version-history":[{"count":6,"href":"https:\/\/www.ibxagency.com\/blog\/wp-json\/wp\/v2\/posts\/817\/revisions"}],"predecessor-version":[{"id":823,"href":"https:\/\/www.ibxagency.com\/blog\/wp-json\/wp\/v2\/posts\/817\/revisions\/823"}],"wp:attachment":[{"href":"https:\/\/www.ibxagency.com\/blog\/wp-json\/wp\/v2\/media?parent=817"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ibxagency.com\/blog\/wp-json\/wp\/v2\/categories?post=817"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ibxagency.com\/blog\/wp-json\/wp\/v2\/tags?post=817"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}