Editar robots.txt en blog de Blogger

Bueno una buena noticia es que desde la ultima actualización de Blogger ahora se puede editar el archivo robots.txt de nuestros blogs alojados en Blogger.


Te preguntaras si sirve de algo editar el archivo robots.txt en Blogger?, pues por supuesto ya que este archivo es muy poderoso y puede definir que paginas deben indexarse y que paginas no, así que lo usaremos con este fin, por ejemplo este archivo por defecto tenia el siguiente contenido:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.tuurl.com/feeds/posts/default?orderby=UPDATED
Lo cual indicaba que deben indexarse todas tus paginas menos los resultados de búsqueda que se realizan en blogger. Si nosotros ahora no queremos indexar una entrada en particular mmm… por ejemplo un post en el que damos las gracias a nuestros suscriptores, entonces si no queremos indexar esa entrada solo basta con agregar la línea roja:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /06/12/gracias-suscriptores.html
Allow: /
Sitemap: http://www.tuurl.com/feeds/posts/default?orderby=UPDATED
Como ves simplemente añadimos el resto del texto que sigue luego de nuestra URL, con el comando Disallow indicamos que no queremos indexarlo.
El fin de este post es dar a conocer que ahora Blogger te permite editar tu archivo robots.txt, para hacerlo simplemente te vas a “Configuración > Preferencias de búsqueda > Archivo robots.txt personalizado”:


Te recomiendo pegar el texto de tu robot actual y asi evitar una mala configuración, para copiar el texto de tu robot actual puedes dirigirte a http://www.tuurl.com/robots.txt.
Para ampliar tu conocimiento sobre los robots puedes visitar el sitio web www.robotstxt.org el cual es el sitio oficial de los robots.txt, puedes aprender mucho más de lo que esperas