Muchas son las técnicas, consejos y métodos para aumentar las visitas de un sitio web. En este caso voy a hablar de un tema que considero bastante esencial. El archivo que todo sitio web debería tener: robots.txt
¿Que es robots.txt?
Dicho llanamente, es un archivo que gestiona a los robots que entran a nuestra página para indexar nuestras páginas en sus buscadores. No disponer de este archivo en nuestro servidor simplemente significa que estamos dejando entrar a todos los robots a nuestro sitio.
… Vale, para que mas sirve?
Yo le he encontrado dos utilidades que me bienen perfecto.
1- Decirle al robot dónde no debe ir a indexar (paneles de administración, archivos .js etc…)
2- Decirle al robot dónde tenemos nuestro sitemap para que vaya allí directamente y se entere de lo que tenemos al sitio.
¿Como lo hacemos?
Fácil…
User-agent: *
Disallow: /a/
Sitemap: http://www.dominio.tld/sitemap.xml
Aquí le estamos diciendo que en nuestro dominio ni se plantee entrar a rastrear la carpeta /a/ y le indicamos dónde tenemos nuestro sitemap.
