El documento robots.txt es una herramienta fundamental para dirigir cómo los buscadores indexan tu portal. Facilita a los arañas indicaciones sobre qué páginas de tu sitio pueden indexadas y cuáles es preferible que no omitidas. Una implementación del robots.txt puede mejorar tu SEO en los SERP y solucionar problemas de exploración no planif