El documento robots.txt es el recurso esencial para la página web que desea estar bien vista por los motores de búsqueda como Bing. Sirve como el directorio para los bots, indicándoles qué https://soloweb.mx/knowledgebase/211/Sitemap-y-robots.txt-para-mejorar-tu-web.html