El archivo robots.txt es una elemento fundamental para toda página web que busca estar bien indexada por los rastreadores como Bing. Funciona como un mapa para los bots, indicándoles qué páginas https://soloweb.mx/knowledgebase/211/Sitemap-y-robots.txt-para-mejorar-tu-web.html