¿Como encontrar los archivos "robots.txt"?


Un archivo "robots.txt" es generado automaticamente y puedes acceder a el agregando "robots.txt" al final del nombre de tu sitio web por ejemplo https://pagina.mx/robots.txt .


Este archivo contiene las siguientes directivas:


  • User-Agent: Significa que la configuración especificada a continuación es válida para todos los rastreadores web.
  • Allow and Disallow: De forma predeterminada todas las paginas de tu sitio web son indexadas a los motores de búsqueda, sin embago es posible ocultar algunas páginas de indexación.
  • Sitemap: Dice a los motores de busqueda como encontrar direcciones en el mapa del sitio, Un archivo "sitemap.xml" se genera automaticamente.
  • Host: Esta directiva aparece si un sitio web esta conectado a uno o más dominios . Indica el dominio principal de tu sitio web a los rastreadores web.