¿Como encontrar los archivos "robots.txt"?
Un archivo "robots.txt" es generado automáticamente y puedes acceder a el agregando "robots.txt" al final del nombre de tu sitio web por ejemplo https://pagina.mx/robots.txt .
Este archivo contiene las siguientes directivas:
- User-Agent: Significa que la configuración especificada a continuación es válida para todos los rastreadores web.
- Allow and Disallow: De forma predeterminada todas las paginas de tu sitio web son indexadas a los motores de búsqueda, sin embargo es posible ocultar algunas páginas de indexación.
- Sitemap: Dice a los motores de búsqueda como encontrar direcciones en el mapa del sitio, Un archivo "sitemap.xml" se genera automáticamente.
- Host: Esta directiva aparece si un sitio web esta conectado a uno o más dominios . Indica el dominio principal de tu sitio web a los rastreadores web.