Cómo eliminar robots.txt
¿Se puede eliminar el archivo Robots.txt? Si desea que los motores de búsqueda indexen todo el contenido de su sitio web, puede eliminar el archivo robots.txt. Simplemente utilice el programa de sitio recomendado que viene con el contenido predeterminado (que puede evitar eficazmente la duplicación y la sensibilidad del fondo).
PD: No es necesario eliminarlo, simplemente mantenga la configuración en la fila del mapa del sitio, lo cual es beneficioso para el SEO del sitio.
Agente de usuario: *
Mapa del sitio:/sitemap.html
¿Cómo escribir robots.txt?
Ponlo en el directorio raíz del sitio web. Es mejor crear un archivo robots.txt. Si realmente no quieres hacerlo, no coloques un archivo robots vacío en el rastreador. llega a un sitio web, lo primero que mira es el suyo. archivo robots.txt, este archivo es el único programa para que el sitio web interactúe con los rastreadores
¿Qué sucede si un sitio web no tiene robots? archivo de texto?
Simplemente le dice a los motores de búsqueda como Baidu que no recopilen los directorios especificados en el archivo. Pero para algunos motores de búsqueda pequeños o rastreadores escritos por individuos, ¿a quién le importa si puede recopilarlos o no? pueden recopilarse. Todas son páginas en segundo plano, y para estas personas es aún más importante recopilarlas.
¿Deberían bloquearse JS y CSS en el archivo de robots?
No es necesario bloquear específicamente archivos como CSSJS en el archivo robots.txt
Porque robots.txt solo restringe el rastreo de las arañas de los motores de búsqueda, indicándoles qué carpetas o rutas no para visitar.
Cssjs y otros archivos no sirven para buscar arañas. Incluso si le pides a la araña que rastree, no lo rastrearán.
Porque CSS se usa para controlar páginas web, hojas de estilo y JS. son archivos de script que se utilizan para crear comportamientos o efectos de páginas web. Estos dos archivos no contienen ninguna información sobre el contenido de la página web y no tienen valor para las arañas.