Cómo escribir robots.txt

La forma de escribir robots.txt es lo que el personal de SEO debe saber (qué es robots.txt), pero cómo escribirlo, qué está prohibido y qué está permitido, lo tenemos que configurar nosotros mismos.

Baidu Spider es una máquina que solo reconoce números, letras y caracteres chinos, y robots.txt es el primer "diálogo" más importante con Baidu.

Cuando nuestro sitio web aún no está creado, no queremos que Baidu lo rastree. Algunas personas a menudo prohíben que Baidu lo rastree. Sin embargo, este enfoque es muy malo, ya que dificultará que las arañas de Baidu vuelvan a visitar su sitio web. Por lo tanto, debemos crear el sitio web localmente ahora y luego comprar el nombre de dominio y el espacio una vez hecho todo. De lo contrario, las modificaciones repetidas de un sitio web tendrán ciertos efectos adversos en su sitio web.

El archivo robots.txt original de nuestro sitio web fue escrito de la siguiente manera:

Agente de usuario: *

No permitir: /wp-admin/

Disallow: /wp-includes/

User-agent: * significa que todos los motores pueden rastrear.

Disallow: /wp-admin/ y Disallow: /wp-includes/ prohíben a Baidu rastrear nuestra privacidad, incluidas contraseñas de usuario, bases de datos, etc. Esta forma de escribir no solo protege nuestra privacidad, sino que también maximiza el rastreo de Baidu Spider.

Si desea prohibir que Baidu Spider rastree una página determinada, como 123.html, agregue el código "Disallow: /123.html/".

Una vez escrito el archivo robots.txt, solo necesita cargarlo en el directorio raíz del sitio web.