Buscar

Inicio › Desarrollo › Generador de robots.txt

Generador de robots.txt

Configura qué pueden rastrear los buscadores.

Empieza con Generador de robots.txt

  1. Indica las rutas a bloquear y el sitemap.
  2. Descarga robots.txt y súbelo a la raíz del dominio.

Resultado de ejemplo

Datos de referencia:

  • Rutas a bloquear (una por línea):
    /admin/
/privado/
  • URL del sitemap: https://ejemplo.com/sitemap.xml

Resultado:

robots.txt:

User-agent: *
Disallow: /admin/
Disallow: /privado/

Sitemap: https://ejemplo.com/sitemap.xml

Información útil

¿Bloquear en robots.txt evita que la página se indexe?
No del todo: evita el rastreo, pero la URL puede aparecer si otros la enlazan. Para no indexar usa la etiqueta noindex.