Stax

Generador de robots.txt

Genera un archivo robots.txt con bloqueo de bots y URL del mapa del sitio.

User-agent: *
Disallow: /admin
Disallow: /api
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Google-Extended
Disallow: /

Sitemap: https://example.com/sitemap.xml

Place this file at the root of your domain: https://yourdomain.com/robots.txt

¿Qué es el generador de robots.txt?

Esta herramienta genera el archivo robots.txt para sitio web — configura bloqueo de bots, URL de sitemap, retraso de crawl. Fundamento del control SEO.

Cómo crear robots.txt

  1. Agrega reglas allow/disallow.
  2. Apunta a bots específicos (Googlebot, GPTBot, etc.).
  3. Incluye URL de sitemap.
  4. Establece crawl-delay (opcional).
  5. Sube el archivo a la raíz del sitio.

Reglas comunes

  • Permitir todo: User-agent: * + Disallow:
  • Bloquear bots IA: GPTBot, ClaudeBot disallow
  • Páginas admin: Disallow: /admin/
  • Sitemap: https://site.com/sitemap.xml
  • Prueba en Google Search Console

Preguntas frecuentes

¿Qué es robots.txt?
Archivo en la raíz del sitio que indica a los crawlers web qué páginas crawlear, cuáles no. Los motores de búsqueda lo respetan (aunque no es exigible). Primer nivel de control SEO.
¿Cuáles son las reglas comunes?
User-agent: * (todos los bots). Disallow: /admin/ (panel admin). Allow: /public/. Sitemap: https://site.com/sitemap.xml. Crawl-delay: 5 (reduce carga del servidor). Control completo.
¿Cómo bloquear bots específicos?
User-agent: GPTBot (crawler de IA de OpenAI). Disallow: /. Evita que el contenido del sitio se use en entrenamiento de LLM. Muchos sitios están empezando a bloquear bots de IA.
¿Qué errores evitar?
Disallow: / (¡bloquea todo el sitio — desastre!). Info sensible (contraseñas) no en robots.txt — cualquiera puede leerlo. Incluye URL de sitemap — ayuda a la indexación.

Herramientas relacionadas