Stax
Tools

Générateur de robots.txt

Générez un fichier robots.txt avec blocage de bots et URL du plan du site.

User-agent: *
Disallow: /admin
Disallow: /api
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Google-Extended
Disallow: /

Sitemap: https://example.com/sitemap.xml

Place this file at the root of your domain: https://yourdomain.com/robots.txt

Qu'est-ce que le générateur de robots.txt ?

Cet outil génère le fichier robots.txt pour site web — blocage de bots, URL de sitemap, retard de crawl tous configurés. Fondation du contrôle SEO.

Comment créer robots.txt

  1. Ajoutez règles allow/disallow.
  2. Ciblez bots spécifiques (Googlebot, GPTBot, etc.).
  3. Incluez URL de sitemap.
  4. Établissez crawl-delay (optionnel).
  5. Uploadez fichier sur racine du site.

Règles communes

  • Permettre tout : User-agent: * + Disallow:
  • Bloquer bots IA : GPTBot, ClaudeBot disallow
  • Pages admin : Disallow: /admin/
  • Sitemap : https://site.com/sitemap.xml
  • Testez en Google Search Console

Questions fréquemment posées

Qu'est-ce que robots.txt ?
Fichier sur racine du site qui dit aux crawlers web quelles pages crawler, lesquelles non. Les moteurs de recherche respectent (bien que pas exigible). Premier niveau de contrôle SEO.
Quelles sont les règles communes ?
User-agent: * (tous bots). Disallow: /admin/ (panneau admin). Allow: /public/. Sitemap: https://site.com/sitemap.xml. Crawl-delay: 5 (réduit charge serveur). Contrôle complet.
Comment bloquer bots spécifiques ?
User-agent: GPTBot (crawler IA d'OpenAI). Disallow: /. Empêche le contenu du site d'être utilisé en entraînement de LLM. Beaucoup de sites commencent à bloquer bots IA.
Quelles erreurs éviter ?
Disallow: / (bloque tout le site — désastre !). Info sensible (mots de passe) pas en robots.txt — n'importe qui peut le lire. Incluez URL de sitemap — aide en indexation.

Outils associés