Stax

robots.txt जनरेटर

बॉट ब्लॉकिंग और साइटमैप URL के साथ robots.txt फ़ाइल जनरेट करें।

User-agent: *
Disallow: /admin
Disallow: /api
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Google-Extended
Disallow: /

Sitemap: https://example.com/sitemap.xml

Place this file at the root of your domain: https://yourdomain.com/robots.txt

robots.txt जनरेटर क्या है?

यह टूल website के लिए robots.txt file generate करता है — bot blocking, sitemap URL, crawl delay सब configure करें। SEO control का foundation।

robots.txt कैसे बनाएं

  1. Allow/disallow rules add करें।
  2. Specific bots target करें (Googlebot, GPTBot, etc.)।
  3. Sitemap URL include करें।
  4. Crawl-delay set करें (optional)।
  5. File site root पर upload करें।

Common rules

  • Allow all: User-agent: * + Disallow:
  • Block AI bots: GPTBot, ClaudeBot disallow
  • Admin pages: Disallow: /admin/
  • Sitemap: https://site.com/sitemap.xml
  • Test in Google Search Console

अक्सर पूछे जाने वाले प्रश्न

robots.txt क्या है?
Website root पर file जो web crawlers को बताती है कौन से pages crawl करें, कौन से नहीं। Search engines respect करते हैं (हालांकि enforceable नहीं)। SEO control का first level।
Common rules क्या हैं?
User-agent: * (सब bots)। Disallow: /admin/ (admin panel)। Allow: /public/। Sitemap: https://site.com/sitemap.xml। Crawl-delay: 5 (server load कम)। पूरा control।
Specific bots को कैसे block करें?
User-agent: GPTBot (OpenAI के AI crawler)। Disallow: /। Site के content को LLM training में use नहीं करने देता। Many sites AI bots block करने लगे हैं।
Mistakes कौन से avoid करें?
Disallow: / (पूरी site block — disaster!)। Sensitive info (passwords) robots.txt में नहीं — इसे read कर सकता कोई भी। Sitemap URL include करें — search engines indexing में help।

संबंधित टूल्स