Stax

مولد robots.txt

إنشاء ملف robots.txt مع حظر البوتات وURL خريطة الموقع.

User-agent: *
Disallow: /admin
Disallow: /api
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Google-Extended
Disallow: /

Sitemap: https://example.com/sitemap.xml

Place this file at the root of your domain: https://yourdomain.com/robots.txt

ما هو مولّد robots.txt؟

أداة لإنشاء ملف robots.txt بشكل بصري. اختر القواعد، أضف URLs المحظورة، تحصل على ملف جاهز للرفع. أساسي للـ SEO، حماية الصفحات الخاصة، توجيه crawl budget. خطأ واحد يمنع كل الموقع - استخدم أداة موثوقة.

أوامر شائعة

  1. User-agent: * (لكل crawlers)
  2. Disallow: /admin/ (منع الـ admin)
  3. Disallow: /private/
  4. Allow: / (السماح بالباقي)
  5. Sitemap: https://site.com/sitemap.xml

أنماط مهمة

  • Block staging: User-agent: * \n Disallow: /
  • Block admin only: Disallow: /admin/
  • Allow Google، block others
  • Block specific bots (badbots)
  • Multiple sitemaps

اختبار وتحقق

Google Search Console > robots.txt Tester. اختبر URLs محددة. تأكد من syntax. خطأ شائع: 'Disallow: /' يمنع كل الموقع! أنشئ في root domain.com/robots.txt. بعد التغيير، انتظر 24-48 ساعة. للصفحات الحساسة، استخدم noindex meta tag بالإضافة.

الأسئلة الشائعة

ما هو robots.txt؟
ملف نصي في root الموقع يخبر crawlers (Google، Bing) ما يسمح/يمنع. مثال: 'Disallow: /admin/' يمنع crawl لتلك الصفحات. أساسي للـ SEO، حماية الصفحات الخاصة، توجيه الـ crawl budget. يجب أن يكون في yourdomain.com/robots.txt.
ما الفرق بين Disallow و noindex؟
Disallow في robots.txt: يمنع crawl. لكن إذا كان الرابط موجوداً في موقع آخر، قد يُفهرس بدون محتوى! noindex meta tag: يمنع الفهرسة فعلياً. للصفحات الحساسة (admin، profile)، استخدم كلاهما + authentication.
كيف أتحقق من robots.txt؟
Google Search Console > robots.txt Tester. اختبر URLs محددة. تأكد من syntax صحيح. tools online: robotstxt.org. بعد التغيير، انتظر 24-48 ساعة لـ Google يلتقط. اختبار قبل النشر يحفظ من أخطاء كارثية (Disallow / يمنع كل الموقع!).
ما الـ Crawl-delay؟
يطلب من crawlers الانتظار بين الطلبات (مثل 10 ثواني). Google يتجاهله (يستخدم Search Console). Bing وYandex يحترمونه. مفيد للمواقع بـ خوادم ضعيفة. أفضل: حسّن أداء الخادم بدلاً من تأخير الـ crawlers.

أدوات ذات صلة