انتقل إلى المحتوى
SEO Madmanby Adam Hafez
أداة مجانية

فحص robots.txt لبرامج زحف الذكاء الاصطناعي

الصق ملف robots.txt لتعرف أي برامج زحف الذكاء الاصطناعي يحظرها، مثل GPTBot وClaudeBot وGoogle-Extended وPerplexityBot. أداة مجانية في متصفحك.

تعمل بالكامل في متصفحك. لا يُرفع ما تُدخله، ولا يُسجَّل، ولا يُحفظ.

لا يُرسل أي شيء تلصقه هنا إلى أي مكان، فالتحليل يجري في متصفحك فقط.

    ما تقوله الشركات عن ستة من هذه الأسماء

    • ChatGPT-User: تقول OpenAI إن الطلبات التي تبدأها بطلب من مستخدم قد لا تلتزم بقواعد robots.txt.
    • Perplexity-User: تقول Perplexity إن هذا الجالب يتجاهل عادةً قواعد robots.txt، لأن مستخدمًا طلب الصفحة.
    • Google-Extended: تقول Google إنه بلا سلسلة user agent مستقلة، ويتحكم في تدريب Gemini ولـ grounding، ولا يؤثر في البحث.
    • Applebot: تقول Apple إن Applebot يتبع مجموعة Googlebot حين لا تسمّيه أي مجموعة.
    • Applebot-Extended: تقول Apple إنه لا يزحف إلى الصفحات، وإنما يتحكم في استخدام البيانات التي جمعها Applebot.
    • CCBot: تقول Common Crawl إن بعض برامج الزحف تنتحل اسم CCBot، لذلك تحقق من سلاسل user agent.

    أهم النقاط

    • تغطي الأداة 12 اسمًا، أُخذ كل واحد منها من التوثيق الذي تنشره OpenAI وAnthropic وGoogle وPerplexity وApple وCommon Crawl.
    • يتبع برنامج الزحف المجموعة التي تسمّيه وحدها، فوجود مجموعة GPTBot يعني أن GPTBot يتجاهل كل قواعد مجموعة *.
    • تُطابَق الأسماء حرفيًا، فمجموعة Applebot لا تنطبق على Applebot-Extended، ومجموعة GPTBot لا تفيد ChatGPT-User.
    • تفوز داخل المجموعة أطول قاعدة مطابقة، وتتقدم Allow على Disallow عند تساوي الطول، وفق RFC 9309.
    • تقول OpenAI وPerplexity إن أداتي الجلب بطلب المستخدم، ChatGPT-User وPerplexity-User، قد لا تلتزمان بقواعد robots.txt.

    ما تحتاج إليه

    • ملف robots.txt ملصوق ومعدَّل مباشرة في مربع النص
    • مسار URL أو عنوان كامل للفحص، والافتراضي هو /

    أدوات أخرى

    كلها مجانية، وكلها تعمل في المتصفح.

    تصفّح الأدوات

    طريقة الاستخدام

    1. 1الصق ملف robots.txtانسخ محتوى yourdomain.com/robots.txt إلى المربع. لا تجلب الأداة أي عنوان URL، ولا يُرسل أي شيء تلصقه إلى أي مكان.
    2. 2أدخِل مسارًا للفحصاستخدم مسارًا يبدأ بـ / مثل /blog/ai-seo، أو عنوانًا كاملًا. ويفحص المسار الافتراضي / جذر الموقع.
    3. 3اقرأ عمود الموقع كلهمحظور يعني أن المسار الجذر ممنوع. ومحظور جزئيًا يعني أن قاعدة Disallow تنطبق على بعض المسارات. ومسموح يعني أنه لا تنطبق أي قاعدة Disallow.
    4. 4راجِع المجموعة التي استخدمها كل اسميوضح السطر تحت كل اسم هل استخدم مجموعته الخاصة، أو رجع إلى مجموعة *، أو اتبع مجموعة Googlebot، وهذا لا يفعله إلا Applebot.
    5. 5أصلح أي اسم مجموعة منبَّه عليهيعني التنبيه أن مجموعة تسمّي اسمًا غير موثّق هنا. قارن الإملاء بصفحة الجهة قبل أن تعتمد على تلك المجموعة.

    الصق ملف robots.txt فتقرؤه الأداة كما يقرؤه برنامج الزحف، ثم تقول ما يحق لكل برنامج زحف موثّق للذكاء الاصطناعي أن يجلبه. وهكذا يظهر الاسم المكتوب خطأ، أو المجموعة التي تتجاوز قواعد *، قبل أن تفترض أن البرنامج محظور.

    ماذا تفحص الأداة؟

    تفحص الأداة الأسماء الاثني عشر في الجدول أدناه، وكل منها موثّق في صفحة جهته نفسها. وتعرض لكل اسم ثلاثة أشياء:

    • الموقع كله. محظور حين يكون المسار الجذر / ممنوعًا، ومحظور جزئيًا حين تنطبق قاعدة Disallow على بعض المسارات دون الجذر، ومسموح حين لا تنطبق أي قاعدة Disallow.
    • مسارك. مسموح أو محظور للمسار أو العنوان الذي تدخله، مع القاعدة التي حسمت ذلك.
    • المجموعة المستخدمة. هل طابق برنامج الزحف مجموعته الخاصة، أو رجع إلى مجموعة *، أو اتبع مجموعة Googlebot، أو لم يطابق أي مجموعة.

    ويعدّ الملخص كم برنامجًا من الاثني عشر محظور، وتنبّه الأداة إلى أي مجموعة تسمّي اسمًا غير موثّق هنا.

    برامج الزحف في الأداة

    يصف عمود الغرض كل اسم بما تقوله جهته نفسها. ولا تدّعي الأداة أن برنامج زحف يلتزم بـ robots.txt إلا بقدر ما تقوله جهته.

    الغرضالاسمالجهةالصفحة
    تدريبGPTBotOpenAIبرامج زحف OpenAI
    بحثOAI-SearchBotOpenAIبرامج زحف OpenAI
    بطلب المستخدمChatGPT-UserOpenAIبرامج زحف OpenAI
    تدريبClaudeBotAnthropicسياسة الزحف في Anthropic
    بحثClaude-SearchBotAnthropicسياسة الزحف في Anthropic
    بطلب المستخدمClaude-UserAnthropicسياسة الزحف في Anthropic
    تدريب Gemini وgroundingGoogle-ExtendedGoogleبرامج زحف Google الشائعة
    بحثPerplexityBotPerplexityبرامج زحف Perplexity
    بطلب المستخدمPerplexity-UserPerplexityبرامج زحف Perplexity
    بحثApplebotAppleعن Applebot
    التحكم في التدريبApplebot-ExtendedAppleعن Applebot
    مجموعة بيانات زحف مفتوحةCCBotCommon Crawlصفحة CCBot

    كيف تعمل المطابقة؟

    تطبق الأداة قواعد RFC 9309، معيار بروتوكول استبعاد الروبوتات:

    • مجموعة واحدة لكل برنامج. يستخدم برنامج الزحف المجموعة أو المجموعات التي تسمّي اسمه، دون تمييز حالة الأحرف. فإن لم توجد، استخدم مجموعة *. وتُدمج المجموعات التي تسمّي الاسم نفسه.
    • أسماء حرفية. Applebot وApplebot-Extended اسمان مختلفان، فلا تغطي مجموعة إحداهما الأخرى.
    • أطول قاعدة تفوز. تحسم قاعدة Allow أو Disallow المطابقة ذات المسار الأطول، أينما كان موضعها في الملف. وتتقدم Allow على Disallow عند تساوي الطول.
    • الرموز الخاصة. تطابق * في المسار أي سلسلة من الأحرف، ويثبّت $ في النهاية القاعدة عند نهاية العنوان.
    • الافتراضي. غياب قاعدة مطابقة يعني مسموحًا، وقاعدة Disallow الفارغة لا تحظر شيئًا.
    • استثناء Apple. تقول صفحة Apple إن Applebot يتبع مجموعة Googlebot حين لا تسمّيه أي مجموعة، فتفعل الأداة الشيء نفسه لهذا الاسم وحده.

    مثال عملي

    يحوي الملف الجاهز مجموعة *، ومجموعة واحدة يشترك فيها GPTBot وGoogle-Extended، ومجموعة ClaudeBot فيها Allow، ومجموعة لاسم ChatGPT:

    User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /
Allow: /blog/

User-agent: ChatGPT
Disallow: /

    مع المسار / يُحظر ثلاثة برامج على الموقع كله: GPTBot وGoogle-Extended وClaudeBot. وترجع التسعة الباقية إلى مجموعة *، فتكون محظورة جزئيًا لأن Disallow: /admin/ تنطبق عليها.

    غيّر المسار إلى /blog/ai-seo فيصير ClaudeBot مسموحًا، لأن Allow: /blog/ ستة أحرف مقابل حرف واحد في Disallow: /. ويبقى GPTBot وGoogle-Extended محظورين.

    وتنبّه الأداة إلى المجموعة الأخيرة. فالاسم ChatGPT ليس اسمًا توثّقه OpenAI، وهي تذكر ChatGPT-User للطلبات بطلب المستخدم. ولا تغيّر هذه المجموعة شيئًا لأي برنامج زحف أعلاه، فيرجع ChatGPT-User إلى *.

    أخطاء شائعة تكشفها

    • *إضافة مجموعة لبرنامج ونسيان قواعد . متى صارت لـ GPTBot مجموعة خاصة، تجاهل قواعد *، فيجب تكرار Disallow: /admin/ فيها إن أردتها لكل البرامج.
    • حظر اسم التدريب مع توقع حظر البحث. تقول OpenAI إن OAI-SearchBot وGPTBot إعدادان مستقلان، وتذكر Anthropic ثلاثة برامج منفصلة: ClaudeBot وClaude-SearchBot وClaude-User.
    • أسماء بإملاء خاطئ أو غير موثّقة. تُقرأ المجموعة لاسم لا توثّقه أي جهة كأي مجموعة أخرى، لكنها لا تطابق أي برنامج تعرضه الأداة.
    • توقع أن تغطي مجموعة اسم شقيقه. لا تغطي مجموعة Applebot الاسم Applebot-Extended.

    ما لا تقوله الأداة

    النتيجة محظور تصف ما يقوله ملفك، لا ما يفعله كل برنامج. تقول OpenAI إن قواعد robots.txt قد لا تنطبق على ChatGPT-User، وتقول Perplexity إن Perplexity-User يتجاهلها عادةً.

    ولا ترى الأداة قواعد جدار الحماية أو CDN في خادمك، ولا تجلب ملفك الحي، وتفحص الأسماء الاثني عشر أعلاه فقط. وللتحقق من صياغة الملف كله استخدم أداة التحقق من صياغة ملف robots.txt كاملًا، ولمعرفة برنامج واحد ومسار واحد بالتفصيل استخدم اختبار robots.txt.

    أدوات وقراءات ذات صلة

    المصادر

    1. 1.RFC 9309: Robots Exclusion Protocol، IETFمصدر أساسي
    2. 2.Overview of OpenAI Crawlers، OpenAIمصدر أساسي
    3. 3.Does Anthropic crawl data from the web, and how can site owners block the crawler?، Anthropicمصدر أساسي
    4. 4.Google's common crawlers، Google Search Centralمصدر أساسي
    5. 5.Perplexity Crawlers، Perplexityمصدر أساسي
    6. 6.About Applebot، Appleمصدر أساسي
    7. 7.CCBot، Common Crawlمصدر أساسي

    أسئلة شائعة

    ما برامج الزحف التي تغطيها الأداة؟

    تغطي 12 اسمًا من OpenAI وAnthropic وGoogle وPerplexity وApple وCommon Crawl، ولا يُدرج اسم إلا بعد العثور عليه في صفحة جهته نفسها. أما Googlebot وBingbot فبرنامجا زحف للبحث ولا يختصان بالذكاء الاصطناعي، فلا يظهران.

    هل يزيلني حظر GPTBot من بحث ChatGPT؟

    لا. تقول OpenAI إن كل إعداد مستقل. يخص GPTBot التدريب، ويتحكم OAI-SearchBot في ظهور الموقع في نتائج بحث ChatGPT، فيمكن السماح بأحدهما ومنع الآخر.

    هل يؤثر Google-Extended في ترتيبي في بحث Google؟

    لا. تقول Google إن Google-Extended يتحكم في استخدام المحتوى المزحوف لتدريب Gemini ولـ grounding، ولا يؤثر في ظهور الموقع في بحث Google ولا يُعد إشارة ترتيب.

    هل تلتزم كل الأسماء في القائمة بملف robots.txt؟

    ليس بالضرورة. تقول OpenAI إن قواعد robots.txt قد لا تنطبق على ChatGPT-User، وتقول Perplexity إن Perplexity-User يتجاهلها عادةً. ويقول RFC 9309 إن robots.txt ليس وسيلة لتفويض الوصول.

    لماذا يتبع Applebot قواعد Googlebot عندي؟

    لأن توثيق Apple يقول ذلك: إذا لم يذكر الملف اسم Applebot وذكر Googlebot، يتبع Applebot تعليمات Googlebot. وتطبق الأداة هذا الاحتياط على Applebot وحده.

    لماذا لا تحظر مجموعة Applebot الاسم Applebot-Extended؟

    لأن الأسماء تُطابَق حرفيًا مع تجاهل حالة الأحرف، كما يصف RFC 9309 اسم المنتج. والاسم Applebot-Extended مستقل، ويتحكم فقط في استخدام بيانات جمعها Applebot، فيحتاج مجموعته الخاصة.