من يحظر برامج زحف الذكاء الاصطناعي؟

أمام كل ناشر في هذه العيّنة عامان ليقرر ما يفعله مع برامج زحف الذكاء الاصطناعي. وفي 10 سبتمبر 2026 سألنا الستين موقعًا السؤال نفسه، في المكان الوحيد الذي تُكتب فيه الإجابة: robots.txt.

كيف أجرينا القياس؟#

طلب واحد لكل موقع، يُحلَّل بالقواعد. جلبنا /robots.txt بطلب GET واحد، وجمعناه في مجموعات كما يحددها RFC 9309. ثم سألنا عن كل وكيل: هل تمنع مجموعة تسمّيه الموقع كله؟ وفحصنا 15 وكيلًا، من GPTBot وClaudeBot إلى Bytespider وApplebot-Extended.

أمكن قراءة 57 ملفًا من 60. استبعدنا Politico (403) وNPR (فشل اتصال) وStack Overflow (418) من المقامات، ولم نعدّها مفتوحة. والنتيجة الكاملة لكل موقع منشورة بصيغة JSON، فيمكن مطابقة كل رقم أدناه بالملف الذي خرج منه.

ماذا تقول الملفات؟#

يحظر 29 موقعًا من 57 برنامج زحف واحدًا على الأقل حظرًا كاملًا. ويسمّي 33 موقعًا واحدًا على الأقل، أي أن بعضها يذكر وكلاء ليسمح لهم أو ليقيّدهم بجزء من الموقع.

الوكلاء الأكثر حظرًا متقاربون في القمة. يحظر ClaudeBot وBytespider 27 موقعًا لكل منهما، وCCBot 25، وApplebot-Extended 24، وPerplexityBot 22. أما GPTBot، الاسم الأكثر تداولًا، فأقل: 17 حظرًا من 24 موقعًا تسمّيه.

Google-Extended يُحظر أقل. تسمّيه 20 موقعًا وتحظره 16، أي 80%، مقابل 96% لـ ClaudeBot وApplebot-Extended و93% لـ CCBot.

ما الذي يستحق الجدل؟#

إذا قسّمنا المواقع بحسب من يديرها، يختفي الطيف. من بين 28 ناشر أخبار أمكن الوصول إليهم، يحظر 24 منهم برنامج زحف واحدًا على الأقل، ومنهم New York Times وWashington Post وGuardian وBBC وAP وBloomberg وFT وCNN وWired وArs Technica وEconomist وNature.

ومن بين 15 موقعًا متخصصًا في SEO، يحظر موقعان فقط. منها Search Engine Land وSearch Engine Journal وSearch Engine Roundtable وMoz وAhrefs وSemrush وYoast وSEOPress وScreaming Frog وSistrix وConductor وBrightEdge.

وتترك هذه المواقع كل وكلاء الذكاء الاصطناعي المسمّين أحرارًا في أخذ الموقع كله.

والصناعة الأكثر كتابة عن بحث الذكاء الاصطناعي هي الأقل حجبًا لنصوصها عنه.

وهذه استراتيجية مفهومة لمورّد يبيع برمجيات، لكن يصعب الدفاع عنها لصناعة تنصح الناشرين بصفقة لم تعقدها هي.

هل يفصل أحد بين الاثنين؟#

تفصل OpenAI بين التدريب والاسترجاع، ويكاد لا أحد يستفيد من ذلك. يجمع GPTBot بيانات التدريب، ويتولى OAI-SearchBot استرجاع نتائج البحث، ويجلب ChatGPT-User ما طلبه شخص. فيمكن للناشر رفض التدريب وإبقاء موقعه قابلًا للاستشهاد في الإجابات.

ومع ذلك يحظر 9 مواقع في العيّنة الاثنين معًا. وموقع واحد، هو Forbes، يحظر GPTBot ويمرّر OAI-SearchBot. ولا يسمّي OAI-SearchBot سوى 13 موقعًا، مقابل 24 لـ GPTBot.

ما الذي يعنيه ذلك لك؟#

إذا كان robots.txt عندك يحظر وكيل تدريب ووكيل الاسترجاع المقابل له، فتأكد أن هذا ما تقصده.

فكلفة ذلك لا تُدفع في مجموعات التدريب، فهي مجمّعة في الحالتين. بل تُدفع في طبقة الاسترجاع التي تقرر أي المصادر تستشهد بها الإجابة هذا الأسبوع، وهذه مسألة زيارات حيّة في بحث الذكاء الاصطناعي.

اقرأ ملفك الفعلي لا ما تتذكره عنه، وقرر مسألتي التدريب والاسترجاع كلًّا على حدة، ودوّن القرار في مكان يجده زميل بعد عامين.