أي برامج زحف تحظرها مواقع الأخبار؟

يتتبع تقريرنا عن معدلات 403 الحية كم مرة يُرفض طلب برنامج زحف للذكاء الاصطناعي فعلًا عند الحافة، ويستشهد بفحص لـ robots.txt يرتّب برامج الزحف بحسب ذكرها في قاعدة disallow.

أجرت BuzzStream فحصًا منفصلًا بالروح نفسها، لكنه محصور في فئة ناشرين واحدة: أكبر 100 موقع أخبار في بريطانيا وأمريكا، فحصت كلًا منها على حدة مقابل 11 برنامجًا مسمّى، لا عيّنة واسعة من الويب.

وهذه العدسة الأضيق تُظهر ترتيبًا لكل برنامج وفجوة بين بريطانيا وأمريكا، كانت العيّنة العامة ستذيبهما في المتوسط.

ما برامج الزحف المحظورة؟#

بين المواقع المئة، يُحظر CCBot عند 75% منها، وهي أعلى نسبة سجّلتها BuzzStream. تليه Anthropic-ai بنسبة 72%، ثم ClaudeBot بنسبة 69%، وPerplexityBot بنسبة 67%، وClaude-Web بنسبة 66%، وGPTBot بنسبة 62%، وApplebot-Extended بنسبة 61%.

وتأتي البقية بعدها: يُحظر OAI-SearchBot عند 49% من المواقع، وGoogle-Extended عند 46%، وChatGPT-User عند 40%، وPerplexity-User عند 17% فقط، وهي أدنى نسبة في الدراسة.

لماذا Google-Extended أقل؟#

تنقسم نسبة Google-Extended الإجمالية البالغة 46% بحدّة بحسب البلد: يحظره الناشرون الأمريكيون بنسبة 58% مقابل 29% للبريطانيين، وهي أكبر فجوة بين البلدين أوردتها BuzzStream.

وتقول BuzzStream إن السبب غير واضح. وتلاحظ أن Google-Extended يدرّب Gemini ولا يُستخدم في فهرس بحث Google، وترجّح أن الناشرين يتساهلون مع Google لأن حظر أي شيء يخصها يهدد الزيارات العضوية.

هل يُحظر التدريب أكثر؟#

تقسّم BuzzStream البرامج الـ 11 إلى برامج تدريب واسترجاع وفهرسة، والفجوة بين التدريب والاسترجاع واضحة: يحظر 79% من المواقع المئة برنامج تدريب واحدًا على الأقل، مقابل 71% لبرامج الاسترجاع الحي.

وبين برنامجي Perplexity يتّسع الفرق أكثر: PerplexityBot، برنامج الفهرسة، عند 67% مقابل Perplexity-User عند 17%. أي أن مواقع كثيرة تمنع الزحف في الخلفية عبر robots.txt دون قاعدة ضد الجلب الحي الذي يطلقه المستخدم.

لماذا يهمنا هذا الأمر؟#

ترتيب برنامج برنامج، لا نسبة حظر إجمالية فقط، يدل الناشر على أول برنامج يراجعه. إذا كان ثلاثة من كل أربعة من أكبر مواقع الأخبار تحظر CCBot، فالناشر الأصغر الذي يوازن القرار نفسه أمام ما يقارب معيارًا في الفئة لا خطوة هامشية. أما Google-Extended بنسبة 46% فيُظهر العكس.

فجوة بريطانيا وأمريكا في Google-Extended أنفع رقم منفرد في الدراسة. الناشر الأمريكي الذي يحظره يتبع الأغلبية الإقليمية عند 58%، والبريطاني الذي يفعل ذلك يقف في أقلية 29%.

وعلى كل منهما أن يعرف أي مجموعة ينضم إليها قبل كتابة القاعدة، لأن بحثنا السابق عن robots.txt وجد أن الناشرين كثيرًا ما ينسخون سياسة منافس دون فحص ما تحظره فعلًا.