---
title: "أي برامج زحف تحظرها مواقع الأخبار؟"
url: https://seomadman.com/ar/reports/news-site-ai-crawler-blocking-by-bot-2026
section: reports
language: ar
published: 2026-10-01T00:00:00.000Z
modified: 2026-10-01T00:00:00.000Z
author: Adam Hafez
topics: ["البحث بالذكاء الاصطناعي"]
---

# أي برامج زحف تحظرها مواقع الأخبار؟

## الإجابة المختصرة

حظر 75% من أكبر 50 موقع أخبار في بريطانيا وأكبر 50 في أمريكا برنامج CCBot، وهي أعلى نسبة بين برامج الزحف المفحوصة، تليها Anthropic-ai بنسبة 72% وClaudeBot بنسبة 69% وGPTBot بنسبة 62%. وأقل برامج التدريب حظرًا هو Google-Extended بنسبة 46%. ويحظر 79% من المواقع برنامج تدريب واحدًا على الأقل.

## أهم النقاط

- يتصدر CCBot، برنامج زحف Common Crawl، قائمة برامج زحف الذكاء الاصطناعي المحظورة بين 100 موقع أخبار مفحوصة، إذ تمنعه 75% منها.
- يحظر 62% من المواقع المدروسة برنامج GPTBot، فهو بعيد عن CCBot وAnthropic-ai وClaudeBot لكنه أعلى من Google-Extended.
- Google-Extended أقل برامج التدريب حظرًا بنسبة 46%، ويحظره الناشرون الأمريكيون أكثر من البريطانيين بكثير، 58% مقابل 29%.
- تُحظر برامج الجلب الحي أقل من برامج التدريب عمومًا، فلا يمنع Perplexity-User سوى 17% من المواقع مقابل 67% لـ PerplexityBot، برنامج الفهرسة لدى Perplexity.
- يحظر 14% فقط من مواقع الأخبار كل برامج الذكاء الاصطناعي التي فحصها الباحثون، بينما لا تحظر 18% منها أيًّا منها.

يتتبع [تقريرنا عن معدلات 403 الحية](/reports/ai-crawler-blocking-rate-trend-2026) كم مرة يُرفض طلب برنامج زحف للذكاء الاصطناعي فعلًا عند الحافة، ويستشهد بفحص لـ robots.txt يرتّب برامج الزحف بحسب ذكرها في قاعدة disallow.

أجرت BuzzStream فحصًا منفصلًا بالروح نفسها، لكنه محصور في فئة ناشرين واحدة: أكبر 100 موقع أخبار في بريطانيا وأمريكا، فحصت كلًا منها على حدة مقابل 11 برنامجًا مسمّى، لا عيّنة واسعة من الويب.

وهذه العدسة الأضيق تُظهر ترتيبًا لكل برنامج وفجوة بين بريطانيا وأمريكا، كانت العيّنة العامة ستذيبهما في المتوسط.

## ما برامج الزحف المحظورة؟

بين المواقع المئة، يُحظر CCBot عند 75% منها، وهي أعلى نسبة سجّلتها BuzzStream. تليه Anthropic-ai بنسبة 72%، ثم ClaudeBot بنسبة 69%، وPerplexityBot بنسبة 67%، وClaude-Web بنسبة 66%، وGPTBot بنسبة 62%، وApplebot-Extended بنسبة 61%.

وتأتي البقية بعدها: يُحظر OAI-SearchBot عند 49% من المواقع، وGoogle-Extended عند 46%، وChatGPT-User عند 40%، وPerplexity-User عند 17% فقط، وهي أدنى نسبة في الدراسة.

## لماذا Google-Extended أقل؟

تنقسم نسبة Google-Extended الإجمالية البالغة 46% بحدّة بحسب البلد: يحظره الناشرون الأمريكيون بنسبة 58% مقابل 29% للبريطانيين، وهي أكبر فجوة بين البلدين أوردتها BuzzStream.

وتقول BuzzStream إن السبب غير واضح. وتلاحظ أن Google-Extended يدرّب Gemini ولا يُستخدم في فهرس بحث Google، وترجّح أن الناشرين يتساهلون مع Google لأن حظر أي شيء يخصها يهدد الزيارات العضوية.

## هل يُحظر التدريب أكثر؟

تقسّم BuzzStream البرامج الـ 11 إلى برامج تدريب واسترجاع وفهرسة، والفجوة بين التدريب والاسترجاع واضحة: يحظر 79% من المواقع المئة برنامج تدريب واحدًا على الأقل، مقابل 71% لبرامج الاسترجاع الحي.

وبين برنامجي Perplexity يتّسع الفرق أكثر: PerplexityBot، برنامج الفهرسة، عند 67% مقابل Perplexity-User عند 17%. أي أن مواقع كثيرة تمنع الزحف في الخلفية عبر robots.txt دون قاعدة ضد الجلب الحي الذي يطلقه المستخدم.

## لماذا يهمنا هذا الأمر؟

**ترتيب برنامج برنامج، لا نسبة حظر إجمالية فقط، يدل الناشر على أول برنامج يراجعه.** إذا كان ثلاثة من كل أربعة من أكبر مواقع الأخبار تحظر CCBot، فالناشر الأصغر الذي يوازن القرار نفسه أمام ما يقارب معيارًا في الفئة لا خطوة هامشية. أما Google-Extended بنسبة 46% فيُظهر العكس.

**فجوة بريطانيا وأمريكا في Google-Extended أنفع رقم منفرد في الدراسة.** الناشر الأمريكي الذي يحظره يتبع الأغلبية الإقليمية عند 58%، والبريطاني الذي يفعل ذلك يقف في أقلية 29%. 

وعلى كل منهما أن يعرف أي مجموعة ينضم إليها قبل كتابة القاعدة، لأن [بحثنا السابق عن robots.txt](/research/ai-crawler-policies-news-sites) وجد أن الناشرين كثيرًا ما ينسخون سياسة منافس دون فحص ما تحظره فعلًا.

## أسئلة شائعة

### أي برنامج زحف للذكاء الاصطناعي تحظره أكثر مواقع الأخبار؟

CCBot، برنامج الزحف وراء مجموعة بيانات Common Crawl التي تدرّب عليها مختبرات ذكاء اصطناعي كثيرة. تحظره 75% من أكبر 100 موقع أخبار بريطاني وأمريكي فحصتها BuzzStream، وهي أعلى نسبة في الدراسة.

### هل تحظر مواقع الأخبار GPTBot أكثر من Google-Extended؟

نعم. تمنع 62% من المواقع المدروسة برنامج GPTBot مقابل 46% لـ Google-Extended، أقل برامج التدريب حظرًا في عيّنة BuzzStream. ومعظم الفجوة من الناشرين الأمريكيين: 58% يحظرون Google-Extended مقابل 29% من البريطانيين.

## المصادر

1. [Which News Sites Block AI Crawlers in 2026? [New Data]](https://www.buzzstream.com/blog/publishers-block-ai-study/) - BuzzStream (primary)