---
title: "كم نسبة حظر برامج زحف الذكاء الاصطناعي؟"
url: https://seomadman.com/ar/reports/ai-crawler-blocking-rate-trend-2026
section: reports
language: ar
published: 2026-10-01T00:00:00.000Z
modified: 2026-10-01T00:00:00.000Z
author: Adam Hafez
topics: ["البحث بالذكاء الاصطناعي"]
---

# كم نسبة حظر برامج زحف الذكاء الاصطناعي؟

## الإجابة المختصرة

بلغت نسبة طلبات برامج زحف الذكاء الاصطناعي التي أعادت رمز HTTP 403 Forbidden على شبكة Cloudflare 7.9% في النصف الأول من 2026، وارتفعت استجابات 4xx لبرامج الزحف عمومًا من 10.2% في الربع الثاني 2025 إلى 35.8% في الربع الثاني 2026. هذا قياس حي لرمز الاستجابة، يختلف عن عدّ ملفات robots.txt التي تذكر برنامج زحف في قاعدة disallow.

## أهم النقاط

- في النصف الأول من 2026 أعاد 7.9% من طلبات برامج زحف الذكاء الاصطناعي الموثقة على شبكة Cloudflare رمز HTTP 403 Forbidden، وقُيّد 0.7% آخر بالرمز 429.
- ارتفعت استجابات 4xx لطلبات برامج الزحف عمومًا من 10.2% في الربع الثاني 2025 إلى 35.8% في الربع الثاني 2026، وهبطت استجابات 200 OK النظيفة من 80.5% إلى 49.2% في الفترة نفسها.
- قاعدة disallow ورمز 403 يقيسان شيئين مختلفين: فحص لـ 4,047 ملف robots.txt في الربع الأول 2026 وجد GPTBot مذكورًا في 5.52% من قواعد disallow، متقدمًا على CCBot وClaudeBot.
- جعلت Cloudflare الحظر الافتراضي لبرامج زحف الذكاء الاصطناعي سياسة النطاقات الجديدة منذ 1 يوليو 2025، وتقول إن العملاء حظروا أكثر من 416 مليار طلب في أول خمسة أشهر.
- قاعدة disallow في robots.txt طلب يستطيع برنامج الزحف تجاهله، أما رمز 403 فيُفرض عند الحافة سواء قرأ الروبوت ملف القواعد أم لا.

قول «حظر برامج زحف الذكاء الاصطناعي يزداد» سهل وقياسه صعب، لأن شيئين مختلفين تمامًا يُسميان
حظرًا: سطر في robots.txt يطلب من برنامج الزحف الابتعاد، وخادم يعيد رمز HTTP 403 فعلًا عندما
يأتي البرنامج رغم ذلك.

وجدنا في قراءتنا لـ 60 ملف robots.txt [من يكتب القاعدة](/research/ai-crawler-policies-news-sites).
ويتتبع هذا التقرير النصف الآخر: كم مرة يُرفض الطلب نفسه، وكيف تغيّر المعدل خلال العام الأخير.

## كيف يُقاس معدل الطلبات؟

تعتمد TechnologyChecker.io على بيانات حالة الاستجابة للروبوتات في Cloudflare Radar، وهي تصنّف
زيارات برامج زحف تحققت منها Cloudflare مقابل نطاقات IP التي ينشرها كل مشغّل، وتسجّل رمز HTTP
الحي الذي عاد لكل طلب.

في النصف الأول من 2026 عاد 7.9% من طلبات برامج زحف الذكاء الاصطناعي الموثقة برمز HTTP 403
Forbidden، وقُيّد 0.7% آخر بالرمز 429. أي أن نحو طلب من كل اثني عشر طلب زحف رُفض فعلًا، قبل
احتساب ما أُبطئ فقط.

وإذا وسّعنا النظر إلى كل استجابات 4xx، وهي المحظور والمقيَّد المعدل والرابط الميت، صار الاتجاه
أوضح. هبطت استجابات 200 OK لطلبات الزحف من 80.5% في الربع الثاني 2025 إلى 49.2% في الربع
الثاني 2026، وارتفعت استجابات 4xx من 10.2% إلى 35.8%.

فأكثر من طلب زحف واحد من كل ثلاثة لبرامج الزحف يصطدم الآن بنوع من الحظر، وهو معدل
تضاعف أكثر من ثلاث مرات في عام على الشبكة نفسها وبالقياس نفسه كل مرة.

## ماذا تعني قواعد disallow؟

تجيب مجموعة بيانات ثانية من TechnologyChecker.io عن سؤال مختلف: فحص نصي لـ 4,047 ملف robots.txt
في الربع الأول 2026، ارتفع إلى 4,223 بحلول يوليو. تسأل أي برامج زحف تُذكر في قاعدة disallow،
لا هل رُفض أي طلب منها.

ظهر GPTBot في 5.52% من قواعد disallow في عيّنة الربع الأول 2026، متقدمًا على CCBot (5.08%)
وClaudeBot (4.88%) وGoogle-Extended (4.44%) وBytespider (4.23%).

ولا يصح قراءة هذا الرقم مقابل معدل 403 كأنهما يقيسان الشيء نفسه. قاعدة disallow نيّة منشورة
يستطيع برنامج الزحف تجاهلها، ووجدت قراءتنا لـ robots.txt لدى 60 ناشرًا
[هذه الفجوة بين النية وما يفرضه الموقع فعلًا](/research/ai-crawler-policies-news-sites) عند الحافة.

أما رمز 403 فيُفرض سواء جلب برنامج الزحف ملف القواعد أم لا. ولهذا السبب تنشر الجهتان منهجيتهما
منفصلتين، واعتبار حصة قواعد disallow معدل طلبات محظورة، أو العكس، يبالغ أو يقلل في تقدير ما
يحدث فعلًا عند الخادم.

## ماذا غيّرت Cloudflare؟

السياق في البنية التحتية للرقمين: في 1 يوليو 2025 غيّرت مقالة «Content Independence Day» من
Cloudflare الإعداد الافتراضي، فصارت برامج زحف الذكاء الاصطناعي محظورة ما لم يسمح بها مالك
الموقع، وتؤكد مقالة الذكرى السنوية أن هذا ينطبق افتراضيًا على النطاقات الجديدة.

أما النطاقات القائمة فبقي إعدادها كما كان. وقال الرئيس التنفيذي لـ Cloudflare، Matthew Prince،
في فعالية WIRED Big Interview في ديسمبر 2025 إن العملاء حظروا أكثر من 416 مليار طلب كشط
بالذكاء الاصطناعي في الأشهر الخمسة التالية لتطبيق السياسة.

نقلت هذا العدد Search Engine Land وComputerworld وغيرهما، ولم تخصص له Cloudflare مقالة مستقلة
في مدونتها وقتها.

## ما الذي يعنيه ذلك لك؟

ارتفاع معدل 403 وارتفاع عدد قواعد disallow يصفان مقاومة أكبر لبرامج زحف الذكاء الاصطناعي، لكنهما
ليسا الحقيقة نفسها ولا يصح اقتباسهما كأنهما كذلك.

وإذا ذكر ادعاء نسبة من طلبات الروبوتات المحظورة، فاسأل: هل قاس رموز الاستجابة الحية أم عدّ
قواعد robots.txt؟ والفجوة بين الاثنين، كما في [بحثنا عن robots.txt](/research/ai-crawler-policies-news-sites)،
هي غالبًا الفرق بين سياسة على الورق وسياسة يفرضها الخادم.

والاتجاه على المقياس الذي يقيس التطبيق الفعلي لا لبس فيه: ارتفاع سريع. تضاعف استجابات 4xx
لبرامج الزحف ثلاث مرات في عام على الشبكة نفسها وبالقياس نفسه هو أقرب ما في هذا
المجال إلى خط اتجاه حقيقي لا لقطة واحدة.

والتحفظ أنه يصف شبكة Cloudflare لا الويب المفتوح كله، وهو تحفظ ينطبق على أي مجموعة بيانات من
مورّد واحد في قياس [البحث بالذكاء الاصطناعي](/topics/ai-search).

## أسئلة شائعة

### هل تعني قاعدة disallow في robots.txt أن برنامج الزحف محظور فعلًا؟

ليس بحد ذاتها. قاعدة disallow طلب منشور يختار برنامج الزحف الملتزم احترامه. أما رفض الطلب فعلًا فحقيقة قابلة للقياس منفصلة، هي رمز HTTP الذي أعاده الخادم، وتتتبع مجموعتا TechnologyChecker.io كلًا منهما على حدة.

### ما نسبة طلبات برامج زحف الذكاء الاصطناعي التي تُحظر فعلًا؟

على شبكة Cloudflare، أعاد 7.9% من الطلبات الموثقة رمز 403 في النصف الأول من 2026، وقُيّد 0.7% آخر. وعلى نطاق أوسع، ارتفعت كل استجابات 4xx، من محظور ومقيَّد ومفقود، من 10.2% في الربع الثاني 2025 إلى 35.8% في الربع الثاني 2026.

### هل كانت Cloudflare تحظر برامج زحف الذكاء الاصطناعي افتراضيًا قبل يوليو 2025؟

لا. غيّر إعلان Cloudflare في 1 يوليو 2025، «Content Independence Day»، الإعداد الافتراضي، فصارت برامج الزحف محظورة ما لم يسمح بها مالك الموقع، وتؤكد مقالة الذكرى السنوية أنه افتراضي للنطاقات الجديدة، وبقيت النطاقات القائمة على إعداداتها.

## المصادر

1. [What AI Crawlers Actually Want? (August 2026 Update)](https://technologychecker.io/blog/ai-crawler-statistics) - TechnologyChecker.io (primary)
2. [Bot Traffic Statistics 2026: How Much of the Web Is Automated](https://technologychecker.io/blog/bot-traffic-statistics) - TechnologyChecker.io
3. [We Analyzed robots.txt Across Cloudflare's Network: Publishers Now Block Training Bots and Allow Answering Bots](https://technologychecker.io/blog/robots-txt-ai-crawlers-blocking-report) - TechnologyChecker.io
4. [Content Independence Day: no AI crawl without compensation!](https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/) - Cloudflare Blog (primary)
5. [Content Independence Day, one year on: building the business model for the agentic Internet](https://blog.cloudflare.com/agentic-internet-bot-report/) - Cloudflare Blog (primary)
6. [Cloudflare: 416 billion AI bot requests blocked since July](https://searchengineland.com/cloudflare-416-billion-ai-bot-requests-blocked-since-july-465704) - Search Engine Land