كم نسبة حظر برامج زحف الذكاء الاصطناعي؟

قول «حظر برامج زحف الذكاء الاصطناعي يزداد» سهل وقياسه صعب، لأن شيئين مختلفين تمامًا يُسميان حظرًا: سطر في robots.txt يطلب من برنامج الزحف الابتعاد، وخادم يعيد رمز HTTP 403 فعلًا عندما يأتي البرنامج رغم ذلك.

وجدنا في قراءتنا لـ 60 ملف robots.txt من يكتب القاعدة. ويتتبع هذا التقرير النصف الآخر: كم مرة يُرفض الطلب نفسه، وكيف تغيّر المعدل خلال العام الأخير.

كيف يُقاس معدل الطلبات؟#

تعتمد TechnologyChecker.io على بيانات حالة الاستجابة للروبوتات في Cloudflare Radar، وهي تصنّف زيارات برامج زحف تحققت منها Cloudflare مقابل نطاقات IP التي ينشرها كل مشغّل، وتسجّل رمز HTTP الحي الذي عاد لكل طلب.

في النصف الأول من 2026 عاد 7.9% من طلبات برامج زحف الذكاء الاصطناعي الموثقة برمز HTTP 403 Forbidden، وقُيّد 0.7% آخر بالرمز 429. أي أن نحو طلب من كل اثني عشر طلب زحف رُفض فعلًا، قبل احتساب ما أُبطئ فقط.

وإذا وسّعنا النظر إلى كل استجابات 4xx، وهي المحظور والمقيَّد المعدل والرابط الميت، صار الاتجاه أوضح. هبطت استجابات 200 OK لطلبات الزحف من 80.5% في الربع الثاني 2025 إلى 49.2% في الربع الثاني 2026، وارتفعت استجابات 4xx من 10.2% إلى 35.8%.

فأكثر من طلب زحف واحد من كل ثلاثة لبرامج الزحف يصطدم الآن بنوع من الحظر، وهو معدل تضاعف أكثر من ثلاث مرات في عام على الشبكة نفسها وبالقياس نفسه كل مرة.

ماذا تعني قواعد disallow؟#

تجيب مجموعة بيانات ثانية من TechnologyChecker.io عن سؤال مختلف: فحص نصي لـ 4,047 ملف robots.txt في الربع الأول 2026، ارتفع إلى 4,223 بحلول يوليو. تسأل أي برامج زحف تُذكر في قاعدة disallow، لا هل رُفض أي طلب منها.

ظهر GPTBot في 5.52% من قواعد disallow في عيّنة الربع الأول 2026، متقدمًا على CCBot (5.08%) وClaudeBot (4.88%) وGoogle-Extended (4.44%) وBytespider (4.23%).

ولا يصح قراءة هذا الرقم مقابل معدل 403 كأنهما يقيسان الشيء نفسه. قاعدة disallow نيّة منشورة يستطيع برنامج الزحف تجاهلها، ووجدت قراءتنا لـ robots.txt لدى 60 ناشرًا هذه الفجوة بين النية وما يفرضه الموقع فعلًا عند الحافة.

أما رمز 403 فيُفرض سواء جلب برنامج الزحف ملف القواعد أم لا. ولهذا السبب تنشر الجهتان منهجيتهما منفصلتين، واعتبار حصة قواعد disallow معدل طلبات محظورة، أو العكس، يبالغ أو يقلل في تقدير ما يحدث فعلًا عند الخادم.

ماذا غيّرت Cloudflare؟#

السياق في البنية التحتية للرقمين: في 1 يوليو 2025 غيّرت مقالة «Content Independence Day» من Cloudflare الإعداد الافتراضي، فصارت برامج زحف الذكاء الاصطناعي محظورة ما لم يسمح بها مالك الموقع، وتؤكد مقالة الذكرى السنوية أن هذا ينطبق افتراضيًا على النطاقات الجديدة.

أما النطاقات القائمة فبقي إعدادها كما كان. وقال الرئيس التنفيذي لـ Cloudflare، Matthew Prince، في فعالية WIRED Big Interview في ديسمبر 2025 إن العملاء حظروا أكثر من 416 مليار طلب كشط بالذكاء الاصطناعي في الأشهر الخمسة التالية لتطبيق السياسة.

نقلت هذا العدد Search Engine Land وComputerworld وغيرهما، ولم تخصص له Cloudflare مقالة مستقلة في مدونتها وقتها.

ما الذي يعنيه ذلك لك؟#

ارتفاع معدل 403 وارتفاع عدد قواعد disallow يصفان مقاومة أكبر لبرامج زحف الذكاء الاصطناعي، لكنهما ليسا الحقيقة نفسها ولا يصح اقتباسهما كأنهما كذلك.

وإذا ذكر ادعاء نسبة من طلبات الروبوتات المحظورة، فاسأل: هل قاس رموز الاستجابة الحية أم عدّ قواعد robots.txt؟ والفجوة بين الاثنين، كما في بحثنا عن robots.txt، هي غالبًا الفرق بين سياسة على الورق وسياسة يفرضها الخادم.

والاتجاه على المقياس الذي يقيس التطبيق الفعلي لا لبس فيه: ارتفاع سريع. تضاعف استجابات 4xx لبرامج الزحف ثلاث مرات في عام على الشبكة نفسها وبالقياس نفسه هو أقرب ما في هذا المجال إلى خط اتجاه حقيقي لا لقطة واحدة.

والتحفظ أنه يصف شبكة Cloudflare لا الويب المفتوح كله، وهو تحفظ ينطبق على أي مجموعة بيانات من مورّد واحد في قياس البحث بالذكاء الاصطناعي.