تدريب الذكاء الاصطناعي يقود 52% من الزحف

أغلب عناوين الزحف تعدّ البوتات فقط. أما تقرير Cloudflare في يوليو 2026 فيفعل ما هو أنفع لمختص SEO: يقسّم طلبات الزحف بحسب غرض برنامج الزحف. وبهذا التقسيم يصير ظهورك في البحث بالذكاء الاصطناعي النصف الأصغر من الصورة، لأن أغلب الطلبات لا تعيد أحدًا إلى موقعك.

كم حصة التدريب؟#

تكتب Cloudflare أن 52% من طلبات الزحف صارت لتدريب الذكاء الاصطناعي حتى يونيو 2026، بعد أن كانت 22% في ربيع 2025. وتقول إن برامج الزحف متعددة الأغراض، التي تمزج البحث والوكلاء والتدريب، تمثل أكثر من 36% من النشاط.

وتصف زحف البحث الخالص بأنه حصة صغيرة ومتراجعة من نشاط الزحف، رغم أنه يبقى حاسمًا لظهور الناشرين.

وبجمع الفئتين المسمّاتين نصل إلى 88% على الأقل من طلبات الزحف المحددة الغرض. ولا تنشر Cloudflare تفصيل الباقي في الصفحة، فلا يقدّره هذا التقرير.

لماذا تختلط الأغراض؟#

تقول Cloudflare إن أكثر من ثلث نشاط الزحف على شبكتها ما زال من برامج متعددة الأغراض. وبرنامج الزحف الذي يجلب الصفحة للتدريب وللإجابة معًا لا يُحسب لأي منهما.

لذلك فرقم التدريب 52% حدّ أدنى لجلب التدريب، لا سقف دقيق. وفي عمل SEO التقني، تعني قاعدة robots.txt واحدة لبوت كهذا أنها تحظر التدريب والاسترجاع معًا أو تسمح بهما معًا.

كيف تُقاس نسبة الإحالة؟#

تأتي النسبة من ميزة منفصلة في Radar. تقسم Cloudflare إجمالي الطلبات من وكلاء المستخدم المرتبطين بمنصة بحث أو ذكاء اصطناعي، حيث كانت الاستجابة من نوع text/html، على عدد طلبات HTML التي يسمّي عنوان Referer فيها المنصة، مع ضبطها على إحالة واحدة.

وتشير إلى أن الزيارات المُحالة من تطبيق Claude الأصلي لا تحمل عنوان Referer، وتعتقد أن الأمر نفسه ينطبق على تطبيقات أصلية أخرى. فقد تظهر النسب أعلى من الواقع بمقدار تصفه بأنه غير واضح.

وفي الأسبوع من 19 إلى 26 يونيو 2025، تراوحت النسب من 70,900:1 عند Anthropic إلى 0.1:1 عند Mistral.

ما حجم الشبكة؟#

التقسيم لا يتسع أكثر مما تراه Cloudflare. تقول التدوينة نفسها إن أكثر من 20% من الويب يقع خلف شبكتها، ومنه 36% من أكثر المواقع زيارة في العالم، وإن أكثر من 50% من الزيارات على الإنترنت صارت غير بشرية.

وتذكّر بالإعداد الافتراضي تحت هذه الأرقام: في نطاقات Cloudflare الجديدة تُحظر برامج زحف تدريب الذكاء الاصطناعي ما لم يختر المالك غير ذلك. وقد ترى مواقع خارج Cloudflare، أو بإعدادات مختلفة، مزيجًا مختلفًا.

ماذا تفعل بهذا التقسيم؟#

قرّر لكل برنامج زحف على حدة، لا لكل شركة. وتبيّن Google السبب: يتحكم الرمز Google-Extended في إمكانية استخدام المحتوى الذي تزحف إليه Google لتدريب نماذج Gemini المستقبلية. وتقول إنه لا يؤثر في ظهور الموقع في بحث Google ولا يُستخدم إشارة ترتيب.

وليس له وكيل مستخدم منفصل، فالزحف يستخدم وكلاء Google الحاليين، ولا يعمل الرمز إلا في robots.txt. وحظر رمز تدريب وحيد الغرض يترك زحف البحث وشأنه، أما البوت المتعدد الأغراض فلا يمنحك هذا الخيار.

وتسرد أداة إنشاء robots.txt وllms.txt ما يفعله كل برنامج زحف للذكاء الاصطناعي. ويبيّن تقريرنا عن معدلات حظر برامج الزحف كم مرة يوقف الحظر البوت فعلًا.

ما الذي لا يثبته التقرير؟#

لا تعطي تدوينة 2026 نسبة زحف إلى إحالة، ولا عدد طلبات مطلقًا، ولا حجم عينة لتقسيم الأغراض، فلا يرد شيء منها هنا.

وتذكر Cloudflare أيضًا أن بعض أكثر الفئات زحفًا شهدت تراجعًا في الزيارات البشرية بلغ 40% في أقل من سنة. لكن الصفحة x، وهذا التقرير كذلك.