كم مرة جلبت برامج الزحف ملف llms.txt؟

تحصي أغلب التغطيات كم موقعًا ينشر ملف llms.txt. أما هذا التقرير فينظر إلى الجانب الآخر: هل تطلب برامج الزحف خلف منتجات الذكاء الاصطناعي الملف أصلًا.

يغطي مقارنة جهات تتبع التبنّي جانب الناشرين، وتغطي مسودة W3C للمعيار المواصفة. وتأتي البيانات هنا من مصدر أساسي واحد، هو EZY Research التي قرأت سجلات خوادمها.

كم مرة جُلب الملف؟#

نشرت EZY Research أعداد الجلب لخمسة برامج زحف على مدى 12 أسبوعًا، إلى جانب جلبها لـ robots.txt على المواقع نفسها. والنمط غير متوازن عند أغلبها.

برنامج الزحف	جلبات robots.txt	جلبات llms.txt
برنامج OpenAI (GPTBot)	3,990	7
برنامج Anthropic (ClaudeBot)	3,120	9
برنامج PerplexityBot	775	0
برنامج Googlebot	5,125	67
برنامج Meta-ExternalAgent	172	193

بحسب EZY، البرامج نفسها التي جلبت robots.txt بالآلاف جلبت llms.txt بأرقام أحادية. وتذكر الصفحة أيضًا أن روبوتات عامة غير موثقة جلبت llms.txt 1,001 مرة، وأن الزوار من البشر جلبوه 564 مرة. ولا تذكر كم موقعًا من الـ 83 تلقى أي جلب، ولذلك لا نذكره.

أي برنامج هو الاستثناء؟#

Meta-ExternalAgent هو البرنامج الوحيد في الجدول الذي طلب llms.txt أكثر من robots.txt: 193 جلبًا مقابل 172. ولا يفسّر المصدر السبب، ولن نفسّره نحن. وتأتي جلبات Googlebot البالغة 67 في المرتبة التالية، لكنها تقابل 5,125 طلبًا لـ robots.txt.

وخلاصة EZY أن robots.txt هو الموضع الذي يُحسم فيه وصول الذكاء الاصطناعي اليوم، وأن llms.txt يبقى تأمينًا رخيصًا يسير على مسار المعايير. وهذه قراءة الناشر لبياناته، لا قياس لنية أي برنامج زحف.

ما حدود هذه البيانات؟#

اللوحة ليست عيّنة عشوائية من الويب. تذكر EZY أنها تميل إلى مواقع الأعمال الصغيرة التي طلب أصحابها أداة لظهور الذكاء الاصطناعي، وأن مواقعها الـ 83 جزء من لوحة تضم 556 نطاقًا.

وحُددت هوية الروبوتات بوكيل المستخدم مع التحقق من التوقيع حيثما توفر فقط، فبعض النسب يعتمد على سلسلة وكيل المستخدم وحدها. وتتيح EZY ملفات CSV مجمّعة عند الطلب، ولا ينشر الموقع رابطًا لمجموعة بيانات عامة.

اقرأ الأعداد حدًّا أدنى لما رأته لوحة واحدة من المواقع الصغيرة في نافذة واحدة من 12 أسبوعًا، لا معدلًا في منظومة البحث بالذكاء الاصطناعي. كما أن عدد الجلبات لا يقول شيئًا عن استخدام برنامج الزحف محتوى الملف في إجابة.

لماذا يهمك هذا؟#

إذا نشرت llms.txt وتتوقع أن تقرأه برامج زحف الذكاء الاصطناعي المعروفة، فقد وجدت هذه اللوحة جلبات بأرقام أحادية من OpenAI وAnthropic ولا جلب من Perplexity. اعتبر الملف تأمينًا منخفض التكلفة لا أداة تأثير، وأبقِ قواعد robots.txt هي التحكم الذي تطلبه البرامج فعلًا.