معدلات هلوسة استشهادات الذكاء الاصطناعي

يتكرر كل بضعة أشهر رقم جديد يزعم أنه يجيب عن سؤال «كم مرة يختلق الذكاء الاصطناعي الاستشهادات؟». وقد يكون الرقم 1% أو 7% أو 40% أو 82%، بحسب المدونة التي تقرؤها.

كل هذه الأرقام تعود إلى أبحاث حقيقية، لكنها لا تجيب عن السؤال نفسه، وخلطها هو المشكلة الفعلية. تحققنا من ثلاث دراسات في مصدرها بحجم عينة ومنهج معلنين، واستبعدنا الباقي لأنه لم يتجاوز مجمّعات تنقل عن مجمّعات.

ماذا قاست الدراسات الثلاث؟#

نشرت GPTZero، شركة كشف الانتحال والمحتوى المولَّد، تقريرًا في 21 يناير 2026. فحصت فيه هل الاستشهادات داخل 4,841 ورقة مقبولة في NeurIPS 2025 موجودة فعلًا وتطابق مصادرها.

وهذا سؤال عن أوراق أكاديمية كتبها بشر وتضم قوائم مراجع ولّدها الذكاء الاصطناعي، لا عن روبوت يجيب سؤالًا مباشرًا.

وأجرى Tow Center للصحافة الرقمية، عبر Columbia Journalism Review، اختبارًا مختلفًا في مارس 2025. طلب من ثماني أدوات بحث بالذكاء الاصطناعي تحديد 200 مقال إخباري حقيقي من 20 ناشرًا والاستشهاد بها، فكانت 1,600 استعلام.

وسؤاله: هل تحدد إجابة البحث المباشرة مصدرًا حقيقيًا بعينه وتربطه؟

وطرحت دراسة Cureus المنشورة في 30 يوليو 2026 سؤالًا ثالثًا: حين يجيب ChatGPT-5 عن سؤال سريري ويستشهد بإرشادات طبية، كم مرة يكون كل حقل في المرجع صحيحًا؟

وفحص الباحثون كل المراجع الـ 2,736 التي ولّدها في 350 استعلامًا مبنيًا على إرشادات AAOS.

ماذا وجدت كل واحدة؟#

أبلغت أداة Hallucination Check من GPTZero عن استشهادات لا يمكن التحقق منها في قواعد البيانات الأكاديمية وروابط DOI وURL، ثم أكد خبير بشري كل حالة قبل عدّها.

وأكدت العملية 100 استشهاد مهلوس على الأقل في 53 ورقة، أي نحو 1.1% من الأوراق المفحوصة.

وهذا أدق الأرقام الثلاثة وأقدرها على التحقق: مجتمع ثابت من أوراق منتهية، وأداة مسمّاة، ومراجعة بشرية قبل النشر.

وجد Tow Center أن أكثر من 60% من 1,600 إجابة احتوت على خطأ استشهاد، أي تحديد خاطئ للمقال أو نسبة خاطئة للناشر أو رابطًا مفقودًا أو معطلًا.

وتباينت الدقة كثيرًا بين الأدوات: أقل خطأ عند النسخة المجانية من Perplexity بنسبة 37%، وأعلى خطأ عند Grok 3 بنسبة 94%. وأحال أكثر من نصف إجابات Gemini وGrok 3 إلى روابط مختلقة أو معطلة تؤدي إلى صفحات خطأ.

ووجدت Cureus أن ChatGPT-5 اختلق 7.13% من مراجعه الـ 2,736 تمامًا. وهذا قريب من «7 إلى 8%» التي ظهرت في مقتطفات البحث، وهو الموضع الوحيد المتداول الذي يعود هذا النطاق فيه إلى دراسة حقيقية مؤرخة.

لكن الاختلاق لم يكن مصدر الخطأ الأكبر. فلم يصح كل حقل إلا في 49.34% من الاستشهادات، ولم تكن كل استشهادات السؤال الواحد دقيقة تمامًا إلا في 8% من الحالات. وكان PMID والعنوان أكثر الحقول خطأ.

لماذا لا توجد نسبة واحدة؟#

تبيّن ورقة arXiv لعام 2026 بعنوان «Source or It Didn’t Happen» سبب استعصاء هذه الأرقام على المتوسط. تقترح الورقة نظام كشف متعدد الوكلاء اسمه CiteTracer.

ويسجل معيارها دقة كشف 97.1%، لكن الرقم يصف تصنيف كاشفها لاستشهادات في مجموعة بنتها الورقة بنفسها: 2,450 استشهادًا اصطناعيًا معدَّلًا و957 مختلقًا معروفًا.

فهو لا يصف معدل هلوسة أي نظام في الاستخدام العادي، ولا يصلح رقمًا رابعًا لعنوان رئيسي.

وإذا رتبت الأرقام الحقيقية الثلاثة، امتد المدى من نحو 1% إلى أكثر من 60% في الموضوع العام نفسه.

وهذا ليس تناقضًا في الأبحاث، بل ثلاثة تعريفات للهلوسة على ثلاث مهام: أن يوجد الاستشهاد أصلًا، وأن يشير إلى المقال الصحيح، وأن يصح كل حقل فيه.

وقد تنجح إجابة واحدة في أحد الاختبارات وتفشل في آخر. وأي رقم يُذكر دون تحديد أي سؤال يجيب عنه يُعامل على أنه غير قابل للتحقق.

ما الذي يعنيه ذلك لك؟#

إذا كنت ناشرًا، فرقم Tow Center هو الأهم يوميًا. فحتى حين تدفع اتفاقية ترخيص أو شراكة أداة بحث إلى ذكر موقعك، تبقى فرصة الخطأ قريبة من النصف: نسبة اقتباس إلى غير مصدره، أو ربط بنسخة منشورة في موقع آخر بدل الأصلية، أو رابط معطل.

وظهور اسم كاتب أو عنوان URL صحيحًا في إجابة روبوت لا يثبت أن النظام يستشهد بدقة في مواضع أخرى، والشراكة وحدها لا تعالج ذلك.

وإذا كنت تقيّم أداة لتتبع الاستشهادات، فدراستا GPTZero وCureus أنفع مرجعين. فهما تبيّنان أن «تم التحقق» و«مهلوس» لا يعنيان شيئًا ما لم تُعلن طريقة الفاحص.

الأداة التي تعطيك نسبة هلوسة واحدة دون أن توضح هل تفحص الوجود أم النسبة إلى المصدر أم دقة الحقول، تكرر خطأ المدونات المجمِّعة: ثلاثة قياسات في رقم يبدو أدق مما هو. اسأل أي سؤال من الثلاثة تجيب عنه قبل أن تثق بدرجتها.