مقال يشرح لماذا لا تقيس نسبة الثقة التي يكتبها الـ agent شيئًا، وكيف تُحسب من خارجه

نشر Amrut Joshi في 20 أكتوبر 2026 مقالًا يتناول نسبة الثقة التي تُعيدها أنظمة الـ agents مع إجاباتها، ويخلص إلى أن هذا الرقم، حين يكتبه النموذج نفسه، ليس قياسًا لأي شيء.

ويبدأ المقال من معنى الثقة أصلًا، بمثال خبير الطقس. فإذا قال إن احتمال المطر غدًا 70%، فللرقم معنى واحد: إذا جُمعت كل الأيام التي قال فيها 70%، يجب أن تمطر في نحو 70% منها. وهذا ما يسمى calibration. وهو لا يُقاس في يوم واحد، بل على مدى طويل، ويشترط أن يكون هناك من سجّل كل توقع وكل نتيجة.

ويضيف المقال أن الـ calibration وحده لا يكفي. فمن يقول الرقم نفسه كل يوم، مساويًا للنسبة العامة للأيام الممطرة، يكون calibrated أيضًا دون أن يستخدم أي معلومة.

أما النموذج اللغوي فلم يمر بأي من ذلك. فبحسب المقال، لم يُقيَّم أبدًا على تطابق الثقة التي يكتبها مع عدد المرات التي يكون فيها مصيبًا. والرقم الذي يكتبه تكملة معقولة للمحادثة، يتبع الكلمات لا الدليل. وقد يفسر ذلك ما يلاحظه مستخدمون كثيرون: يتغير الرقم عند إعادة السؤال، أو ينخفض حين يُسأل النموذج إن كان متأكدًا، مع أن المعلومات لم تتغير. والأصعب، كما يكتب الكاتب، أن الرقم الخاطئ يبدو تمامًا مثل الرقم الصحيح.

والبديل الذي يقترحه المقال أن تُحسب الثقة بقاعدة خارج النموذج: إشارات يمكن ملاحظتها فعلًا، ونقطة بداية من نسبة النجاح التاريخية، وتسجيل لكل مخرج ونتيجته، ثم تصحيح القاعدة وفحص الـ calibration بانتظام. ويحذر الكاتب من أن القاعدة لا تكون أفضل من السجل الذي تُبنى عليه.

وبالنسبة إلى الفرق التي تبني منتجات تقرر متى يُحال الطلب إلى إنسان، يصبح السؤال الحقيقي هو مصدر الرقم الذي تعتمد عليه، بعد أن ناقش مقال سابق أن هذه النسبة لا تعني شيئًا دون calibration.