ورقة بحثية: حجب تقرير الـ agent عن نفسه يرفع كشف ادعاءات النجاح غير المدعومة 43.4 نقطة

نُشرت على arXiv في 21 أكتوبر 2026 ورقة بعنوان “Who Verifies the Agent’s Success Claim?”، مقبولة في المسار البحثي لمؤتمر ICSE 2027، كتبها Yunfeng Zhu وShengcheng Yu وZihan Li وZhenyu Chen. وتدرس الورقة ما يحدث حين يرى الموديل الذي يحكم على عمل agent التقرير الذي كتبه الـ agent عن نفسه.

والنتيجة أن حجب هذا التقرير عن الحاكم رفع قدرته على كشف ادعاءات النجاح غير المدعومة بمقدار 43.4 نقطة مئوية مع موديل Qwen3.5-35B-A3B، وبمقدار 13.3 نقطة مع DeepSeek-284B-A13B، وثبت الاتجاه نفسه على مجموعة بيانات ثانية محتجزة.

وصُممت التجربة بحيث يتغير عامل واحد فقط: الموديل الحاكم نفسه، والمهمة نفسها، والـ trace نفسه، أي السجل المسجّل لما فعله الـ agent خطوة بخطوة. والمتغير الوحيد هو وجود التقرير الذاتي أو غيابه. وتسمي الورقة المشكلة self-report leakage، أي تسرّب كلام الـ agent عن نفسه إلى الحكم، مع أن الحكم يفترض أن يقوم على السجل وحده. وتعرّف الحالة الخطرة بأنها ادعاء نجاح بلا أي تحفظ، لا يثبت السجل أن النتيجة تحققت فعلًا.

والمسألة ليست أن الموديل يكذب، بل أن النص الموجود داخل الـ context يشدّ الحكم في اتجاهه. وهي المشكلة نفسها في أي prompt يجمع رأيًا ودليلًا معًا.

والحل الذي تقترحه الورقة يسمى report isolation: يُسجَّل التقرير، لكنه لا يدخل في الحكم على حالة المهمة. وحقق auditor مبني بهذه الطريقة F1 بين 0.75 و0.78 على مجموعة من 465 سجلًا، وأوقف 74% إلى 90% من الادعاءات الخطرة مقابل مراجعة بشرية لنحو نصف الحالات.

والورقة أُجريت على GUI agents تحديدًا. لكن الاستنتاج يمتد منطقيًا إلى أي CI أو pipeline يراجع فيه agent عمل agent آخر: إذا كان المراجع يقرأ تقرير المنفّذ، فما يُقاس هو وصف النتيجة لا النتيجة نفسها.