ورقة RegretBench: وكلاء البرمجة يأخذون نسخة احتياطية قبل الخطوة التي لا رجعة فيها في 15.2% فقط من المهام

نشر باحثون على arXiv في 20 أكتوبر 2026 ورقة بعنوان “Back Up Before You Regret” تقيس سؤالًا بسيطًا في وكلاء البرمجة: هل يأخذ الـ agent نسخة احتياطية قبل أن ينفّذ خطوة لا يمكن التراجع عنها؟ والجواب، بحسب الورقة، نعم في 15.2% فقط من الحالات.

وبنى الباحثون، ومنهم Xu Li وBo Li وWeiyan Shi، اختبارًا باسم RegretBench يضم 205 مهام قابلة للتنفيذ، وجرّبوه على 6 موديلات frontier. وجُمعت المهام من منشورات حقيقية على X وGitHub وStack Overflow كتب فيها أصحابها أنهم ندموا لأنهم لم يحتفظوا بنسخة.

والرقم الذي يوضح المسألة هو الثاني: الـ agents نفسها أنجزت 86.1% من المهام بنجاح. فالمشكلة ليست في القدرة على الإنجاز. فالـ agent يقيّم نفسه بسؤال “هل تمت المهمة؟”، ولا يوجد في هذا التقييم سؤال عن حالة سابقة سليمة يمكن الرجوع إليها. ولذلك تمر أي خطوة تعدّل حالة قائمة، سواء كانت migration لقاعدة بيانات أو حذف ملف أو تعديل إعداد، دون أن يحفظ أحد ما كان قبلها.

واقترح الباحثون طبقة باسم BackUpper تعمل داخل الـ harness، أي البرنامج الذي يشغّل الموديل ويمرّر له الأدوات. تفحص هذه الطبقة كل نداء أداة وتحفظ الحالة قبل تعديلها، بقواعد ثابتة للعمليات الشائعة وsubagent خفيف للحالات المعقدة. وبحسب الورقة، غطّت كل خطوات الندم في الاختبار، واستعادت الحالة بتشابه متوسطه 92.2%، بتكلفة نحو 0.014 دولار للمهمة، وبعدد tokens أقل 7 مرات من ترك الـ agent الرئيسي يأخذ النسخة بنفسه.

والنتيجة تنقل المسؤولية من الموديل إلى البيئة المحيطة به. فالموديل يرى المهمة، أما النسخة الاحتياطية فقرار يُتخذ على مستوى الأداة التي تشغّله، وهي في يد الفريق الذي يستخدمها. ويبقى أن الورقة لم تقس فقدان بيانات فعليًا، بل قاست نسبة أخذ النسخة قبل الخطوة.