مقياس SlopCodeBench: الـ agents تنجح في المطلوب الجديد حتى 74% وتحافظ على القديم حتى 16.3% فقط

نشر Dex Horthy في 15 أكتوبر 2026 تقرير شهر أكتوبر لمقياس SlopCodeBench، الذي يختبر coding agents على مسائل متعددة المراحل. يكتب الـ agent برنامجًا، ثم تصله متطلبات جديدة فيعدّل الكود نفسه، وفي كل مرحلة يُختبر السلوك الجديد والقديم معًا.

وعلى 196 نقطة فحص و10 تشغيلات لنماذج مختلفة، تراوحت نسبة النجاح المتساهلة بين 65.8% و74%. أما النسبة الصارمة، التي تشترط أن تنجح اختبارات الانحدار أيضًا، أي الاختبارات التي تتحقق من أن ما كان يعمل ما زال يعمل، فتراوحت بين 12.2% و16.3% فقط.

بعبارة أخرى، ينجز الـ agent المطلوب الجديد في أغلب الحالات، لكنه يكسر في الطريق جزءًا مما كان يعمل. والفارق بين الرقمين هو العمل الذي يبقى على المطور أو المراجع.

ويتضمن التقرير رقمًا يخص التكلفة. فقد كلّفت درجة التفكير العالية بين 2.11 و4.22 ضعف الدرجة المتوسطة، وفي اثنتين من ثلاث مقارنات كاملة حققت الدرجة الأغلى نجاحًا صارمًا أقل. فعلى سبيل المثال، حقق Opus 5.5 على الدرجة المتوسطة 28 نجاحًا صارمًا، وعلى الدرجة العالية بتكلفة 4.22 ضعف حقق 25.

ويوضح الكاتب أنه شغّل كل إعداد مرة واحدة فقط. لذلك لا يثبت التقرير أن التفكير الإضافي يضر، بل يثبت أنه ليس طريقة مضمونة لشراء النجاح.

وفي الممارسة العملية، يقيس كثير من الفرق تكلفة الـ agent بسعر المليون token، ويقيس جودته بنجاح الاختبارات الظاهرة. ويبقى ما بينهما بلا قياس: الأسطر التي كانت تعمل قبل أسبوعين وتعطلت دون أن يلاحظ أحد.