بنشمارك PACE: وكلاء البرمجة يحققون حتى 78.1 على المكونات، وأعلى نسبة تسليم كامل 14%

نُشرت على arXiv في 19 أكتوبر 2026 ورقة بعنوان “When Coding Agents Outpace Review: Evaluating PRD-Driven Development in Mature Enterprise Repositories”، تقدّم بنشمارك اسمه PACE. ولا يقيس البنشمارك قدرة الـ agent على إغلاق issue منفرد، بل قدرته على تنفيذ مستند متطلبات كامل، أو PRD، داخل مستودع شركة حقيقي.

يتكون PACE من 43 مهمة مأخوذة من مستودعات enterprise، مع 750 نقطة فحص للكود راجعها خبراء يدويًا، واختُبرت عليه 11 تركيبة من موديل وscaffold. وجاءت أغلب الدرجات بين 52.1 و78.1. أما معدل التسليم الكامل، أي تنفيذ كل المطلوب فعلًا، فكان أعلاه 14.0% وسجّله GPT-5.6-Sol. وبلغ اتفاق التقييم الآلي مع إجماع الخبراء 95.2%.

وتحدد الورقة السبب بوضوح: “Incomplete implementation and missing integration are the principal bottlenecks: producing individual components does not ensure a complete delivery”. فالمكونات تُكتب، لكن الربط بينها هو ما يسقط. ومن هنا الفجوة الواسعة بين درجة المكونات ونسبة التسليم الكامل.

ووجدت الورقة أمرًا آخر: مع ثبات الموديل والمهام، ارتفع متوسط الأداء من 59.4 إلى 63.0 عبر إصدارات متتالية من الـ harness، وهو البرنامج الذي يدير الموديل ويمنحه الأدوات. أي أن ما يحيط بالموديل يؤثر في النتيجة تأثيرًا ملموسًا.

وعنوان الورقة يوحي بقياس المراجعة البشرية، لكنها لم تقس وقت المراجعة ولا إنتاجية المراجعين. ما قيس هو اكتمال التسليم.

وبالنسبة للفرق التي تسلّم الـ agent مهام كبيرة وتنتظر منتجًا جاهزًا، تشير النتائج إلى أن العمل لم يختفِ بل انتقل: من كتابة الكود إلى ربط أجزائه ومراجعة ما نقص منها.