ورقة بحثية: 82.8% من الـ tests التي كتبتها الـ agents نجحت، و33.8% فقط اختبرت السلوك المطلوب فعلًا

قدّم باحثون في 27 أكتوبر 2026 ورقة على arXiv اختبرت قدرة الـ agents على كتابة tests من متطلبات مكتوبة بلغة طبيعية. والنتيجة رقمان: 82.8% من الـ tests نجحت، لكن 33.8% فقط اختبرت فعلًا السلوك المطلوب.

وبنى الباحثون benchmark اسمه Req2Test-Bench من 5,086 حالة مأخوذة من 8 مشاريع حقيقية مفتوحة المصدر وبـ 5 لغات برمجة. وكل حالة تتضمن متطلبًا مكتوبًا بصيغة Gherkin، وهي صيغة لوصف السلوك المتوقع بجمل منظمة، ومعه الـ test الذي كتبه مطور بيده. ثم طُلب من الـ agent كتابة الـ test من المتطلب وحده، دون أن يرى الكود الذي ينفذ الوظيفة.

ولقياس ما إذا كان الـ test يختبر فعلًا، استخدمت الورقة معيارًا اسمه kill-completeness. والفكرة أن الباحثين يُدخلون أخطاء مصطنعة في الكود، والـ test الكفء هو الذي يكشف كل خطأ كان test المطوّر يكشفه. فإذا نجح الـ test دون أن يميّز بين الكود الصحيح والكود الخاطئ، فهو يعمل لكنه لا يختبر شيئًا.

وجاء الرقمان من أفضل تركيبة في التجربة، وهي Codex مع DeepSeek-V4.1-Flash. ووجدت الورقة أن تكبير الـ agents ورفع مستوى الـ reasoning زاد الكفاءة السلوكية زيادة ضعيفة جدًا مقارنة بالتكلفة. أما السبب الأكبر للفجوة فكان المتطلب نفسه: setup غير واضح، ونتيجة متوقعة مفهومة ضمنًا وغير مكتوبة.

ويعني ذلك للفرق التي تعتمد على الـ agents في كتابة الـ tests أن نسبة النجاح وحدها لا تقول الكثير عن التغطية الحقيقية. وما يرفع جودة هذه الـ tests، بحسب الورقة، هو وضوح المتطلب المكتوب أكثر من قوة الموديل الذي يقرؤه.