# ورقة بحثية: من 66 طريقة لتحسين كود الـ LLM، واحدة فقط تفوقت على best-of-n بالميزانية نفسها

> **المغزى:** المغزى: جزء كبير مما يبدو تحسينًا في جودة كود النماذج قد يكون مجرد إنفاق أكبر على الطلبات، فحين تحصل الطريقة البسيطة على الميزانية نفسها يختفي معظم الفارق.

- المصدر: المغزى (https://almaghza.com/a/2026-10-31-llm-code-quality-best-of-n-baseline/)
- التاريخ: 20 جمادى الأولى - 31 أكتوبر 2026 (2026-10-31)
- القسم: ذكاء اصطناعي
- الوسوم: arXiv، نماذج اللغة الكبيرة، جودة الكود، اختبارات الأداء

نُشرت على arXiv في 28 أكتوبر 2026 ورقة بعنوان «Beyond Passing Tests» أخذت 66 طريقة يُقال إنها تحسّن الكود الذي تكتبه النماذج اللغوية، وقارنتها كلها بطريقة واحدة بسيطة. والنتيجة أن طريقة واحدة فقط من الـ 66 تفوقت عليها في هدفها الأساسي خارج فاصل الثقة 95%، وهي نسبة يمكن أن تظهر بالصدفة.

ويدور البحث كله حول فكرة الميزانية المتساوية. فمعظم هذه الطرق تستهلك طلبات أكثر من الخط الذي تُقارن به: تخطيط قبل كتابة الكود، ومراجعة بعده، وagent مراجع، وretrieval، وكل منها يضيف طلبًا أو طلبين. وحين تُقارن بطلب واحد عادي، يبدو طبيعيًا أن تظهر أفضل.

فعكس الباحثون المقارنة، وأعطوا الطريقة البسيطة الميزانية نفسها. وهذه الطريقة تُعرف بـ best-of-n: توليد عدد من الإجابات، ثم ترتيبها بأداة تحليل ثابت، واختيار أفضلها. وعند الميزانية نفسها، ساوت هذه الطريقة أو تفوقت على التخطيط والـ prompting والـ self-refinement والـ agent المراجع والـ retrieval.

وتشمل الورقة مراجعة منهجية لـ 628 دراسة، وجدت أن معظمها يقيس البعد الذي يستهدفه فقط، بينما تبقى الصحة الوظيفية للكود على حالها أو لا تُذكر أصلًا. كما أعادت تقييم 10 طرق على 4 موديلات بميزانية حساب متساوية، ومدّت ذلك إلى 13 موديلًا وإلى مهام على مستوى المستودع، وأجرت المقارنة المباشرة للطرق الـ 66 على موديل Gemma 4 31B.

وفي الورقة ملاحظة تخص قراءة نتائج الـ benchmarks عمومًا: الخسارة الكبيرة التي تظهر على HumanEval+ لا تظهر في مسابقات أُجريت بعد تاريخ تدريب الموديلات.

وتخلص الورقة إلى أن أي تحسين يجب أن يُقارن بخط أساس بالميزانية نفسها من العينات، وبمقاييس مستقلة عن الإشارة التي تحسّنها الطريقة. وقد يعني ذلك لفرق المنتجات أن طبقات الـ prompt والمراجعة التي تُضاف لتحسين الجودة تحتاج إلى قياس مقابل بديل أبسط: طلب الإجابة أكثر من مرة واختيار أفضلها.

## المصادر

- [الورقة على arXiv](https://arxiv.org/abs/2610.38977)
- [نسخة PDF من الورقة](https://arxiv.org/pdf/2610.38977)