تجربة GVS5H: خمس نسخ من نموذج مفتوح بحجم 27B ترفع دقته في البرمجة من 66.8% إلى 92.4%

نشر باحثون تجربة باسم GVS5H، وهو اختصار لـ Gorilla vs. 5 Humans، تُظهر أن خمس نسخ من النموذج نفسه، حين تعمل معًا بطريقة منظمة، يمكن أن تحقق دقة في حل مسائل البرمجة أعلى من نموذج Fable 5. وجُرّبت الطريقة على 11 نموذجًا، مفتوحة ومغلقة، على أصعب 100 مسألة في LiveCodeBench.

ولا تتضمن التجربة أي تدريب أو fine-tuning. فالطريقة تفتح عدة نسخ جديدة من النموذج، وتجعلها تتواصل عبر مجلد مشترك لا يحوي إلا ثلاثة أشياء: الخطة، والملاحظات، والحل الحالي. وتتولى نسخة واحدة دور المدير فتقسّم المسألة، بينما تعمل البقية وتكتب نتائجها في المجلد نفسه.

وجاءت الأرقام لافتة. فنموذج Qwen3.8 Flash Next بلغ بهذا التنظيم 93.0% مقابل 90.4% لـ Fable 5، وبنحو 9% من التكلفة. أما نموذج Qwen3.8-27B المفتوح، الذي يمكن تشغيله على خادم خاص، فارتفع من 66.8% إلى 92.4%. وبلغ أكبر مكسب سجلته الورقة 25.6 نقطة مئوية.

وتنسب الورقة المكسب إلى أمرين بسيطين: تقسيم المسألة إلى أجزاء، وسياق يبقى محفوظًا بين الخطوات، لا إلى حجم النموذج. وهذا يضع إلى جانب خيار شراء نموذج أقوى خيارًا ثانيًا هو تنظيم النموذج المتاح، ويظهر الفرق بين الخيارين في فاتورة الـ API أكثر مما يظهر في عرض تجريبي. وقد يعني ذلك للفرق التي تشغّل نماذج مفتوحة على خوادمها أن الفجوة مع النماذج المغلقة في بعض المهام أصغر مما تبدو.

لكن الورقة تقر صراحة بأن المكسب ليس عامًا: بعض النماذج لم يتغير أداؤه، وبعضها صار أسوأ، فالأرقام ليست وعدًا لكل نموذج. والكود منشور برخصة MIT، والورقة والرسوم وبيانات التشغيل برخصة CC BY 4.0، ويحتاج التشغيل إلى uv ومفتاح API، مع وضعين للمقارنة: المدير متعدد النسخ، والنداء الواحد.