دراسة على ARC-AGI-3: نماذج بنت الـ harness الخاص بها وعدّلته مرتين، والتحسن على الألعاب المحجوبة غير مؤكد

نشر ينس ليمان وسحر وحدتي في 21 أكتوبر 2026 دراسة بعنوان Can LLMs Improve Their Own Harness?، تختبر ما إذا كانت النماذج المتقدمة قادرة على تحسين البنية البرمجية التي تعمل داخلها، على مقياس ARC-AGI-3. ولا تسمّي الورقة النماذج التي اختبرتها.

والـ harness هو الكود الملتف حول النموذج: الجزء الذي يقرأ الحالة، ويحفظ، ويستخدم الأدوات، ويتصرف عند وقوع خطأ، ويوزّع عدد الاستدعاءات على كل خطوة.

وكان ترتيب التجربة كالتالي: يبني كل نموذج الـ harness كاملًا انطلاقًا من نقطة بداية برمجية ثابتة، ثم يلعب به 5 ألعاب تطوير، ثم يعدّل الكود كله مرتين. وتُقاس كل نسخة على 20 لعبة أخرى لم يرها النموذج ولم تدخل في التعديل إطلاقًا.

وهنا الفارق الذي تقيسه الدراسة. على ألعاب التطوير بدا التعديل مفيدًا. أما على الألعاب العشرين المحجوبة فرفع التعديلان المتوسط 2.80 نقطة فقط، بمجال ثقة إحصائي يمتد من سالب 1.44 إلى 7.35. ووجود الصفر داخل هذا المجال يعني أن النتيجة لا تتميز إحصائيًا عن غياب أي تحسن.

والأوضح من المتوسط هو التشتت. فعلى 27 مسار تجربة، تراوحت النتيجة على الألعاب المحجوبة بين الصفر وقرب الحد الأعلى.

وتصف الدراسة ممارسة شائعة لدى الفرق التي تعمل مع الـ agents: ترك الـ agent يحسّن prompt أو سكربتًا، ثم ملاحظة تحسن الرقم على الحالات نفسها التي جرى عليها التعديل، واعتباره تقدمًا. وبحسب الورقة، يتضخّم هذا المكسب لأنه قيس على الأرض نفسها. ويبقى السؤال العملي مفتوحًا: كيف يحجب فريق صغير ما يكفي من الحالات للقياس دون أن يصبح العمل ثقيلًا.