اختبار StarSkirmish: النماذج تكتب bot للعبة StarCraft في ساعة، وأفضلها يفوز 7% فقط أمام أقوى الـ bots البشرية

لا يطرح اختبار StarSkirmish Bench v0.2 سؤالًا على النموذج، بل يكلفه بمهمة: أن يكتب في ساعة واحدة bot بلغة C++ للعب بجنس Protoss في StarCraft: Brood War. ثم يلعب هذا الـ bot ضد قائمة ثابتة من الـ bots التي كتبها بشر، وتكون الدرجة نسبة فوز لا تقييمًا.

وتجري المباريات بين Protoss وProtoss على 3 خرائط هي Heartbreak Ridge وBenzene وDestination، باستخدام BWAPI 4.4.0 وOpenBW. ويقدم كل نموذج 5 bots نهائية، ويلعب كل منها ضد كل خصم 6 مرات على كل خريطة. وتعمل النماذج داخل أدوات سطر الأوامر الخاصة بمختبراتها بأقصى درجة تفكير، مع إغلاق البحث والجلب من الإنترنت، ولا تلعب bots النماذج ضد بعضها.

واختُبر 9 نماذج. جاء GPT-6 Astra أولًا، وGPT-6.1 Sol ثانيًا بفارق واضح، ثم Gemini 4 Argon ثالثًا، مع تقارب Claude Opus 5.5 وClaude Fable 5.1 في نطاق 37 إلى 39. لكن أمام أقوى الـ bots البشرية، وهي Stardust وPurpleWave وBananaBrain، لا يتجاوز أفضل نموذج 7% من الانتصارات، أي أن الاختبار ما زال بعيدًا عن التشبع. وتذكر الصفحة أن ارتباطه بمؤشر Artificial Analysis ضعيف (0.26)، فهو يقيس شيئًا لا تقيسه المؤشرات العامة.

والملاحظة الأبرز في الصفحة أن أفضل ما يتنبأ بدرجة النموذج هو الخصم الذي يتدرب ضده أثناء الساعة. فالنماذج التي تبدأ مبكرًا باللعب ضد أقوى الـ bots تحصل على درجات أعلى، والتي تقضي وقتها أمام الخصوم الضعيفة تبقى في الأسفل، والاستثناء الوحيد هو Claude Fable 5.1.

وفي النتائج رقم يخص التكلفة. فقد حل Sol ثانيًا بتكلفة تزيد قليلًا على عُشر تكلفة Astra في الـ run الواحد. ولفرق تختار نموذجًا لمهام agent طويلة، يعني ذلك أن المقارنة بالتكلفة لكل مهمة قد تكون أدق من الترتيب وحده.