قياس مستقل من Artificial Analysis: Claude Fable 5.1 أدق من GPT-6 Astra، وAstra أرخص للمهمة
سعر الـ token المتطابق لا يعني فاتورة متطابقة. فالنموذج الأدق يستهلك ضعف الـ tokens، والمقارنة الصحيحة تكون على بيئة اختبار واحدة لا بين جدولين.
تعتمد معظم المقارنات بين GPT-6 Astra وClaude Fable 5.1 على جدولين منفصلين، واحد من كل شركة. والجدولان لا يقيسان الشيء نفسه. فجدول Anthropic على صفحة إطلاق Fable 5.1 يقارنه بـ GPT-5.6 Sol لا بـ Astra، لأن Astra لم يكن قد صدر حينها. وأرقام Astra نفسها مقاسة على بيئة اختبار (harness) خاصة بـ OpenAI. فمن يضع الجدولين جنبًا إلى جنب يقارن بيئتي اختبار، لا نموذجين.
الرقم الأنسب هو ما يأتي من تشغيل النموذجين على البيئة نفسها. وهذا ما فعلته Artificial Analysis في مؤشر Intelligence Index v4.1.1، المكوّن من 9 اختبارات، على عتاد مخصص.
على أعلى مستوى effort سجّل Fable 5.1 نتيجة 65.7 مقابل 61.2 لـ Astra. وتقدّم Fable في كل مستويات الـ effort، حتى إن نتيجته على high (62.5) أعلى من نتيجة Astra على max. وفي اختبار AA-Briefcase، الذي يقيس العمل المكتبي الطويل، كان الفرق أوضح: 1694 مقابل 1570.
لكن التكلفة تقلب الصورة. فتكلفة المهمة الواحدة في الاختبار نفسه بلغت 1.67 دولار لـ Astra مقابل 3.69 دولار لـ Fable، أي أن Astra أرخص للمهمة بأكثر من الضعف، رغم أن سعر الـ token واحد في النموذجين: 10 دولارات للدخول و50 للخروج لكل مليون.
والسبب هو عدد الـ tokens. فـ Astra على max يولّد نحو 15 ألف token خروج للمهمة، بينما يولّد Fable على xhigh نحو 31 ألفًا. السعر نفسه، والاستهلاك ضعفه.
وفي اختبار AA-Omniscience، الذي يقيس المعرفة والهلوسة، تعادل النموذجان تقريبًا: 43.7 لـ Astra و43.5 لـ Fable، وهو فرق داخل هامش الضوضاء.
ولا يولّد أي منهما صورًا. فكلاهما يقبل الصور مدخلًا ويُخرج نصًا فقط، بحسب توثيق الشركتين.
وبذلك يصبح سؤال “أيهما أذكى” ناقصًا. فالقياس يقول إن Fable أدق، والفاتورة تقول إن Astra أرخص للمهمة، وكلا الأمرين صحيح في الوقت نفسه.