إعادة كتابة Campfire بالـ agents في Rust وElixir وGo تكشف أن المقارنة كانت بين مواصفات مختلفة
المغزى: حين لا يحدد الطلب الموجَّه إلى الـ agent قرارات التصميم، يتخذها الموديل بصمت، فتصبح مقارنة اللغات مقارنة بين قرارات لم يرها أحد.
تجربة Epoch AI: لا نموذج ذكاء اصطناعي استطاع أن يبتكر طريقة تدريب جديدة بنفسه
المغزى: إعادة تشغيل التجربة حتى تظهر نتيجة جيدة، وضبط الأرقام حتى يرتفع الرقم، يبدوان في تقرير الـ agent مثل التقدم تمامًا، والسؤال الأول أمام أي تحسن معلن هو هل هو فكرة أم انتقاء.
قياس مستقل: Python 3.15 أسرع من 3.14 بنحو 3% فقط، ونسخة free-threading أسرع 4.5 مرات
المغزى: الفارق الكبير في أداء Python لم يعد في رقم النسخة بل في اختيار المفسّر، فالترقية وحدها تعطي تحسنًا طفيفًا، أما إزالة الـ GIL فتغيّر النتيجة في العمل المتوازي.
Alex Kladov يقترح قاعدة للـ microbenchmark: اضبط المدخل حتى يستغرق القياس نحو 300 ميلي ثانية
المغزى: القياس الذي يستغرق أقل من 10 ميلي ثانية يقيس أدوات القياس أكثر مما يقيس الكود، والـ benchmark أداة لبناء الحدس لا آلة دقة.
Reflection تعلن Beam، نموذجًا مفتوح الأوزان بـ 501 مليار parameter، وتقرّ بتقدم Kimi K3 عليه
المغزى: مختبر أمريكي يطلق أول نموذج مفتوح له فيعرّف نفسه بالكفاءة لا بالصدارة، ويسمّي المتقدمين عليه وكلهم صينيون. والرخصة، لا جدول الأرقام، هي ما يحدد إن كان البناء فوقه ممكنًا.
تجربة Simon Willison: موديل Qwen3.8-27B يصيب 23.57% فقط في الجمع حين يكتب الجواب بالحروف دون reasoning
المغزى: إطفاء الـ reasoning لتوفير الـ tokens يطفئ معه قدرة الموديل على أي عملية تحتاج خطوات، والموديل لا يخبر المستخدم أنه خمّن الجواب.
مشروع livenerf يقيس بالأرقام ما إذا كان أداء Claude Opus 5.5 يتراجع بعد إطلاقه
الإحساس بتراجع جودة نموذج لا يثبت شيئًا، لكن عدّاد الـ tokens قد يفعل. فخفض مستوى التفكير يغيّر الاستهلاك بأكثر مما يغيّر الدقة.
Sebastian Raschka يقيس تاريخ تصنيف النصوص: bag-of-words تحقق 89.9% وأحدث نموذج 96.47%
الفارق بين الطريقة الأبسط والنموذج الأكبر قد يكون بضع نقاط وقد يكون صفرًا، ولا يظهر إلا بالقياس على بيانات المنتج نفسه، قبل الالتزام بتكلفة API على كل طلب.
OpenAI تصلح خللًا في ترميز الصور أضعف فهم GPT-6 Sol وLuna للصور في أيامهما الثلاثة الأولى
التقييمات التي أُجريت على النموذجين في أيامهما الأولى قاست خللًا في خطوة قبل النموذج لا النموذج نفسه، والانطباع الذي تكوّن حينها قد يبقى بعد زوال سببه.
اختبار على 16 نموذجًا: جملة واحدة في الـ prompt خفضت الحقول المختلقة في استخراج البيانات من 70.7% إلى 20.2%
من يستخرج بيانات بنموذج لغوي دون تعليمة صريحة للحقول الغائبة قد يحصل على حقل مختلق من كل ثلاثة حقول ناقصة، بشكل سليم لا يلفت النظر. وخدمة مدفوعة واحدة كانت أسوأ من معظم النماذج.
مقال ينتقد موجة النماذج التي تعيد نسبة ثقة: الرقم لا يعني شيئًا دون calibration وتكلفة للخطأ
نسبة الثقة قد تؤدي وظيفة نفسية أكثر منها هندسية، إذ تمنح شعورًا بالتحكم في المخاطرة دون قياسها، ويظهر ذلك بعد الإطلاق حين يُسأل عن مصدر الحد الفاصل.
نموذج Mercury 2.5 من Inception يولّد 770 توكن في الثانية بتقنية diffusion
فئة النموذج السريع والرخيص والأقل ذكاء صار فيها مرشح جدي، فأصبح اختيار النموذج قرار منتج يتعلق بما ينتظره المستخدم، لا قرارًا تقنيًا فقط.
SpaceXAI تطلق Grok 4.7 بسعر النسخة السابقة نفسه، وجدولها يُظهر تأخره في البرمجة
حين يكون النموذج أرخص بفارق كبير وأضعف بفارق قابل للقياس، يصبح الاختيار بين النماذج قرارًا بحسب شكل المهمة لا بحسب ترتيب الجداول.
اختبار StarCraft بين 19 إعدادًا لنماذج الذكاء الاصطناعي يكشف أن التنسيق هو نقطة ضعف الـ agents
حين يكون الوقت جزءًا من المهمة، يصبح التفكير الإضافي تكلفة لا ميزة، ويصبح فشل التنسيق بين الـ agents أخطر من ضعف النموذج نفسه.
قياس ByteShape لنسخ Qwen 3.8 27B المضغوطة يُظهر فروقًا تقل عن 1% في الجودة
في تشغيل النماذج محليًا، القرار الحاسم ليس اختيار النموذج بل اختيار نسخته المضغوطة، وهو الطريق الوحيد المتاح لمن لا يملك وسيلة دفع دولية.
مطور Wild يفسّر تناقض نتائج مقارنة الأداء مع Mold: الفرق في طريقة القياس
الرقم نفسه كان صحيحًا في المرتين، والإعداد هو الذي روى قصتين متعاكستين. أول سؤال أمام أي اختبار أداء ليس من فاز، بل كيف قيس.
دراسة من UC Berkeley: النموذج نفسه ينجح بالنسبة نفسها تقريبًا بتكلفة مضاعفة حسب أداة التشغيل
جزء من فاتورة الـ coding agents لا يذهب إلى العمل بل إلى السياق الذي ترسله الأداة في أول نداء، ويُدفع تلقائيًا عند قبول الأداة الافتراضية دون مقارنة.
Xiaomi تفتح لوحة علنية تعرض تدريب نماذج MiMo لحظة بلحظة بما فيها الأعطال
جدول النتائج النهائي يخبر بالنتيجة، أما اللوحة الحية فتكشف التكلفة: التشغيلات التي توقفت، والبيانات التي حُذفت، والساعات التي ضاعت في خطأ لم يُكتشف.
Jay Kruer يشرح لماذا يبقى متشائمًا من الـ LLMs رغم نتائجها في الرياضيات
المسائل الرياضية هي أفضل حالة ممكنة للنماذج لأن مواصفاتها دقيقة، بينما معظم العمل البرمجي اليومي بلا مواصفة مكتوبة، وكتابتها أغلى من البناء نفسه.
Trail of Bits تعيد حساب اختبار 1Password لإصلاح الثغرات بالذكاء الاصطناعي: من 26% إلى 86%
تصميم التجربة يحدد الرقم قبل أن تبدأ، وقراءة المنهجية قبل النتيجة هي الفرق بين رأي مبني على قياس ورأي مبني على ظروف لا يعمل بها أحد.
اختبار Vending-Bench: GPT-6 Astra ينهي عامًا في إدارة ماكينة بيع برصيد يقارب 3 أضعاف رصيد Claude Fable 5.1
أكبر خسائر الـ agent في مهمة طويلة جاءت من ضعف المتابعة لا من نقص الذكاء، والاختبار الذي يقيس ردًا واحدًا لا يكشف ما يحدث لـ agent يعمل أسبوعين.
اختبار Real-SWE على كود شركات مغلق: أفضل نموذج يحل 38.8% فقط من المهام
الفجوة بين أرقام إعلانات النماذج وأدائها على مستودعات الفرق الحقيقية قد لا تعود إلى صياغة الطلب، بل إلى أن الاختبارات الشهيرة مبنية على كود رآه النموذج أثناء تدريبه.
قياس مستقل: أداة RTK التي تعد بتوفير 90% من الـ tokens رفعت التكلفة
نسب التوفير التي تعلنها الأدوات محسوبة على الجزء الذي تعمل عليه وحده، لا على الفاتورة كاملة، والفرق بين الرقمين قد يقلب النتيجة.
Cognition تطلق SWE-2 وتقول إنه أرخص بنسبة 64% دون نشر سعر للـ token
نسبة توفير بلا سعر أساس معلن لا تدخل في أي حساب، ونموذج بلا API مستقل ولا أوزان مفتوحة هو اشتراك في منتج أكثر منه نموذجًا يُبنى عليه.
تجربة Quesma: نسخة 17 GB من Qwen3.8 27B تساوي النسخة الكاملة على Terminal-Bench
الخلاف حول ضرر الضغط على النماذج يحسمه عدد الـ bits: عند 4 bits لا فرق يُذكر ويكفي كارت واحد، وعند 1 bit ينهار النموذج.
Artificial Analysis ترفع وزن الاختبارات الخاصة إلى 40% في مؤشر Intelligence Index v4.2
الاختبار المنشور يتسرّب مع الوقت إلى بيانات التدريب، فتقيس الدرجة أن النموذج رأى السؤال لا أنه يعرف حله، والمرتبة الأولى في الترتيب العام لا تعني الأفضل في كل مهمة.
قياس مستقل من Artificial Analysis: Claude Fable 5.1 أدق من GPT-6 Astra، وAstra أرخص للمهمة
سعر الـ token المتطابق لا يعني فاتورة متطابقة. فالنموذج الأدق يستهلك ضعف الـ tokens، والمقارنة الصحيحة تكون على بيئة اختبار واحدة لا بين جدولين.
اختبار SWE-bench Verified يقترب من التشبع وأعلى 3 نماذج تتقارب في حدود نقطة واحدة
حين يتجاوز الجميع 95% في اختبار واحد، يصبح الرقم دليلًا على الانتماء إلى المجموعة لا على التفوق، ويصعب معه التمييز بين نموذج أرخص قريب فعلًا ونموذج لا يرى الاختبار الفرق بينهما.
Claude Fable 5.1 بضعف سعر Opus 5، وأرقام Anthropic تُظهر أن الفرق في الدقة يتبع نوع المهمة
القرار الحقيقي ليس أي نموذج أقوى، بل هل تستفيد المهمة من تفكير إضافي. وإعداد الـ effort الافتراضي، الذي لا يراجعه أحد، قد يحدد الفاتورة أكثر من اسم النموذج.
DeepSeek تطلق V4-Flash-0731 بأوزان MIT ويتفوق على نسختها الأكبر في اختبارات البرمجة
التحسن هنا جاء من التدريب اللاحق وحده دون تغيير المعمارية، ومع رخصة MIT يصبح نموذج قادر على العمل البرمجي متاحًا للتشغيل الذاتي دون ربطه بحساب أو قرار خارجي.