وسم

اختبارات الأداء

مقاييس مقارنة النماذج مثل SWE-bench وLMArena: ما الذي تقيسه، وأين تقع النماذج الجديدة فيها، ولماذا لا تكفي النتيجة المعلنة من الشركة وحدها.

ذكاء اصطناعي

MaxxBench: تعديل صغير في صياغة مهام البرمجة يُسقط نتائج نماذج بنحو 20 نقطة

المغزى: رقم الـ benchmark يقيس جزئيًا مدى اعتياد النموذج على شكل المهمة، لا فهمه لها فقط، ومن يختار نموذجًا بتقييم يشبه الـ benchmark قد يقيس الشيء نفسه.

ذكاء اصطناعي

مقال على Open Athena: ثلثا بيئات تدريب نموذج MiMo البرمجية كانت تحتوي على الحل نفسه

المغزى: الرقم الذي يقارن به الفريق بين نموذجين قد لا يقيس ما يظنه، والتدريب على مهام عامة قد يعلّم النموذج نسخ الحل بدل الوصول إليه.

ذكاء اصطناعي

Tencent تطلق نموذج Hy4 عبر الـ API بنافذة مليون token، والأوزان لم تُنشر بعد

المغزى: النموذج الموصوف بأنه مفتوح المصدر يُستخدم اليوم عبر الـ API فقط، ومن يختار نموذجًا لمنتجه يبني حسابه على القياس المستقل لا على تقييمات الشركة الداخلية.

ذكاء اصطناعي

Ricursive Intelligence تنشر Ripple-65B، نموذجًا مفتوحًا يتفوق على نماذج أكبر منه في TerminalBench

المغزى: نموذج بحجم 65 مليار بارامتر برخصة Apache 2.0 يعمل على جهاز بذاكرة كافية، فيصبح العمل على الطرفية بالـ agents ممكنًا دون API ودون اشتراك خارجي، مع أن أرقامه تقديرات المعمل نفسه.

ذكاء اصطناعي

ورقة تقول إن نموذجًا لغويًا يقرأ أوزان الشبكات ويكتبها، ونقد يفصّل ما حدث فعلًا

المغزى: القدرة التي تصفها الورقة حقيقية لكنها أضيق من عنوانها، وأول سؤال يستحق الطرح على أي ادعاء عن نموذج هو بأي أدوات أُنجزت النتيجة.

ذكاء اصطناعي

Memdoor: خمسة agents من نموذج Qwen3.8-27B المفتوح تتفوق على Fable 5 في اختبار برمجة

المغزى: جزء من الفارق بين نموذج مفتوح صغير ونموذج مغلق كبير يمكن تعويضه بتنظيم عدة نسخ في workflow، والمقياس هنا ليس حجم النموذج بل طريقة ترتيب العمل.

ذكاء اصطناعي

ورقة بحثية: من 66 طريقة لتحسين كود الـ LLM، واحدة فقط تفوقت على best-of-n بالميزانية نفسها

المغزى: جزء كبير مما يبدو تحسينًا في جودة كود النماذج قد يكون مجرد إنفاق أكبر على الطلبات، فحين تحصل الطريقة البسيطة على الميزانية نفسها يختفي معظم الفارق.

برمجيات

Thomas Neumann: أرقام benchmarks قواعد البيانات صارت أصعب في التصديق لأن التفصيل على المقياس رخيص

المغزى: اختيار قاعدة بيانات أو runtime يعتمد غالبًا على أرقام مقاييس منشورة، والمقياس الذي تُعرف استعلاماته مسبقًا صار أضعف تحديدًا حيث يُستشهد به أكثر.

ذكاء اصطناعي

ورقة في NeurIPS 2026: أعطال أدوات MCP تخفض إتمام مهام الـ agents 60%، وحجم الموديل لا يغيّر النتيجة

المغزى: الـ agent الذي يبدو ممتازًا في العرض قد يتعثر في الإنتاج لأن الأدوات الحقيقية تتعطل، والحماية من ذلك تأتي من معالجة الأخطاء في الـ framework لا من موديل أكبر.

ذكاء اصطناعي

موديل Nanbeige4.3-33B الصيني المفتوح يسجّل 23.8 على Terminal-Bench 4.0 مقابل 6.3 لـ Qwen3.8-27B

المغزى: موديل بحجم 33B يمكن تشغيله على خوادم الفريق نفسه صار ينافس في مهام الـ agents متعددة الخطوات، دون بطاقة أجنبية أو API يمكن أن يُغلق، لكن الأرقام كلها من قياس الشركة نفسها.

ذكاء اصطناعي

شبكة عمرها قرابة 10 سنوات تتفوق على GPT-6 Astra وFable 5.1 في تشخيص 200 حالة جلدية

المغزى: النموذج العام كان أكثر حذرًا والمتخصص أدق، ولكل منهما خطأ في اتجاه مختلف، والمقارنة بين نموذج صغير متخصص ونموذج كبير عام نادرًا ما تُجرى قبل الاختيار.

ذكاء اصطناعي

تجربة GVS5H: خمس نسخ من نموذج مفتوح بحجم 27B ترفع دقته في البرمجة من 66.8% إلى 92.4%

المغزى: جزء من الدقة التي تُشترى اليوم بنموذج أكبر وأغلى يمكن الحصول عليه بتنظيم النموذج المتاح، لكن المكسب ليس مضمونًا، فبعض النماذج لم يتحسن وبعضها تراجع.

ذكاء اصطناعي

ورقة PAUSE: إيقاف وكيل البرمجة قبل أول تعديل في الكود وإعطاؤه خطة يحسّن نتائجه على SWE-bench

المغزى: اللحظة التي يبدأ فيها الـ agent تعديل الكود هي أفضل نقطة للتدخل، واستكمال المهمة من منتصفها أرخص من إلغائها والبدء من جديد بتعليمات أطول.

ذكاء اصطناعي

Moonshot تطلق Kimi K3.1 Pro مفتوح الأوزان قريبًا من Claude Opus 5.5، وتحدّ قدرته الهجومية عمدًا

المغزى: نموذج يمكن تشغيله على سيرفر خاص صار ينافس النماذج المغلقة في مهام الطرفية، ومختبر صيني يعلن بنفسه أنه أبقى قدرة الاختراق أقل مما يستطيع، وينشر الرقم.

برمجيات

ClickHouse تحذف محرّك pgrust من ClickBench بعد قياس هبط من 10.8 ثانية إلى 11 ميلي ثانية، وصاحبه يرد

المغزى: الرقم الذي يتحسّن ألف مرة في التشغيلة الثانية يقيس الكاش لا سرعة قاعدة البيانات، وسؤالان يفرزان أي benchmark: هل قيس باردًا، وهل يبقى كما هو إذا تغيّرت قيمة داخل الاستعلام.

ذكاء اصطناعي

دراسة على ARC-AGI-3: نماذج بنت الـ harness الخاص بها وعدّلته مرتين، والتحسن على الألعاب المحجوبة غير مؤكد

المغزى: التحسّن الذي يظهر حين يعدّل الـ agent كوده أو تعليماته ويُقاس على الحالات نفسها التي جرّب عليها قد يكون وهمًا، والفيصل هو القياس على حالات لم يرها.

ذكاء اصطناعي

Recursive تنشر Flint، نموذج برمجة مفتوح برخصة Apache 2.0 يعمل على حاسوب محمول

المغزى: النموذج يعمل على جهاز المطوّر دون رسوم API ودون أن يغادر الكود الجهاز، وتعترف الشركة بأن طريقة حساب درجاتها أصعب من غيرها، فمقارنة رقمها بأرقام الآخرين ليست مقارنة متكافئة.

ذكاء اصطناعي

OpenAI: نجاح GPT-6.1 Sol في تحويل برامج COBOL بسلوكها نفسه يقفز من 5.4% إلى 86.6%

المغزى: الفارق بين 5% و86% يفتح أمام فرق صغيرة سوقًا كانت حكرًا على قلة من خبراء الأنظمة القديمة، لكن الإعلان نفسه يشترط مراجعة بشرية قبل أي نقل إلى الإنتاج.

OpenAIلغات البرمجةترحيل البيانات
ذكاء اصطناعي

مقياس SlopCodeBench: الـ agents تنجح في المطلوب الجديد حتى 74% وتحافظ على القديم حتى 16.3% فقط

المغزى: الفجوة بين نجاح المتطلب الجديد ونجاح اختبارات الانحدار هي عمل يقع على المطور، ودفع ثمن تفكير أعلى لا يضمن تضييقها.

ذكاء اصطناعي

بنشمارك PACE: وكلاء البرمجة يحققون حتى 78.1 على المكونات، وأعلى نسبة تسليم كامل 14%

المغزى: الـ agent يكتب القطع جيدًا ويتعثر في ربطها، فالعمل الذي يوفّره في الكتابة ينتقل إلى الربط والمراجعة، ومن يقيس النجاح بإغلاق المهام يقيس الشيء الخطأ.

ذكاء اصطناعي

Inception Labs تطلق Mercury 3: نموذج diffusion أكبر 40 مرة يولّد 1,068 توكن في الثانية

المغزى: تكبير نموذج الـ diffusion أكثر من 40 مرة دون أن يفقد سرعته يعني أن السرعة لم تعد ثمنًا يُدفع من الذكاء، وأثرها الأكبر في الـ agents التي تنتظر النموذج في كل خطوة.

ذكاء اصطناعي

لغة KillSwitch صُممت لتُربك النماذج اللغوية، وأعلى درجة فيها 66.8 لـ Claude Opus 5

المغزى: الفرق بين نموذج يفهم الكود ونموذج رأى كودًا شبيهًا ملايين المرات لا يظهر في المهام المشهورة، ويظهر حين يواجه شيئًا لم يُكتب مثله من قبل، وحواجز الأمان نفسها قد تصبح تكلفة في القدرة.

ذكاء اصطناعي

اختبار StarSkirmish: النماذج تكتب bot للعبة StarCraft في ساعة، وأفضلها يفوز 7% فقط أمام أقوى الـ bots البشرية

المغزى: الترتيب وحده مضلل عند اختيار نموذج لعمل agent طويل، فالفارق بين الأول والثاني هنا فارق في التكلفة أكثر منه في النتيجة، وأقوى مؤشر على الأداء هو الخصم الذي يتدرب النموذج ضده.

برمجيات

أداة llmspeed المجانية تعرض سرعة توليد النماذج المحلية على نحو 30 خيار عتاد قبل الشراء

المغزى: رقم مثل 18 token في الثانية لا يعني شيئًا حتى يُرى النص يُكتب بهذه السرعة. وفي أسواق يعني فيها شراء العتاد من الخارج جمارك وشحنًا بلا إرجاع، تصبح التجربة قبل الشراء أثمن.

ذكاء اصطناعي

Reflection تنشر أوزان Beam على Hugging Face برخصة Apache 2.0، وجدولها يضعه خلف النماذج الصينية

المغزى: وصف "أقوى نموذج مفتوح بُني خارج الصين" صحيح، لكنه يخفي أن جدول الشركة نفسه يضع النماذج الصينية في المقدمة. ومن يختار نموذجًا مفتوحًا للبرمجة يجد أن المنافسين الحقيقيين غائبون عن الجدول الذي يفوز فيه.

ذكاء اصطناعي

DeepSeek تنشر تحديثًا لـ V4.1-Flash يرفع نتيجته في مهام الترمينال 11 نقطة، ونداءات أدوات البرمجة مجانية حتى 1 نوفمبر

المغزى: تحديث يوصف بأنه صغير غيّر الموديل الذي يخدم الكود القديم دون أي تعديل فيه، والمطوّر الذي يبني على النداءات المجانية داخل أدوات البرمجة يملك أسبوعين لمعرفة فاتورته الحقيقية.

ذكاء اصطناعي

Paper Instruments تطلق Ultramarine 1 Flash المبني على GLM-5.3 Flash لأعمال المكاتب وتقول إن المهمة تكلّف 0.13 دولار

المغزى: شركة صغيرة لم تدرّب موديلًا من الصفر، بل أخذت موديلًا مفتوحًا وضبطته على مجال واحد، فصار التنافس على فهم المجال وبياناته لا على كلفة التدريب.

ذكاء اصطناعي

دراسة من Mercor: 90% من ساعات العمل في أمريكا لا يقيسها أي benchmark للذكاء الاصطناعي

المغزى: أغلب ما يُقال عن تفوق الـ AI على البشر مصدره الشريحة الضيقة التي يسهل قياسها، وهي شريحة البرمجة والرياضيات تحديدًا، لا الاقتصاد كله.

ذكاء اصطناعي

نموذج Gemini 4 Argon يعمل 11 ساعة على 205,000 سطر Python ويقترح 6 تحسينات رُفض منها 4

المغزى: التعليمات المكتوبة داخل المستودع هي ما يحدد ما ينتجه الـ agent، والقياس المستقل المحجوز هو ما يحدد ما يستحق الدمج، والـ agent لا يميز بين الأمرين وحده.