Chris Wellons ينشر Prospero، أداة coding agent مكتوبة بـ C++ بلا مزوّد نماذج مضبوط مسبقًا
المغزى: الأداة التي تدير الـ agent يمكن أن تكون ملفًا تنفيذيًا صغيرًا يملكه المطور، والنموذج قرار منفصل يختاره بنفسه، محليًا أو عبر API.
مشروع PS5LM يشغّل موديلًا بـ 9 مليارات معامل على PlayStation 5 بسرعة 55 توكن في الثانية
المغزى: جهاز ألعاب متوقف في المنزل قد يحمل قدرة حوسبة تكفي لتشغيل موديل لغوي يخدم كل أجهزة البيت، ما يطرح سؤال الاستقلال التقني على مستوى أصغر: ما الذي يمكن تشغيله على ما نملكه أصلًا.
أداة Janas تشغّل نموذجًا بحجم 48 جيجابايت على حاسوب محمول بذاكرة 32 جيجابايت بقراءة الـ experts من الـ SSD
المغزى: تشغيل نماذج MoE الكبيرة محليًا لم يعد مرهونًا بحجم الذاكرة وحده، بل بسرعة قراءة القرص، وهي ترقية ثمنها SSD لا بطاقة رسوميات.
نسخة 2-bit من Qwen3.8-27B بحجم 7.89 GB تتفوق على النسخة الكاملة في نداء الأدوات وتتراجع في الرياضيات
المغزى: التوجيه ونداء الأدوات وحلقات الـ agent، وهي مهام تُدفع اليوم بأسعار النماذج الكبيرة، صارت تعمل على جهاز محلي، بينما يبقى الاستدلال الطويل على الـ API.
كشف 10 ثغرات في llama.cpp خلال DEF CON 34، بينها ثغرتان حرجتان في llama-server
تشغيل النماذج محليًا خيار صحيح للاستقلال، لكنه لا يعني الأمان تلقائيًا، فالخادم المحلي المكشوف على الإنترنت برنامج C++ يحتاج إلى التحديث والحماية مثل أي خادم آخر.