نموذج لغوي بحجم 3.8 مليار parameter يُدرَّب من الصفر بتكلفة 998 دولارًا في 43 ساعة
تدريب نموذج صغير من الصفر انتقل من بند رأسمالي يحتاج تمويلًا إلى تجربة بحجم فاتورة أدوات شهرية، وهذا يخفض كلفة التجربة على من يملك بيانات عربية جيدة.
نشر الباحث Hugo Vergnes يوم 4 سبتمبر 2026 تفاصيل تدريب نموذج لغوي بحجم 3.8 مليار parameter من الصفر، بتكلفة إجمالية بلغت 998 دولارًا في 43 ساعة فعلية.
التفاصيل هي ما يجعل الرقم قابلًا للتصديق. جرى التدريب على 8 بطاقات NVIDIA B200 في خادم واحد، لا في عنقود (cluster) من الخوادم، باستخدام DistributedDataParallel. وبلغت بيانات التدريب 65.3 مليار توكن من مجموعة البيانات المفتوحة Nemotron-ClimbMix التي أصدرتها NVIDIA، مع tokenizer نموذج GPT-2 وتسلسلات بطول 2048 توكن.
أما المعمارية فعادية على طراز Llama: RMSNorm وRoPE وGQA بـ 24 query heads و8 KV heads، مع relu² MLPs وQK-norm وlogit softcap. وسجّل النموذج 0.384 على مقياس CORE.
والمهم هنا أن هذا تدريب من الصفر، لا fine-tuning لنموذج قائم ولا quantization ولا تشغيل لنموذج جاهز. الأوزان بدأت عشوائية، وكل ما في النموذج تعلّمه خلال هذه الساعات.
من قرار استثماري إلى تجربة
الأثر لا يقتصر على السعر، بل يمتد إلى طبيعة القرار. فتدريب نموذج صغير كان بندًا رأسماليًا يحتاج تمويلًا وموافقات، وأصبح بنحو ألف دولار بندًا تشغيليًا، أقل من فاتورة أدوات شهرية لفريق صغير.
ولهذا صلة مباشرة بالنماذج العربية الصغيرة، إذ إن نقطة ضعفها الأساسية غالبًا البيانات لا المعمارية. والبيانات العربية موجودة لدى جهات كثيرة في المنطقة، لكن كلفة التجربة كانت عائقًا. وفي المنطقة نماذج مفتوحة قائمة مثل Falcon من TII في الإمارات، وALLaM من SDAIA في السعودية، وFanar من مؤسسة قطر.
لكن المقال تقرير تجربة لا إصدار. فلم تُنشر الأوزان ولا رابط الكود، وبالتالي لا يوجد نموذج جاهز للتحميل أو التشغيل.