ورقة في Nature تحوّل نماذج جاهزة إلى قراءة البايت مباشرة بلا tokenizer بأقل من 1% من تكلفة تدريبها
المغزى: الطبقة التي تجعل النص العربي يُقطَّع إلى أجزاء أكثر ويكلّف أكثر لم تعد قدرًا ثابتًا في النموذج، وصار ممكنًا إزالتها من نماذج موجودة بأوزان مفتوحة.
نشرت دورية Nature في 7 أكتوبر 2026 ورقة تقول إن الـ tokenizer، وهو الطبقة التي تقطّع النص إلى أجزاء قبل أن يراه النموذج، يمكن إزالته من نموذج موجود بأقل من 1% من ميزانية التدريب المعتادة.
وتسمّي الورقة عيب هذه الطبقة صراحة: الـ subword tokenization يعتمد على قاموس محدود العدد، وهذا يقود عمليًا إلى English-centricity. فالقاموس يُبنى من نصوص أغلبها إنجليزية، وما قلّ وجوده فيها يُقطَّع إلى أجزاء أكثر. وكل جزء زائد يعني تكلفة أعلى على النص نفسه، ومساحة أقل في نافذة السياق.
وما فعله الباحثون أنهم حوّلوا نماذج جاهزة لتقرأ البايت مباشرة دون قاموس. فخرج Bolmo 7B من Olmo 3 7B، وBwen 8B من Qwen3 8B Base، وBlama 8B من Llama 3 8B. وجرى التحويل على مرحلتين، الأولى بـ 9.8 مليار token والثانية بـ 39.3 مليارًا، أي 49.1 مليارًا في المجموع. وتذكر الورقة تحسنًا بنسبة 16.5% في مهام STEM مقارنة بنموذج BLT 7B.
والنتيجة الأقل توقعًا حدّ لم يكن معروفًا. فكلما كبر القاموس لتسريع النموذج، زادت تكلفة حساب الـ softmax فوقه. وفي النموذج الذي قاسوه، وهو OLMo 2 1B، يصير النموذج ذو القاموس أقل كفاءة عند حجم بين 200 ألف و400 ألف token. أما النموذج الذي يقرأ البايت فليس لديه قاموس ولا سقف من هذا النوع.
ونُشرت الأوزان والكود وبيانات التدريب تحت رخصة Apache 2.0، ومنها Bolmo 7B وBolmo 1B على Hugging Face.
ولم تقس الورقة العربية. فمقياسها متعدد اللغات هو EXECUTE، وتقول صراحة إنها لم تستعمل بيانات تدريب متعددة اللغات. لكن العيب الذي تعالجه هو نفسه الذي يجعل الجملة العربية تستهلك tokens أكثر من ترجمتها الإنجليزية، وهو ما يمكن لفرق معالجة اللغة العربية أن تختبره الآن على أوزان مفتوحة.