ملاحظة نصية في رد أداة read_file ترفع أداء Nemotron 3 Ultra دون إعادة تدريب
جزء مما يبدو ضعفًا في النموذج هو في الحقيقة أدوات تعيد نتائج ناقصة دون أن تعلن ذلك، وإصلاح الأداة قد يغني عن تبديل النموذج.
نشرت NVIDIA وLangChain في 8 يوليو 2026 تفاصيل تحسين أداء نموذج Nemotron 3 Ultra على مجموعة اختبارات Deep Agents. فقد ارتفعت النتيجة من 94 إلى 96 اختبارًا ناجحًا من أصل 127، وارتفعت اختبارات قراءة الملفات تحديدًا من 0 من 3 إلى 3 من 3، دون أي إعادة تدريب للنموذج.
وعند البحث عن سبب الإخفاق في قراءة الملفات، تبين أن أداة read_file لها حد أقصى لعدد الأسطر التي تعيدها في المرة الواحدة. فإذا كان الملف أطول، تعيد الجزء الأول فقط دون أي إشارة إلى أن الرد مقطوع. وكان النموذج يفترض أن ما وصله هو الملف كاملًا، فيجيب اعتمادًا على نص ناقص.
أي أن النموذج لم يكن يهلوس ولم يكن عاجزًا عن الفهم. كان ببساطة لا يعلم أن الأداة قطعت الرد، لأن أحدًا لم يخبره بذلك.
وجاء الحل على شكل طبقة صغيرة تضيف ملاحظة في نهاية نتيجة الأداة، تخبر النموذج بعدد الأسطر التي أُعيدت، وبأن هذا هو الحد الأقصى للقراءة الواحدة، وبأن الملف قد يكون أطول، وبإمكانية استدعاء الأداة مرة أخرى لقراءة الباقي. ونشرت NVIDIA كود هذه الطبقة مع المقال.
وتقدم النتيجة درسًا لمن يبني agents. فالحكم على نموذج بأنه ضعيف يستند عادة إلى النتيجة النهائية، بينما قد يكون الخلل في حلقة وسيطة: أداة تعيد بيانات ناقصة بصمت، ونموذج يفترض أنها كاملة. وتحسين ما يحيط بالنموذج، أي الأدوات وطريقة عرض نتائجها، قد يكون أرخص وأسرع من الانتقال إلى نموذج أكبر.
المصادر
من عدد الاثنين 6 صفر - 20 يوليو