Project Zero تقارن Fuzzilli بنظام BigSleep القائم على LLM في البحث عن ثغرات V8

نشر Samuel Groß على مدونة Project Zero التابعة لـ Google، في 27 أكتوبر 2026، مقارنة بين أداتين تعملان فعليًا في الإنتاج على الهدف نفسه: محرك V8، محرك JavaScript في Chrome، وهو من أكثر الأكواد التي خضعت للـ fuzzing في العالم. والـ fuzzing أسلوب اختبار يولّد كميات ضخمة من المدخلات الغريبة ويضرب بها البرنامج حتى يتعطل، ثم يتتبع ما أسقطه.

الأداة الأولى Fuzzilli، تولّد كود JavaScript بطريقة موجّهة وتجرّبه. والثانية BigSleep، نظام قائم على LLM يقرأ الكود الجديد ويفكر فيه ويكتب حالة اختبار. وكلتاهما تبلّغ عن نتائجها عبر Clusterfuzz. وخلال آخر 6 أشهر وجد BigSleep 45 ثغرة، ووجد Fuzzilli 37.

لكن الرقم الأهم هو التقاطع. ففي بيانات الإنتاج وجد الاثنان معًا 25% فقط من الثغرات، وفي تجربة مخصصة على ثغرات منشورة منذ 2023 بلغ التقاطع نحو 60%. أي أن شريحة كبيرة من الثغرات، في الحالتين، لم يكن يصل إليها إلا واحد منهما.

وتشرح المقالة السبب. يتفوق النموذج في الثغرات التي تحتاج إلى تفكير متدرج، أو إلى قيمة محددة بعينها، أو إلى خصائص جديدة في اللغة لم يدعمها الـ fuzzer بعد، مثل await using. ويتفوق الـ fuzzer في الثغرات التي لا تظهر من قراءة الكود، كتلك التي ينتجها الـ compiler أثناء تحسين الأداء، كما أنه لا يتأثر بصياغة الـ prompt ولا بنقطة البداية ولا بما رآه النموذج في التدريب. وتذكر المقالة أن BigSleep فوّت ثغرات عميقة لأنه وجد ثغرات أسهل وانشغل بها.

وتنصف المقالة الطرفين: فهي تقول إن النموذج المستخدم صار قديمًا وتفوقت عليه أجيال أحدث، فالأرقام حد أدنى لا سقف. وتوصيتها للشركات تشغيل الاثنين معًا. ويبقى أن النتيجة على هدف واحد استثنائي، وتترك المقالة توسيعها إلى أهداف أخرى لعمل لاحق.