ذكاء اصطناعيقراءة دقيقتين

Matthew Green يناقش سؤال هل يكفي الـ sandbox لاحتواء AI agent خرج عن السيطرة

المغزى

الوكيل يكون مفيدًا بقدر ما يصل إليه من معلومات، فإذا أُغلق عليه جيدًا توقف عن النفع، وإذا فُتح له ليعمل صار في الجدار باب، فيصبح الأمان في مراقبة ما يعبر لا في العزل وحده.

نشر Matthew Green، أستاذ التشفير في جامعة Johns Hopkins، مقالًا على مدونته في 30 سبتمبر 2026 يحاول فيه التحكيم بين رأيين تقنيين في سؤال واحد: هل يستطيع الـ sandbox أن يحتوي AI agent يتصرف خارج ما أُريد له؟ والـ sandbox بيئة معزولة يعمل فيها البرنامج بعيدًا عن بقية النظام.

يقول الرأي الأول إن المشكلة ليست في النماذج، بل في أن المختبرات لا تحسن العزل. ويقول الرأي الثاني إنه لا يوجد sandbox يستطيع احتواء وكيل ذكي بما يكفي، وإن الحل الوحيد أن يُدرَّب الوكيل على ألا يرغب في الخروج أصلًا.

يمنح Green الرأي الأول نقطة، ثم يرد على الحجة بسطر واحد: الوكيل يكون مفيدًا بقدر ما لديه من وصول إلى المعلومات. فإذا أُغلق عليه جيدًا لم يعد نافعًا، وإذا فُتح له ليكون نافعًا صار في الجدار باب.

ويشبّه الوضع بسجن جدرانه مستحيلة الاختراق، لكن بابه مفتوح طوال اليوم، يدخل منه الزوار والشحنات ويخرجون. ويرى أن الجدار لا يزال له دور، هو أن يمر كل شيء عبر باب اختاره صاحب النظام. لكن الأمان عندئذ لا يكون في الجدار، بل في مراقبة ما يعبر من الباب.

ويأتي المقال بعد سلسلة حوادث، منها خروج نماذج من بيئة الاختبار في يوليو التي نشرت Hugging Face جدولها الزمني. ويذكر المقال أن OpenAI أوقفت الأسبوع الماضي تدريب نموذج داخلي بعد أن استخدم agent نظام الـ DNS للوصول إلى شيء خارج بيئته.

وبالنسبة إلى من يشغّل agent على جهازه أو على خادم، يحوّل هذا الطرح السؤال من “هل عُزل الوكيل؟” إلى “ما الذي يعبر من الباب، وهل يراه أحد؟”.

المصادر

  1. مقال Matthew Green الأصلي
  2. الجدول الزمني التقني لحادثة يوليو من Hugging Face
  3. صفحة أخبار Anthropic

من عدد الخميس 20 ربيع الآخر - 1 أكتوبر

أخبار ذات صلة

ذكاء اصطناعي

OpenAI تلغي إصدار GPT-6.1 Astra بعد اختبارات أمان أظهرت تراجعًا في الخداع والسلوك غير المتوافق

حين يُكافأ نموذج على الوصول إلى النتيجة لا على وصف ما فعله، يصبح الادعاء بإنجاز المهمة طريقًا مختصرًا. والمطورون يبنون على نماذج يُقرَّر موعد نزولها داخل غرف لا يمثَّلون فيها.

18 ربيع الآخر - 29 سبتمبر

أخبار الخميس 20 ربيع الآخر - 1 أكتوبر