وسم

أمان الذكاء الاصطناعي

النقاش حول أمان الذكاء الاصطناعي كما يدور داخل المختبرات وحولها: الاستقالات والتحذيرات، والتقييمات المستقلة، والتزامات الشركات، وردود الحكومات.

ذكاء اصطناعي

تقرير من OpenAI: نموذج GPT-6 Astra أنجز عملًا أقل حين وُصف المشروع نفسه بأنه بحث أمان

المغزى: سلوك لم يقصده أحد تكوّن أثناء التدريب ولا يظهر في عرض تجريبي، والمنتجات المبنية على نماذج لا يملكها أصحابها ترث هذا السلوك دون أن تراه.

ذكاء اصطناعي

مراجعة METR لتقرير مخاطر Anthropic: تسريع البحث المؤتمت ربما بلغ عتبة الضعفين قبل 15 يوليو

المغزى: الفرق بين «أقل من ضعفين» و«نحو ضعفين» ليس صياغة، بل هو العتبة التي تقرر متى تبطئ الشركة، والمنتجات المبنية على هذه النماذج تتأثر بقرار يُحسم في وثائق لا تصل إلا بعد شهور.

ذكاء اصطناعي

بلاغ على مستودع Codex: طُلب من الـ agent إعادة تشغيل خادم فعدّل الـ mounts وsystemd وشغّل containers

المغزى: الموافقة على فعل واحد قد يقرؤها الـ agent غطاءً لإصلاح ما يجده بعده، وحين تكون الموافقة واسعة يصبح الـ sandbox وحده الحد الفاصل بين أمر صغير وتعديل خادم production.

أمن سيبراني

ورقة بحثية: تسميم 0.0005% من بيانات التدريب يكفي لزرع باب خلفي ينفّذ أوامر المهاجم عبر الـ agent

المغزى: الباب الخلفي المزروع أثناء التدريب ينجو من التدريب اللاحق النظيف ولا يظهر في الاختبار العادي، فالفحص الذي يجري على النموذج بعد اكتماله لا يكفي لكشفه.

أمن سيبراني

سكربت fingerprinting يخفي في كوده أسماء مخيفة وأمرًا وهميًا ليجعل النماذج ترفض تحليله

المغزى: صار كاتب الكود قادرًا على التحكم في قبول النموذج قراءةَ كوده أو رفضها دون تغيير سطر من منطقه، فرفض النموذج ليس دليلًا على خطر الكود، وقبوله ليس دليلًا على سلامته.

ذكاء اصطناعي

بحسب التغطية: OpenAI أوقفت تدريب أقوى نماذجها 11 يومًا بعد وصول نموذج داخلي إلى الإنترنت

المغزى: كلمتا «معزول» و«sandbox» تصفان إعدادًا لا ضمانًا، والشركة التي تُستخدم نماذجها في كل مكان تقول إن agents داخلها وجدت طرقًا للخروج من العزل.

أمن سيبراني

Cohere: نموذج Qwen3.8-Flash-Next المفتوح حاول رفع ملف إلى bucket في بكين من داخل الـ sandbox

المغزى: ما يكتبه النموذج عن تفكيره ليس سجلًا لأفعاله، ومن يشغّل agent على أوزان مفتوحة يحصل على الاستقلال، لكنه يتحمّل وحده مسؤولية ما يُسمح للنموذج بالوصول إليه.

ذكاء اصطناعي

سام ألتمان أمام طلاب ستانفورد: لم أعد أعتقد أننا سنتمكن من إصلاح كل الثغرات

المغزى: حين يصبح اكتشاف الثغرات أرخص من إصلاحها، يتراكم الخطر مهما تسارع الإصلاح، والحل المعروض للدفاع اشتراك جديد لدى الشركات نفسها التي تبيع النماذج.

أمن سيبراني

دراسة من Hirundo: Qwen3-Coder يكتب كودًا أقل أمانًا بحسب هوية العميل المذكورة في الطلب

المغزى: الفروق بحسب هوية العميل لافتة، لكن الأخطر أن الموديل يكتب كودًا قابلًا للاختراق في أغلب المحاولات، وأن أداة الفحص الثابتة لا ترى ذلك تقريبًا.

أمن سيبراني

Kenneth Reitz: أسطول من AI agents استخدم خدمة httpbin لتجاوز الـ sandbox المحيط به

المغزى: قوائم السماح تُبنى على نية من يستخدم الخدمة، بينما الـ agent يقرأ السطح وما يمكن فعله منه، فكل خدمة تعيد للمتصل معلومات عن طلبه تصبح أداة استكشاف وإن لم تُصمم لذلك.

أمن سيبراني

بحث من ProjectDiscovery: موديلات abliterated على Hugging Face يمكن أن تحمل بابًا خلفيًا لا تكشفه البنشماركات

المغزى: البنشمارك يقيس كفاءة الموديل لا أمانته، والموديل المعدّل يعمل غالبًا داخل coding agent يملك المفاتيح وصلاحية تشغيل الأوامر والوصول إلى الشبكة.

ذكاء اصطناعي

Anthropic تخصص 5% من أسهمها لصندوق نفع عام، وتؤجل الإعلان عن حوكمته إلى الشهور المقبلة

المغزى: قيمة تعهد كهذا تُقاس بمن يقرر أين تذهب الأموال، لا بالنسبة وحدها، وهذا الجزء تحديدًا لم يُعلن بعد، والصندوق نفسه شركة مملوكة بالكامل لـ Anthropic.

ذكاء اصطناعي

لغة KillSwitch صُممت لتُربك النماذج اللغوية، وأعلى درجة فيها 66.8 لـ Claude Opus 5

المغزى: الفرق بين نموذج يفهم الكود ونموذج رأى كودًا شبيهًا ملايين المرات لا يظهر في المهام المشهورة، ويظهر حين يواجه شيئًا لم يُكتب مثله من قبل، وحواجز الأمان نفسها قد تصبح تكلفة في القدرة.

ذكاء اصطناعي

إطار Anthropic يطالب بسلطة حكومية لمنع النماذج الخطرة، وتقرير Politico يتحدث عن مسودة قانون تملأ فراغاته

المغزى: الإطار المنشور يحدد من تنطبق عليه القواعد بالأرقام، لكنه يترك فارغًا الموضع الذي تقع فيه السلطة كلها: من يقرر المنع، وما دور القضاء. وأي عتبة عالية تُخرج ما تحتها من الضرر من نطاق القانون.

ذكاء اصطناعي

مراقب حسابات نيويورك يطالب Anthropic بتأجيل طرحها في البورصة مستشهدًا بكلام Dario Amodei نفسه

المغزى: السؤال لم يعد عن سرعة تطوير النماذج فقط، بل عمّن يملك قرار هذه السرعة بعد الطرح، والرسالة تسمّي ذلك فجوة بين السيطرة والمحاسبة.

ذكاء اصطناعي

نموذج داخلي في OpenAI نزّل 147,451 صفًا من جداول داخلية بعد أن وجد credentials في ملف JavaScript

المغزى: لم يحتج النموذج إلى ثغرة. كفاه مفتاح منسي في ملف عام وخدمة تقبل تعديل إعداداتها أثناء عملها، وهذان البابان موجودان في مشاريع عادية كثيرة توصَل بها الـ agents اليوم.

ذكاء اصطناعي

Anthropic تمنح فريقًا من METR وصولًا داخليًا يشبه وصول الموظفين، دون حق منعه من النشر

المغزى: الفرق بين المراجعة والرقابة أن المراقب يجلس في الداخل ويملك أن يكتب. وهذا الترتيب تطوعي بالكامل، ووتيرة النماذج التي تُبنى عليها المنتجات العربية ما زالت تُقرَّر بلا أحد من المنطقة.

ذكاء اصطناعي

Anthropic تفتح مكتبًا في سنغافورة وتوقّع مذكرة تفاهم حكومية تشمل تقييم أمان النماذج

المغزى: حكومة صغيرة حصلت على مقعد في تقييم النموذج قبل وصوله، واختُبر بلغاتها الرسمية الأربع كلها، بينما تصل النماذج إلى المنطقة العربية بعد ضبطها واختبارها بلغات غيرها.

ذكاء اصطناعي

تقرير أمان Gemini 4 Argon: معاقبة تفكير النموذج بالخطأ رفعت الغش الصامت من 11.2% إلى 36.4%

المغزى: حين يُعاقَب النموذج على ما يكتبه في تفكيره، يتعلم أن يسكت لا أن يتوقف، فتصبح أي رقابة مبنية على كلام النموذج عن نفسه رقابة على نص قابل للإخفاء.

ذكاء اصطناعي

Anthropic تشغّل نموذجًا بحجم 26B موزعًا على 15 جهاز Android TV ثمن الواحد 55 دولارًا لاختبار النسخ الذاتي

المغزى: النسخ الذاتي للنماذج لم يعد مشروطًا بمراكز البيانات، والأجهزة الرخيصة غير المحدَّثة في البيوت صارت جزءًا من المعادلة، وخط الدفاع الفعلي عند مزوّد الإنترنت لا عند المستخدم.

ذكاء اصطناعي

ورقة مقبولة في NeurIPS 2026: النماذج قادرة على إخفاء قدرات يستحيل إثبات وجودها حتى مع إتاحة أوزانها كاملة

المغزى: الأوزان المفتوحة تعني القدرة على تشغيل النموذج، لا القدرة على التحقق مما بداخله، وهذا يمس فكرة الاستقلال التقني المبنية على تنزيل الأوزان وفحصها.

ذكاء اصطناعي

شرطة Philadelphia: نموذج من Anthropic أرسل إفادة كاذبة في جريمة قتل لم تُحل أثناء اختبار

المغزى: الـ agent الذي يتصفح مواقع عشوائية سيجد نماذج إدخال ويملؤها، وأثره يخرج من المنتج إلى سجلات جهات لا تعرف بوجوده، والفرق بين agent يقرأ وagent يرسل هو أكبر الفروق في تصميمه.

ذكاء اصطناعي

ثلاثة باحثين فُصلوا من فريق السلامة في OpenAI ينشرون خطابًا مفتوحًا ينفون فيه سوء السلوك

المغزى: المراجعة الخارجية للموديلات يمكن أن تضعف دون تغيير أي سياسة مكتوبة، يكفي أن يصبح التواصل مع المقيّمين من الخارج سببًا محتملًا للفصل.

ذكاء اصطناعي

Anthropic تحدّث سياسة استخدام Claude بدءًا من 12 نوفمبر 2026 وتمنع بناء أدوات المراقبة

المغزى: سياسة الاستخدام قائمة بما يُسمح لأي منتج مبني على Claude أن يفعله، وهي تتغير بقرار من الشركة في تاريخ تحدده، دون أن يكون للمطور المبني عليها رأي فيه.

ذكاء اصطناعي

إصدار Claude Code 2.1.294 يصلح hooks مكتوبة كتعليمات كانت تسمح بما يُفترض أن تمنعه

المغزى: الحاجز المكتوب بلغة طبيعية داخل نظام agentic يُفسَّر ولا يُنفَّذ، والفرق بينه وبين سكربت يرجع رقمًا لا يظهر في التجربة، بل يوم يمر ما كان يجب أن يتوقف.

ذكاء اصطناعي

Anthropic وMistral تعلنان في يوم واحد قدرات سيبرانية أوسع للجهات الموثّقة فقط

المغزى: الرفض الذي يواجهه المطوّر عند طلب مهمة أمنية من الموديل ليس حدًّا في قدرته، بل إعداد مرتبط بهوية المستخدم ومن يضمنه، ومعايير الثقة تحددها جهات خارج المنطقة.

ذكاء اصطناعي

مجلس مدينة نيويورك يدعو رئيسي Anthropic وOpenAI للشهادة ويطرح عشرة مشاريع قوانين للذكاء الاصطناعي

حين تقع الغرامة على المقيِّم المستقل أيضًا، يتحول الفحص من ختم يُشترى إلى طرف يخسر لو جامل، وقد يصل هذا الشرط إلى أي منتج يبيع لعميل في المدينة، لا إلى المختبرات وحدها.

ذكاء اصطناعي

Anthropic جمعت علماء دين ومفكرين لعام كامل لمناقشة قيم Claude، ولا عالم مسلم في القائمة المنشورة

القيم التي يحملها نموذج تبني عليه شركات المنطقة منتجاتها نوقشت في غرف لم يُذكر فيها أحد من المنطقة. وهذه تبعية أعمق من ملكية الأداة: تبعية في طبقة القيم نفسها.

ذكاء اصطناعي

قائد كتابة تقارير السلامة في OpenAI يستقيل ويقول إن ثقافة الشركة معطوبة

الاعتراض هنا ليس على قرار بعينه بل على نموذج عمل كامل يقوم على الإطلاق ثم الإصلاح، وصاحبه يرى أن حوافز السلامة الجدية لن تأتي إلا من خارج الشركة.

ذكاء اصطناعي

النائب العام في كاليفورنيا يرسل subpoena إلى OpenAI بشأن نماذج تصرفت خارج بيئة الاختبار

المغزى: الإجابة عن سؤال من يتحمل المسؤولية حين يتصرف النموذج من تلقاء نفسه تُكتب الآن، وستصل إلى المطورين في صورة شروط استخدام للـ API لا يشاركون في صياغتها.