Cloudflare تتيح منع تدريب الذكاء الاصطناعي على المحتوى مع البقاء في نتائج البحث
الزاحف نفسه كان يجمع للبحث وللتدريب معًا، فكان منع أحدهما يعني خسارة الآخر، والآن صار الخيار منفصلًا ومتاحًا في الخطة المجانية.
نشرت Cloudflare في 15 سبتمبر 2026 إعلانًا كتبه Bryan Becker بعنوان Have it both ways، يقدّم إعدادًا جديدًا اسمه Disallow AI Training. ويشير الإعلان إلى أن أقل من 1% من المواقع على Cloudflare تمنع زواحف محركات البحث، بينما تفعّل 17% منها آلية لمنع التدريب.
مشكلة الزاحف المزدوج
الفجوة بين الرقمين تعكس المشكلة نفسها. فهناك ما يسمى mixed-use crawler، أي زاحف واحد يجمع المحتوى لغرضين. فـ Googlebot يجمع للبحث وللتدريب، وكذلك Applebot وBingbot. وكان منع هذا الزاحف يعني منع الغرضين معًا.
وبذلك كان صاحب الموقع أمام خيارين: أن يبقى ظاهرًا في البحث ويُستخدم محتواه في التدريب، أو أن يمنع التدريب ويختفي من نتائج البحث.
الإعداد الجديد يحمل اسمه من سطر Disallow الذي يضيفه إلى ملف robots.txt الخاص بالموقع. لكن الإعلان يقرّ بأن هذا الملف وحده لا يحل المشكلة، لأنه لا يستطيع معرفة من يزحف، ولا لماذا يزحف، ولا إيقاف زاحف يتجاهله. أما الشبكة فترى الطلب قبل أن يصل إلى الموقع. وقد صنّفت Cloudflare الزواحف المشتركة الثلاثة Applebot وBingbot وGooglebot بأنها Accountable. والإعداد متاح لجميع العملاء، على جميع الخطط.
في اليوم نفسه تغيّر سلوك إعداد Block، إذ صار يشمل هذه الزواحف المشتركة، فأصبح كل من الإعدادين يؤثر في البحث كما يؤثر في التدريب. ومن فعّل Block سابقًا ظنًّا أنه يمنع التدريب وحده، قد يجد موقعه ممنوعًا الآن من البحث أيضًا.
وبالنسبة لأصحاب المواقع والتوثيق التقني باللغة العربية، يتحول سؤال استخدام محتواهم في تدريب النماذج من أمر مفروض إلى قرار صريح يتخذونه بأنفسهم.