سطر Disallow في robots.txt يمنع Google من رؤية طلب الحذف، فتبقى الصفحات في النتائج
المغزى: منع الزحف لا يعني منع الفهرسة، والصفحات التي حُجبت بسطر Disallow وحده قد تبقى ظاهرة في البحث دون أي رسالة خطأ أو تحذير.
روى صاحب مدوّنة في تدوينة نُشرت في 7 أكتوبر 2026 كيف حاول إخراج موقعه من نتائج بحث Google. بدأ بكتابة سطرين في ملف robots.txt، هما User-agent: * ثم Disallow: /. وانتظر أسابيع، لكن الموقع لم يُحذف. ثم أضاف داخل الصفحات وسم meta robots بقيمة noindex، ولم يُحذف أيضًا.
والسبب أن الأداتين تعملان ضد بعضهما. فملف robots.txt لا يطلب من محرك البحث عدم الفهرسة، بل يطلب منه عدم زيارة الصفحات. أما وسم noindex فهو الذي يطلب الحذف من النتائج، لكنه مكتوب داخل الصفحة نفسها. فإذا مُنع الزاحف من الزيارة، لن يقرأ الوسم أبدًا.
وتنص توثيقات Google على ذلك صراحة: لكي يكون noindex فعّالًا، يجب ألا تكون الصفحة محجوبة بملف robots.txt، وأن يستطيع الزاحف الوصول إليها. وإذا كانت محجوبة، فلن يرى الزاحف القاعدة، وقد تظل الصفحة تظهر في نتائج البحث.
لذلك جاء الحل معاكسًا لما يتوقعه كثيرون. سمح صاحب الموقع لـ Googlebot بالدخول، عبر User-agent: Googlebot ثم Allow: /، مع إبقاء المنع على بقية الزوار، كي يقرأ الزاحف الوسم الذي يطلب الحذف. ويقول إن ثلاثة أشهر على الأقل مضت بعد آخر تعديل قبل أن يتأكد الحذف، وهي تجربة شخص واحد وليست مدة أعلنتها Google.
وأخطر ما في هذا الخطأ أنه صامت. لا رسالة خطأ ولا تحذير، فقط صفحات يُظن أنها اختفت وهي ما زالت ظاهرة. وقد يعني ذلك أن صفحات staging أو لوحات admin حُجبت بسطر Disallow وحده ما زالت مفهرسة حتى الآن.