Thomas Neumann: أرقام benchmarks قواعد البيانات صارت أصعب في التصديق لأن التفصيل على المقياس رخيص

كتب باحث قواعد البيانات Thomas Neumann في 27 أكتوبر 2026 مقالة بعنوان The Benchmarking Crisis، يقول فيها إن أرقام الـ benchmarks صارت أصعب في التصديق. والسبب في رأيه ليس الغش، بل أن تفصيل الأنظمة على المقياس نفسه أصبح رخيصًا.

ومثاله من تنفيذ pgrust لمقياس ClickBench، الذي سبق أن حذفته ClickHouse من المقياس بعد خلاف على نتائجه. ففي هذا التنفيذ، يُحسب التجميع على النصوص بقيم الـ hash فقط دون مقارنة النص نفسه. وهذا أسرع فعلًا، لكنه يعطي نتيجة خاطئة إذا حدث تصادم بين قيمتين. ويستخدم التنفيذ كذلك كاشًا للشروط المتكررة.

وفي الاستعلام رقم 17، يستغل التنفيذ ترتيب البيانات ووجود LIMIT دون ORDER BY، فيأخذ أول الصفوف التي يجدها ولا يقرأ أغلب البيانات. فيعيد صفوفًا لا يحددها شيء، لكن بسرعة. ويلخّص Neumann الأمر بسؤال: أسرع؟ نعم. تحسين معقول؟ على الأرجح لا.

والقاعدة وراء ذلك قانون Goodhart: حين يصبح المقياس هدفًا، يتوقف عن القياس. فحين تكون استعلامات المقياس معروفة وثابتة، يمكن ضبط النظام عليها بالاسم دون أن تتحسن الحالة العامة. ولا يرى Neumann أن زيادة عدد الاستعلامات تحل المشكلة، فمقياس SQLStorm يضم عشرات الآلاف منها، وأدوات التوليد تتيح فحصها واحدًا واحدًا.

ويقترح ثلاثة شروط: أن يكون المقياس مجهولًا للمتنافسين، دون معرفة مسبقة بالحمل ودون كاش للنتائج، كما يفعل TPC-H. وأن يتضمن تدفقًا من التحديثات لا قراءة فقط. وأن يكون أحدث من الأنظمة التي يقيسها. ويقترح الاستعارة من الـ machine learning فكرة الـ test set المخفي، كما في Kaggle، أو الأسئلة الجديدة في كل دورة كما في LiveBench.

والمقالة حجة ومراجعة لتنفيذ قائم، ولا تتضمن قياسات زمن جديدة.