ذكاء اصطناعيقراءة دقيقتين

أداة Sunk Cost تحسب متى يسترد جهاز تشغيل النماذج محليًا ثمنه مقارنة بالـ API

المغزى

الجهاز يُشترى بالدولار والكهرباء تُدفع بالعملة المحلية والـ API يحتاج بطاقة دولية، فنقطة التعادل على الجهاز نفسه تختلف من بلد إلى آخر.

تجيب أداة مجانية على الويب اسمها Sunk Cost عن سؤال يتكرر بين المطورين والفرق: إذا اشتُري جهاز لتشغيل نموذج لغة محليًا بدل الدفع لـ API، فبعد كم من الوقت يسترد ثمنه؟

الأداة لا تعطي رقمًا جاهزًا، بل تجري الحساب أمام المستخدم. يُدخل الجهاز وحجم ذاكرته وسعره، ثم نوع الاستخدام: عدد التوكنات في اليوم، وحجم الـ context المطلوب، ونسبة المدخلات إلى المخرجات. وبعد ذلك يعدّل الافتراضات بنفسه: سعر الكيلوواط ساعة من الكهرباء، وسرعة الـ API بالتوكن في الثانية، وهل ستستمر أسعار الـ API في الانخفاض وبأي سرعة. وهذا الافتراض الأخير قد يغيّر النتيجة كلها.

الجانب اللافت في الأداة أنها تصرّح متى تقدّر. فحين لا يتوفر قياس فعلي لسرعة نموذج معيّن على جهاز معيّن، تحسب السرعة من عرض النطاق الترددي للذاكرة مقسومًا على حجم البيانات التي تُقرأ لكل توكن، وتكتب بجانب الرقم أنه تقديري. والسبب أن توليد كل توكن يتطلب قراءة أوزان النموذج من الذاكرة، فتصبح سرعة الذاكرة هي الحد الأعلى للسرعة.

وتعرض الأداة أيضًا قائمة بالنماذج التي تناسب كل جهاز، مع مقارنة بقدرات Claude وGPT. ولأن النتائج تُحسب في المتصفح وتتغير مع كل مُدخل، فلا يوجد رقم واحد يمثلها.

وهنا تحديدًا يظهر اختلاف الحساب في المنطقة العربية. فالجهاز يُشترى بالدولار، والكهرباء تُدفع بالعملة المحلية وبأسعار تختلف من بلد إلى آخر، والدفع لـ API يتطلب بطاقة دولية لا تتوفر للجميع. ولذلك قد تختلف نقطة التعادل لمستخدم في القاهرة أو الرياض عنها لمستخدم في الولايات المتحدة، حتى على الجهاز نفسه بالضبط، وتصبح القيم الافتراضية في أي حاسبة من هذا النوع نقطة بداية لا نتيجة.

المصادر

  1. أداة Sunk Cost
  2. صفحة How this is calculated وفيها الافتراضات وطريقة الحساب
  3. Ollama لتشغيل النماذج محليًا
  4. LM Studio
  5. مستودع llama.cpp

من عدد الثلاثاء 4 ربيع الآخر - 15 سبتمبر

أخبار ذات صلة

أخبار الثلاثاء 4 ربيع الآخر - 15 سبتمبر