الحساب الذي يقوم به الناس، والحساب الذي ينبغي عليهم القيام به
تتم المقارنة في الغالب بين تكلفة استئجار وحدة معالجة الرسومات (GPU) والتسعير على أساس كل توكن، مما يجعل الاستضافة الذاتية تبدو رخيصة عند أي حجم حقيقي. أما البنود التي يتم تجاهلها فهي تلك التي تهيمن على التكلفة.
- تم استبعاده: الاستخدام
- تدفع مقابل البطاقة سواء كان هناك حركة مرور أم لا. فحمل العمل الذي يتبع نمط ساعات العمل قد يعمل بنسبة استغلال تبلغ 30٪ تقريبًا، مما يضاعف التكلفة الحقيقية للوحدة ثلاث مرات.
- تم استبعاده: التكرار
- بطاقة واحدة لا تُعتبر نشرًا إنتاجيًّا. أما بطاقتان، في منطقتين، فهي الحد الأدنى.
- تم استبعاده: المهندس
- هناك الآن من يتولى مسؤولية الاستدلال: معالجة المهام على دفعات، والذاكرة، والتحديثات، وجدول المناوبة. هذا هو البند الأكبر، ولا يظهر أبدًا في جدول البيانات.
- التهميش: التخلف عن الركب
- تتحسن النماذج المستضافة دون الحاجة إلى أي تدخل منك. ويتحسن نموذجك عندما يقوم شخص ما بعملية الترحيل.
القاعدة العامة التي نتبعها هي: يبدأ الاستضافة الذاتية في منافسة التكلفة عندما يتجاوز عدد المكالمات مليون مكالمة شهريًّا في مهمة محددة، مع معدل استخدام مرتفع. أما إذا كان العدد أقل من ذلك، فإن الأمر يصبح قرارًا يتعلق بالسيادة وليس قرارًا اقتصاديًّا، وينبغي مناقشته على هذا الأساس.
عندما تكون هذه هي الإجابة الحقيقية
- لا يجوز قانونًا نقل البيانات خارج البلاد، ولا توجد أي ترتيبات استضافة ترضي الجهة التنظيمية. هذه هي الحالة الشائعة هنا، وهي إجابة كافية بحد ذاتها.
- حجم العمل محدود، ولكنه كبير ومستقر. يتم إجراء عمليات التصنيف والاستخراج على ملايين المكالمات شهريًّا، في مهمة لم تتغير منذ عام.
- معزولة عن الشبكة الخارجية بحكم المتطلبات. في مجال الدفاع، وبعض الجهات الحكومية، وبعض البنى التحتية الحيوية. لا يوجد بديل، ومسألة التكلفة لا تطرح على الإطلاق.
لاحظ ما لم يرد في تلك القائمة: المهام المساعدة العامة، وأي شيء يتطلب تفكيرًا رائدًا، وأي شيء لا تزال مواصفاته قيد التطوير. فهذه هي أعباء العمل التي يكون فيها الفارق بين الأوزان المفتوحة والحد الأقصى أوسع ما يكون، وحيث ستشعر بذلك كل أسبوع.
ما يلزم لتشغيله بشكل سليم
- اختر مكدس خدمة يعمل بنظام التجميع المستمر. إن معالجة طلب واحد في كل مرة تؤدي إلى إهدار معظم سعة البطاقة، وهذا الاختيار وحده يضاعف معدل الإنتاجية عدة مرات.
- الحجم يعتمد على الذاكرة، وليس على عدد المعلمات: الأوزان، بالإضافة إلى ذاكرة التخزين المؤقتة KV، التي تتناسب مع مستوى التزامن وطول السياق، وهي ما يستنفد الموارد فعليًّا.
- قم بالتكمية بشكل متعمد وقم بقياس تكلفة الدقة على مجموعة التقييم الخاصة بك، وليس على معيار قياس عام. ففي بعض الأحيان تكون هذه العملية مجانية، وفي أحيان أخرى قد تؤدي إلى إزالة القدرة التي كنت تعتمد عليها بالضبط.
- ضع قائمة انتظار في المقدمة. فبدونها، تؤدي الزيادة المفاجئة في الحمل إلى إضعاف أداء كل طلب بدلاً من تأخير بعضها.
- قم بتثبيت إصدار النموذج واعتبر عملية الترقية بمثابة عملية نشر خاضعة لبوابة التقييم، لأن هذا هو ما تمثله بالفعل.
الانقسام الذي يفوز عادةً
بالنسبة لمعظم العملاء الخاضعين للرقابة هنا، فإن الإجابة ليست أيًا منهما. إنها حدود تُرسم وفقًا لمكان الحساسية الفعلي.
تُجرى عمليات الاستخراج والتصنيف على المجموعة النصية الحساسة داخل المنشأة، لأن البيانات موجودة هناك، ولأن هذه المهام محدودة النطاق بدرجة كافية تسمح لـ«Open Weights» بأداءها بشكل جيد. أما أي مهام عامة، أو أي مهام تتطلب تحليلاً متعمقاً، فتُجرى على نموذج «Frontier» مستضاف، بعد أن تكون الحقول الحساسة قد تم استبعادها أو تحويلها إلى رموز. ويُعد هذا الحد الفاصل واجهة موثقة، وهو ما ترغب الجهة التنظيمية في رؤيته.
كما أن ذلك يبقي الخيار مفتوحًا. فعندما يغلق السعر في الجلسة التالية الفجوة، تتراجع أكثر إلى ما وراء الحد؛ أما إذا لم يغلقها، فهذا يعني أنك لم تلتزم بعد.
هل تريد أن ننفّذ هذا معك؟
التدقيق هو هذه المنهجية موجّهة إلى أنظمتك، وفي نهايته خطة بناء مُسعّرة.
تحديد موعد مكالمة