رأيت تحليلا مثيرا لاستراتيجية بنية الاستدلال لمزود سحابة رئيسي.

تعمل بإعداد معياري – حيث يتم تقسيم مهام الاستدلال إلى مكونات منفصلة بدلا من خوادم ضخمة. خطوة ذكية للتوسع.

طبقة التوجيه واعية بذاكرة KV-cache، أي أنها تعرف بالضبط مكان وجود أزواج المفتاح-قيم المخزنة قبل توجيه الطلبات. يقلل بشكل كبير من العمليات الحسابية المتكررة.

ما لفت انتباهي: البنية التحتية لديهم مصممة خصيصا لخدمة حركة الإنتاج، وليس لتدريب أعباء العمل. وحش مختلف تماما.

نجمهم الشمالي الخاص؟ تأخير ثابت عند الضغط على الحمل الحقيقي. لست مطاردة درجات المعيار الصناعي التي تبدو جميلة على الورق لكنها تنهار تحت الضغط.

وهذا يتماشى مع كيفية تفكير الشبكات اللامركزية في بنية العقد – الموثوقية على مقاييس الزينة.