طرحت ديسكورد بهدوء تشفير DAVE من الطرف إلى الطرف لقنوات الصوت. لا يوجد سجل تغييرات. بدون تحذير. كل وكيل صوت طرف ثالث انهار بين ليلة وضحاها. بما في ذلك لدينا. الحزم تفشل في CryptoError في طبقة النقل. أصبحت الروبوتات صماء تماما. لذا تتبعنا تبادل مفاتيح MLS، وصححنا طبقة فك التشفير، وجعلنا أوبال يتحدث مرة أخرى. وأثناء وجودنا هناك، أعدنا بناء خط الأنابيب بالكامل. - تم التبديل إلى عمود فقري من وزارة الطاقة يعمل على سيليكون بمقياس الرقاقة الخاص - المطلبات المعاد هيكلتها مع بادئة KV-cache - أزيل آلاف الرموز الميتة التي كان النموذج يقرأها في كل دور النتيجة: ذكاء اصطناعي صوتي دون ثانية داخل ديسكورد. ~500 متوسط زمن تأخير من طرف إلى طرف. أسرع من Vapi، Retell، PolyAI، تم قياسها باستخدام aiewf-evaal + حزمة توقيت النقل من الطرف إلى الطرف (p50/p95).

مرفق مخطط خط أنابيب كامل. إدخال صوت، دخول RTC، VAD، بث ASR، منسق في الوقت الحقيقي يتعامل مع الذاكرة واستدعاءات الأدوات، مخرج TTS. كل طبقة لها مزود احتياطي. لا شيء يصمت. كل منعطف كان يتتبع من طرف إلى آخر. نحن في شراكة استراتيجية مع @datadoghq حول الملاحظة الكاملة لمراقبة APM عبر خط أنابيب الصوت. التأخير، استدعاءات الأدوات، الأعطال، كل ذلك في الوقت الحقيقي. السرعة تظل ثابتة لأن التحسينات تتراكم. السياق المخزن مؤقتا يعني تقليل إعادة القراءة في كل دور، ومسارات الرموز الأنظف تعني توجيه النية الأسرع، والنموذج يواكب خط الأنابيب الآن.

@datadoghq كل محادثة تجعل أوبال أفضل. المنعطفات المتتبعة تصبح إشارة تدريب. إشارة التدريب تصبح نموذجا أسرع وأكثر حدة. النموذج الأسرع يعني المزيد من المحادثات. الحلقة بدأت بالفعل في التشغيل. لقد سمعت النظرية. هذا هو الإنتاج.