Discord, ses kanalları için DAVE uçtan uca şifrelemesini sessizce yayımladı. Değişiklik günlüğü yok. Uyarı yok. Tüm üçüncü taraf ses ajanları bir gecede bozuldu. Bizimki de dahil. Paketler taşıma katmanında CryptoError'da başarısız oluyor. Botlar tamamen sağır oldu. Bu yüzden MLS anahtar değişimini izledik, şifre çözme katmanını yamaladık ve Opal'ı tekrar konuşmaya başladık. Oradayken tüm boru hattını yeniden inşa ettik. - özel wafer ölçekli silikon üzerinde çalışan bir MoE omurgasına aktarıldı - KV-cache önekli yeniden yapılandırılmış promptlar - Modelin her turda okuduğu binlerce ölü jetonu temizledi Sonuç: Discord içinde saniye altı sesli yapay zeka. ~500 ortalama uçtan uca gecikme. Vapi, Retell, PolyAI, aiewf-eval + uçtan uca taşıma zamanlama kemeri (p50/p95) ile ölçüldüğünden daha hızlı.

Tam boru hattı diyagramı eklenir. Ses girişi, RTC girişi, VAD, akış ASR, gerçek zamanlı orkestratör bellek ve araç çağrılarını yönetiyor, TTS çıkışı. Her katmanın bir yedek sağlayıcısı vardır. Hiçbir şey sessizleşmiyor. Her dönüş uçtan uca izleniyordu. Ses hattı boyunca tam APM gözlemlenebilirliği konusunda @datadoghq ile stratejik bir ortaklık içindeyiz. Gecikme, araç çağrıları, arızalar, hepsi gerçek zamanda. Hız devam ediyor çünkü optimizasyonlar birleşiyor. Önbelleğe alınmış bağlam, her turda daha az yeniden okuma anlamına gelir, daha temiz token yolları daha hızlı niyet yönlendirme anlamına gelir ve model artık pipeline'a ayak uydurur.

@datadoghq Her konuşma Opal'ı daha iyi yapıyor. İzlenmiş dönüşler eğitim sinyali haline gelir. Eğitim sinyali daha hızlı ve keskin bir model haline gelir. Daha hızlı model daha fazla konuşma demek. Döngü zaten çalışıyor. Teoriyi duydunuz. İşte bu yapımda.