Discord diam-diam meluncurkan enkripsi end-to-end DAVE untuk saluran suara. Tidak ada changelog. Tidak ada peringatan. Setiap agen suara pihak ketiga mogok dalam semalam. Termasuk milik kami. Paket gagal CryptoError di lapisan transportasi. Bot benar-benar tuli. Jadi kami melacak pertukaran kunci MLS, menambal lapisan dekripsi, dan membuat Opal berbicara lagi. Saat kami berada di sana, kami membangun kembali seluruh pipa. - ditukar ke tulang punggung MoE yang berjalan pada silikon skala wafer eksklusif - prompt yang direstrukturisasi dengan awalan KV-cache - melucuti ribuan token mati yang dibaca model di setiap belokan Hasil: AI suara sub-detik di dalam Discord. ~500 latensi end-to-end rata-rata. Lebih cepat dari Vapi, Retell, PolyAI, diukur dengan aiewf-eval + harness waktu transportasi end-to-end kami (p50/p95).
Diagram pipa lengkap terlampir. Audio masuk, masuknya RTC, VAD, streaming ASR, orkestrator realtime menangani memori dan panggilan alat, TTS keluar. Setiap lapisan memiliki penyedia penggantian. Tidak ada yang sunyi. Setiap giliran dilacak dari ujung ke ujung. Kami menjalin kemitraan strategis dengan @datadoghq tentang observabilitas APM penuh di seluruh saluran suara. Latensi, panggilan alat, kegagalan, semuanya secara real time. Kecepatan bertahan karena pengoptimalan bersenyawa. Konteks cache berarti lebih sedikit pembacaan ulang per putaran, jalur token yang lebih bersih berarti perutean niat yang lebih cepat, dan model ini benar-benar mengimbangi alur sekarang.
@datadoghq Setiap percakapan membuat Opal lebih baik. Tikungan yang dilacak menjadi sinyal pelatihan. Sinyal pelatihan menjadi model yang lebih cepat dan lebih tajam. Model yang lebih cepat berarti lebih banyak percakapan. Loop sudah berjalan. Anda pernah mendengar teorinya. Ini dia dalam produksi.
282