Discord heeft stilletjes DAVE end-to-end encryptie uitgerold voor spraakkanalen. Geen changelog. Geen waarschuwing. Elke derde partij spraakagent viel van de ene op de andere dag uit. De onze inbegrepen. Pakketten faalden CryptoError op de transportlaag. Bots werden volledig doof. Dus traceerden we de MLS-sleuteluitwisseling, repareerden de decryptielaag en kregen Opal weer aan het praten. Terwijl we daar waren, hebben we de hele pijplijn opnieuw opgebouwd. - overgestapt op een MoE backbone die draait op propriëtaire wafer-scale silicium - prompts opnieuw gestructureerd met prefix KV-cache - duizenden dode tokens verwijderd die het model elke beurt las Resultaat: sub-seconde spraak AI binnen Discord. ~500 gemiddelde end-to-end latentie. Sneller dan Vapi, Retell, PolyAI, gemeten met aiewf-eval + onze end-to-end transport timing harness (p50/p95).

Het volledige pijplijndiagram is bijgevoegd. Audio in, RTC-ingang, VAD, streaming ASR, realtime orchestrator die geheugen en toolaanroepen beheert, TTS uit. Elke laag heeft een fallback-provider. Niets gaat stil. Elke beurt wordt end-to-end getraceerd. We zijn in een strategisch partnerschap met @datadoghq voor volledige APM-observability over de stem-pijplijn. Latentie, toolaanroepen, fouten, allemaal in realtime. De snelheid blijft behouden omdat de optimalisaties zich opstapelen. Gecachte context betekent minder herlezen per beurt, schonere tokenpaden betekenen snellere intent-routing, en het model houdt nu daadwerkelijk gelijke tred met de pijplijn.

@datadoghq Elk gesprek maakt Opal beter. Gevolgde omzetten worden trainingssignalen. Trainingssignalen worden een sneller, scherper model. Een sneller model betekent meer gesprekken. De cyclus draait al. Je hebt de theorie gehoord. Dit is het in productie.