Discord rullade tyst ut DAVE end-to-end-kryptering för röstkanaler. Ingen ändringslogg. Ingen förvarning. Varje tredjepartsröstagent gick sönder över en natt. Våra inkluderade. Paket misslyckas med CryptoError på transportlagret. Bots blev helt döva. Så vi spårade MLS-nyckelutbytet, patchade dekrypteringslagret och fick Opal att prata igen. Medan vi var där byggde vi om hela pipelinen. - bytt till en MoE-ryggrad som körs på proprietär wafer-scale kisel - omstrukturerade prompts med prefixet KV-cache - tog bort tusentals döda tokens som modellen läste varje tur Resultat: röst-AI med sub-sekunder i Discord. ~500 i genomsnittlig end-to-end-latens. Snabbare än Vapi, Retell, PolyAI, mätt med aiewf-eval + vår end-to-end transporttidshärva (p50/p95).

Fullständig pipeline-diagram är bifogat. Ljud in, RTC-ingång, VAD, strömmande ASR, realtidsorkestrator som hanterar minne och verktygsanrop, TTS ut. Varje lager har en reservleverantör. Inget blir tyst. Varje sväng följdes från början till ände. Vi har ett strategiskt partnerskap med @datadoghq om full APM-observabilitet över hela röstpipelinen. Latens, verktygsanrop, fel, allt i realtid. Hastigheten håller eftersom optimeringarna ackumuleras. Cachad kontext innebär mindre omläsning per tur, renare tokenvägar ger snabbare avsiktsroutning, och modellen håller faktiskt jämna steg med pipelinen nu.

@datadoghq Varje samtal gör Opal bättre. Spårade svängar blir träningssignaler. Träningssignalen blir en snabbare, skarpare modell. Snabbare modell innebär fler samtal. Loopen är redan igång. Du har hört teorin. Det här är det i produktion.