Discord rullet stille ut DAVE ende-til-ende-kryptering for talekanaler. Ingen endringslogg. Ingen advarsel. Hver tredjeparts stemmeagent gikk i stykker over natten. Våre inkludert. Pakker som feiler CryptoError på transportlaget. Robotene ble helt døve. Så vi sporet MLS-nøkkelutvekslingen, fikset dekrypteringslaget, og fikk Opal til å snakke igjen. Mens vi var der, bygde vi opp hele rørledningen på nytt. - byttet til en MoE-ryggrad som kjører på proprietær wafer-skala silisium - omstrukturerte prompts med prefikset KV-cache - fjernet tusenvis av døde brikker modellen leste hver tur Resultat: sub-sekund stemme-AI inne i Discord. ~500 gjennomsnittlig ende-til-ende-latens. Raskere enn Vapi, Retell, PolyAI, målt med aiewf-eval + vårt ende-til-ende transporttidssystem (p50/p95).

Fullstendig rørledningsdiagram er vedlagt. Lyd inn, RTC-inngang, VAD, streaming ASR, sanntidsorkestrator som håndterer minne og verktøykall, TTS ut. Hvert lag har en reserveleverandør. Ingenting blir stille. Hver sving ble tegnet fra ende til ende. Vi er i et strategisk partnerskap med @datadoghq om full APM-observabilitet gjennom hele talerørledningen. Forsinkelse, verktøyanrop, feil, alt i sanntid. Hastigheten holder fordi optimaliseringene bygger seg opp. Cachet kontekst betyr mindre omlesing per runde, renere tokenstier gir raskere intensjonsruting, og modellen holder faktisk tritt med pipelinen nå.

@datadoghq Hver samtale gjør Opal bedre. Sporede svinger blir treningssignal. Treningssignalet blir en raskere, skarpere modell. Raskere modell betyr flere samtaler. Løkken er allerede i gang. Du har hørt teorien. Dette er det i produksjon.