Discord otti hiljaisesti käyttöön DAVE-päästä päähän -salauksen äänikanaville. Ei muutospäiväkirjaa. Ei varoitusta. Jokainen kolmannen osapuolen ääniagentti hajosi yhdessä yössä. Meidänkin. Paketit, jotka epäonnistuvat CryptoErrorissa kuljetuskerroksessa. Botit menivät täysin kuuroiksi. Jäljitimme MLS-avainvaihdon, korjasimme salauksen purkukerroksen ja saimme Opalin taas puhumaan. Kun olimme siellä, rakensimme koko putkiston uudelleen. - vaihdettu MoE-runkoverkkoon, joka toimii patentoidulla wafer-mittakaavan piillä - uudelleenjäsennellyt kehotteet etuliitteellä KV-cache - riisui tuhansia kuolleita merkkejä, joita malli luki joka vuoro Tulos: alle sekunnin äänitekoäly Discordissa. ~500 keskimääräistä päästä päähän -viivettä. Nopeampi kuin Vapi, Retell, PolyAI, mitattuna aiewf-eval:lla + meidän päästä päähän -kuljetusajastusvaljastamme (p50/p95).

Koko putkikaavio on liitteenä. Ääni sisääntulo, RTC-sisääntulo, VAD, suoratoisto ASR, reaaliaikainen orkestroitori, joka käsittelee muistia ja työkalukutsuja, TTS-ulostulo. Jokaisella kerroksella on varapalvelu. Mikään ei hiljene. Jokainen käännös kulki päästä päähän. Olemme strategisessa kumppanuudessa @datadoghq:n kanssa täyden APM:n havaittavuuden osalta koko puheputkessa. Viive, työkalukutsut, viat, kaikki reaaliajassa. Nopeus pysyy, koska optimoinnit kasaantuvat. Välimuistitettu konteksti tarkoittaa vähemmän uudelleenlukemista per vuoro, puhtaammat token-polut nopeampaa intent-reititystä, ja malli pysyy nyt putken tahdissa.

@datadoghq Jokainen keskustelu tekee Opalista paremman. Seuratut käännökset muuttuvat harjoitussignaaliksi. Harjoitussignaalista tulee nopeampi ja terävämpi malli. Nopeampi malli tarkoittaa enemmän keskusteluja. Silmukka on jo käynnissä. Olet kuullut teorian. Tässä se on tuotannossa.