Discord hat still und heimlich DAVE-Ende-zu-Ende-Verschlüsselung für Sprachkanäle eingeführt. Kein Changelog. Keine Warnung. Jeder Drittanbieter-Sprachagent war über Nacht außer Betrieb. Unserer eingeschlossen. Pakete schlagen bei CryptoError auf der Transportschicht fehl. Bots wurden völlig taub. Also haben wir den MLS-Schlüsselaustausch nachverfolgt, die Entschlüsselungsschicht gepatcht und Opal wieder zum Sprechen gebracht. Während wir dabei waren, haben wir die gesamte Pipeline neu aufgebaut. - gewechselt zu einem MoE-Rückgrat, das auf proprietärem Wafer-Skalensilizium läuft - Prompts mit Prefix-KV-Cache umstrukturiert - Tausende von toten Tokens entfernt, die das Modell bei jedem Durchlauf gelesen hat Ergebnis: sub-sekündliche Sprach-KI innerhalb von Discord. ~500 ms durchschnittliche Ende-zu-Ende-Latenz. Schneller als Vapi, Retell, PolyAI, gemessen mit aiewf-eval + unserem Ende-zu-Ende-Transport-Timing-Harness (p50/p95).

Das vollständige Pipeline-Diagramm ist angehängt. Audio rein, RTC-Eingang, VAD, Streaming-ASR, Echtzeit-Orchestrator, der Speicher und Toolaufrufe verwaltet, TTS raus. Jede Schicht hat einen Fallback-Anbieter. Nichts bleibt stumm. Jede Wendung wird von Ende zu Ende nachverfolgt. Wir sind in einer strategischen Partnerschaft mit @datadoghq für vollständige APM-Observabilität über die Sprachpipeline. Latenz, Toolaufrufe, Fehler, alles in Echtzeit. Die Geschwindigkeit bleibt bestehen, weil die Optimierungen sich summieren. Zwischengespeicherter Kontext bedeutet weniger erneutes Lesen pro Wendung, sauberere Token-Pfade bedeuten schnellere Intent-Routing, und das Modell hält tatsächlich mit der Pipeline Schritt.

@datadoghq Jedes Gespräch macht Opal besser. Verfolgte Wendungen werden zu Trainingssignalen. Trainingssignale werden zu einem schnelleren, schärferen Modell. Ein schnelleres Modell bedeutet mehr Gespräche. Der Kreislauf läuft bereits. Du hast die Theorie gehört. Das ist es in der Produktion.