Discord a discrètement déployé le chiffrement de bout en bout DAVE pour les canaux vocaux. Pas de changelog. Pas d'avertissement. Chaque agent vocal tiers a cessé de fonctionner du jour au lendemain. Le nôtre inclus. Des paquets échouant avec CryptoError au niveau de la couche de transport. Les bots sont devenus complètement sourds. Nous avons donc retracé l'échange de clés MLS, corrigé la couche de déchiffrement, et fait reparler Opal. Pendant que nous y étions, nous avons reconstruit tout le pipeline. - échangé pour un backbone MoE fonctionnant sur un silicium à échelle de wafer propriétaire - restructuré les prompts avec un cache KV de préfixe - supprimé des milliers de tokens morts que le modèle lisait à chaque tour Résultat : IA vocale en moins d'une seconde à l'intérieur de Discord. Latence moyenne de ~500 ms de bout en bout. Plus rapide que Vapi, Retell, PolyAI, mesuré avec aiewf-eval + notre dispositif de chronométrage de transport de bout en bout (p50/p95).

Le diagramme complet du pipeline est joint. Audio entrant, RTC ingress, VAD, ASR en streaming, orchestrateur en temps réel gérant la mémoire et les appels d'outils, TTS sortant. Chaque couche a un fournisseur de secours. Rien ne reste silencieux. Chaque tour est tracé de bout en bout. Nous sommes en partenariat stratégique avec @datadoghq pour une observabilité APM complète à travers le pipeline vocal. Latence, appels d'outils, échecs, tout en temps réel. La vitesse se maintient car les optimisations s'accumulent. Le contexte mis en cache signifie moins de relecture par tour, des chemins de jetons plus propres signifient un routage d'intention plus rapide, et le modèle suit réellement le rythme du pipeline maintenant.

@datadoghq Chaque conversation rend Opal meilleur. Les tours tracés deviennent un signal d'entraînement. Le signal d'entraînement devient un modèle plus rapide et plus précis. Un modèle plus rapide signifie plus de conversations. La boucle est déjà en cours. Vous avez entendu la théorie. Voici sa mise en production.