Discordは静かに音声チャンネル向けにDAVEのエンドツーエンド暗号化を展開しました。 変更ログはありません。何の警告もなく。 すべてのサードパーティのボイスエージェントが一晩で壊れました。私たちのことも含めて。 トランスポート層でCryptoErrorに失敗するパケット。ボットは完全に耳が聞こえなくなりました。 そこでMLSの鍵交換を追跡し、復号層をパッチで修正し、オパルが再び通信できるようにしました。 私たちが中にいる間に、パイプライン全体を再建しました。 - 独自のウェハースケールシリコン上で動作するMoEバックボーンに切り替え - KV-cacheというプレフィックス付きの再構成プロンプト - モデルが毎ターン読み取っていた数千の死んだトークンを除去する 結果:Discord内でサブ秒単位の音声AIが登場します。 ~500の平均エンドツーエンドレイテンシ。 Aeyef-eval+エンドツーエンドの輸送タイミングハーネス(p50/p95)で測定したVapi、Retell、PolyAIよりも速いです。

パイプライン図の完全な図を添付します。オーディオ入力、RTC入力、VAD、ストリーミングASR、リアルタイムオーケストレーターがメモリとツールコールを処理し、TTS出力。すべてのレイヤーにはフォールバックプロバイダーがあります。何も静かにならなかった。 すべてのターンが端から端まで追跡されていた。私たちは音声パイプライン全体にわたる完全なAPM可観測性に関して、戦略的パートナーシップを@datadoghq結んでいます。遅延、工具呼び出し、故障、すべてリアルタイムで発生しています。 速度は最適化が重なって維持されます。キャッシュされたコンテキストにより、ターンごとの再読み回数が減り、トークンパスがクリーンになることで意図ルーティングが速くなり、モデルもパイプラインのペースに追いつくようになりました。

@datadoghq どんな会話もオパールを良くする。トレースされたカーブは訓練信号となります。トレーニング信号はより速く、より鮮明なモデルになります。速いモデルはより多くの会話を意味します。ループはすでに動いている。理論は聞いたことがあるだろう。これが制作中のすべてです。