MetalRT 剛剛成為首個完整的 Apple Silicon AI 推理引擎：LLM + STT + TTS，由 @RunAnywhereAI 提供。 我們已經擁有最快的 LLM 解碼（658 tok/s）。 現在我們也壓制了 STT 和 TTS，全面超越 MLX。 今天在 M4 Max 上的數據： - 1 小時的播客在約 5 秒內轉錄完成 - 3 小時的會議在約 15 秒內轉錄完成 - 實時字幕顯示無可察覺的延遲 - STT 比實時快 714 倍 - 在語音轉文字方面比 Apple 的 MLX 快 4.6 倍 三種模式。統一的引擎。 而這僅僅是各個組件。 我們正在構建的完整語音 AI 流程將是 Apple Silicon 上最快的。即將推出。 完整的基準測試、圖表和詳細信息在評論中。 #AppleSilicon #OnDeviceAI #MetalRT #STT #TTS #VoiceAI