🚨 速報:テンセントは「ネクストトークン」のパラダイムを終わらせました。 テンセントと清華社はCALM(連続自己回帰言語モデル)をリリースし、次のトークンのパラダイムを完全に破壊しました。 現在、LLMは膨大な語彙のソフトマックス層を通じて離散的で単一のトークンを予測するのに膨大な計算費を浪費しています。遅くてスケールも悪いです。 CALMは語彙を完全に回避します。高精度オートエンコーダを使用して、テキストのチャンクを99.9%の再構成精度で単一の連続ベクトルに圧縮します。 モデルは連続空間内の「次のベクトル」を予測します。 その数字は本当に異常です: - 各生成ステップは×意味帯域幅4を持ちます。 - トレーニング計算量が44%削減されます。 - ソフトマックスのボトルネックが完全に除去されます。 私たちは文字通り、離散的な記号をタイプする言語モデルから、連続した思考をストリーミングする言語モデルの進化を見守っています。 これによりAIの軌道が大きく変わります。