これが私(おそらく多くの人も)の考え方だから、LLMが最終的に機能すると思っていたことです 思考の基本単位は「言葉」ではなくゲシュタルト思考ベクトルのようなものだと仮定していますし、言葉は思考の断片よりも伝達しやすいため、私たちは皆これを非常に速く言葉に翻訳する方法を開発しただけです これは「内面の独白がない人もいる!」という言説に対する私のいつもの問題でした 言葉が人々の考える基準となるのは全く意味がありません。イメージや思考の断片などで考える方が、1000倍も速く考えられます おそらく人は言葉で考えているように見えるのだと思います。なぜなら、自分の考えていることを人に説明するとき、思考の断片を言葉に翻訳しなければならないからです。なぜならそれが私たちのコミュニケーションの仕方だからです。そして、この過程で実際の思考がモノローグの形に変換されます しかし、何らかのコミュニケーションを出力する必要がある場合にのみ、言葉で考えるのが理にかなっています。そうでなければあまり効率的ではありません そして人間の脳は非常に効率的です
Simplifying AI
Simplifying AI3月23日 00:54
🚨 速報:テンセントは「ネクストトークン」のパラダイムを終わらせました。 テンセントと清華社はCALM(連続自己回帰言語モデル)をリリースし、次のトークンのパラダイムを完全に破壊しました。 現在、LLMは膨大な語彙のソフトマックス層を通じて離散的で単一のトークンを予測するのに膨大な計算費を浪費しています。遅くてスケールも悪いです。 CALMは語彙を完全に回避します。高精度オートエンコーダを使用して、テキストのチャンクを99.9%の再構成精度で単一の連続ベクトルに圧縮します。 モデルは連続空間内の「次のベクトル」を予測します。 その数字は本当に異常です: - 各生成ステップは×意味帯域幅4を持ちます。 - トレーニング計算量が44%削減されます。 - ソフトマックスのボトルネックが完全に除去されます。 私たちは文字通り、離散的な記号をタイプする言語モデルから、連続した思考をストリーミングする言語モデルの進化を見守っています。 これによりAIの軌道が大きく変わります。
ちなみに、ここで説明されているメカニズムについてコメントしているだけで、テンセントなどの技術自体については言っていません ベクトルからトークンへの移行は長い間かなり遅く非効率的になると思いますし、これがAIや何かを短期的に革命的に変えるとは思えません
278