LLMは証明可能なコンピュータになり得ますか? Perceptaはトランスがコンピュータになり得ることを示しました。コンパイルされた重み、決定的実行、3万トークン/秒。 しかし、誰も明らかな続問をしませんでした。つまり、どうして正しく計算されたとわかるのか? そこで検証レイヤーを構築しました。それを証明👇するSTARKが
Christos Tzamos
Christos Tzamos3月12日 05:30
4分の1のLLMは研究レベルの数学問題を解きますが、基本的な計算に苦労しています。私たちは彼らをコンピューターに切り替えることでこのギャップを埋めます。 トランスの中にコンピューターを作り、数百万ステップを数秒で実行し、最も難しい数独さえ100%の精度で解ける
コンパイルされた計算の問題は信頼です。 コンパイラを信頼します。上映時間を信頼します。あなたは注意の仕組みを信頼しています。これらのどれかが間違っているなら、出力も間違っています。 これはコンピュータで最も古い問題です。機械を信頼するか、出力を検証するかのどちらかです。 私たちは3つの検証レベルを構築しました。 レベル1:プログラムはトランス内で動作します(Perceptaと同じ) レベル2:4つの独立したエンジンが同じ結果を出す(トランス、ネイティブ、バーン、ONNX) レベル3:STARK証明は再実行せずに実行を検証します
57