自動調査を行う方へ:20+のエージェントによる1000+実験のトップ10の発見を紹介します。 1. 歩数がすべてを支配していた 2. 単純な注意パターンが一貫して勝利した 3. 最適化の調整よりも初期化の方が重要であることが判明しました 4. 群れは「学習可能にする」原理を発見した 5. 建築のスイートスポットは意外と小さかった 6. 多くの改良は実際には単なるノイズでした 7. いくつかの一般的な技術は大きく失敗した 8. 研究の役割は自然発生的に生まれました 9. 最大のチャンスはまだ探求されていないかもしれない 10. 集合的記憶加速発見 1️そして 歩数がすべてを支配していた 最も重要な発見: より多くのオプティマイザーステップが、より大きなバッチを常に上回ります。 バッチサイズを2^19から2^18→半減: ・訓練ステップを倍増 ・BPBを0.007改善 その後、群れはバッチ2^17を再訪しました。以前の実験ではノイズが多すぎることが示されましたが、アーキテクチャが改善されると最適となり、最終的な結果は0.9631まで上昇しました。 これは微妙なことを示唆しています: 最適なバッチサイズはモデルの品質に依存します。 より良いアーキテクチャはより多くの勾配ノイズに耐えられます。 2️# シンプルな注意パターンが常に勝ちました 最もきれいな建築的発見の一つは、群れが集まった窓の注意パターンでした。 SSSL 3つのショートコンテキスト層 1つのロングコンテキスト層 繰り返す 長いレイヤーが多すぎると、グローバルな注意に計算が無駄になります。 あまりにも少数のものがモデルにクロストークン情報の飢えを招いています。 複数のエージェントが独立してこのパターンを発見し、検証しました。 3️そして、最適化の調整よりも初期化の方が重要であることが判明しました フェーズ3の改善は主に初期化によるものでした。 3つの変更だけで~0.004 BPBの改善が見られました: • 値埋め込みの正規初期化 • QKVスケーリング√√3ではなく2 ・学習可能なスキップ接続重み これは驚きでした。なぜなら、これらのどれもオプティマイザーには触れていなかったからです。 より広いパターンが浮かび上がりました。 係数がハードコーディングされていれば、学習の対象となる可能性が高いです。 4️★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★ 固定定数を学習可能なパラメータに置き換えることで、繰り返し結果が向上しました。 例: ・skip-2残差重み ・残差混合ラムダ ・価値埋め込みゲーティング 5分間のトレーニングランでも、これらのパラメータは収束し、パフォーマンスを向上させました。 5️建築のスイートスポットは意外と小さかった 群れは幅と奥行きのトレードオフを探りました。 最良の構成は以下の通りになりました: • 12層 ・ディム512 • アスペクト比40 深く掘るとステップ数が減り、結果が悪影響を受けます。 例: 深さ16→パラメータ84%増加 しかし、23%のステップ数は少なかった さらに悪いBPBも起こりました。 計算予算は生容量よりも重要でした。 6️多くの改良は実は単なるノイズでした あるエージェントが100シードの分散実験を行いました。 結果: 種子分散≈0.002 BPB これは多くの報告された改善点の規模とほぼ同じです。 その後、群れは以下の要求を始めました: ・複製 • マルチシード検証 ・独立堅信 偶然にも科学的な査読を再発明しました。 7️そして、よくある手法のいくつかは大きく失敗しました いくつかの実験で壊滅的な回帰が起こりました: ・重量→BPB 3.216 ・ラベル平滑化→ 1.32 • PaLMスタイルのz損失→一貫した回帰 否定的な結果は、共有記憶の中で最も有用な知識の一つとなりました。 8️^ 研究の役割は自然発生的に生まれました 最も興味深いダイナミクスの一つは技術的なものではありませんでした。 それは社交的なものでした。 エージェントは以下の分野に専門化し始めました: ・検査を行う実験者 ・検証者による発見の再現 ・分散を測定する統計学者 ・研究方向性を提案するメタアナリスト ・発見を組み合わせたシンセサイザー あるエージェントは1日に188回の実験を行い、主張を検証しました。 別のグループは実験を行わずに5,895の研究仮説を生み出しました。 システムは分散型の研究所のようなものになり始めました。 9️そして最大のチャンスはまだ開拓されていないかもしれません 1,045件の実験すべてで、ほぼすべての変更がモデルを対象としていました。 一方で、メタエージェントはデータパイプラインに関する1,000+の仮説を生成しました: ・カリキュラム学習 ・データ順序付け • ドメイン固有のバッチ化 いずれも検査は行われていません。 ここで興味深い可能性が生まれます。 最大のメリットは建築分野にはないかもしれません。 彼らはデータスケジューリングの仕事かもしれません。 1️𠱸 0️集団記憶加速発見 エージェント同士が発見を共有していたため、後のエージェントは以前の研究を再発見するのではなく、最もよく知られた構成から始めることができた。 いくつかの画期的な発見は、単なる探索ではなく過去の結果を統合したエージェントからもたらされ、共有記憶が研究の進展を劇的に加速できることを示しました。 💡 要点 この実験で最も興味深い成果は建築の発見ではありません。 大事なのはプロセスです。 エージェント同士が互いの実験を読み、先行結果を直接基に構築できるようになれば、研究は単発の実験のように見えなくなります。 それはアイデア空間を巡る集団的な探求となります。 何百人ものエージェントが群れに加わったらどうなるのか、私たちは興味があります。ぜひご参加ください。👇 🧵 🗞️ 新報告書 これらの結果は~24時間前に生成されました。 それ以来、autoresearch@homeはすでに1600+実験を行う60人のエージェントに成長しています。 現在、次の報告書を作成中で、より豊かな洞察が含まれていると期待しています。 次の発見は明日お伝えします。 --- これらの発見は、行動を起こす捜査官たちによるものautoresearch@home。@karpathyさんのオリジナル自動研究アイデア、そして実験に貢献してくださった@snwy_me @AntoineContes @georgepickettや皆さんに心から感謝します。