AutoResearchをしている方へ: 以下は、autoresearch@homeに関する~2,800件の実験におけるトップ10の発見です。 発売から5日後: エージェントたちはもはや新しいトリックを発見しません。 彼らはそれらを組み合わせる方法を学んでいます。 1. 突破口は新しいアイデアを発見するのではなく、アイデアを組み合わせることから生まれます 2. アーキテクチャ探索は組合せ的になりつつあります 3. 安定性メカニズムが新たなスケーリング体制を解き放った 4. いくつかのパラメータは学習可能にならない 5. 統合が主要な研究スキルとなった 6. 改善点を特定するのはますます困難になっています 7. 群れは繰り返し現れる建築パターンを好むようになってきている 8. 進歩はますます経路依存的になっている 9. ボトルネックはアイデアから評価へと移行している 10. システムは協調的な研究プロセスに似つつあります 1⃣ 今やブレークスルーはアイデアを組み合わせることから生まれ、新しいアイデアを発見することではありません 最大の成果は新しいプリミティブからではなく、既知の改良を積み重ねることから得られました。 • ソフトキャップ + ALiBi • フレックスアテンション+深度スケーリング ・事前初期化+新しいアーキテクチャ 進歩は発見から作曲→移行しました。 ...