今年在去中心化的AI訓練方面發生了許多令人興奮的發展。以下是我對為什麼去中心化訓練正從「不可能」轉變為「可投資」的看法。 🧵👇

一開始，去中心化訓練被認為是不可能的，因為當時的 AI 訓練協議技術水平。公司們在高端數據中心的高端硬體上獲得了成果——在消費者硬體上和慢速的消費者互聯網上進行訓練似乎是瘋狂的，這一論點在技術上是有充分理由的。

然而，去中心化訓練很快就通過實例得到了證明。像 DiLoCo（由 @GoogleDeepMind 開發）這樣的「低通信」算法被 @PrimeIntellect、@NousResearch 和 @tplr_ai 等公司用來展示以分散方式訓練的模型。 這些數據並行算法將整個模型保存在節點的內存中並分割數據。 去年十月，@Pluralis 展示了第一個 *模型並行* 執行，這可以將變壓器分解為其實際層進行訓練。

許多來自傳統 AI 界的人士，從 @jackclarkSF（@AnthropicAI 的共同創辦人）到 @beffjezos，再到像 @EpochAIResearch 這樣的 AI 研究非營利組織，都在關注去中心化訓練。 Epoch 計算出去中心化訓練的計算能力每年增長了 20 倍。 雖然它仍然比集中式前沿運行小 1000 倍，但它以 4 倍的速度縮小了這一差距。