今年去中心化的AI训练发生了许多令人兴奋的发展。以下是我对去中心化训练为何从“不可行”转变为“可投资”的看法。 🧵👇

起初，考虑到人工智能训练协议的最新技术，去中心化训练被认为是不可能的。公司们在高端数据中心的高端硬件上获得了成果——在消费者硬件上通过慢速消费者互联网进行训练似乎是疯狂的，这一论点在技术上也有充分的理由。

然而，去中心化训练很快通过实例得到了证明。像 DiLoCo（由 @GoogleDeepMind 开发）这样的“低通信”算法被 @PrimeIntellect、@NousResearch 和 @tplr_ai 等公司用于展示以分布式方式训练的模型。 这些数据并行算法将整个模型保存在节点的内存中，并将数据分割开。 去年十月，@Pluralis 展示了第一个 *模型并行* 运行，可以将变换器分解为其实际层进行训练。

许多来自传统AI领域的人士，从@jackclarkSF（@AnthropicAI的联合创始人）到@beffjezos，再到像@EpochAIResearch这样的AI研究非营利组织，都在关注去中心化训练。 Epoch计算出，去中心化训练的计算能力每年增长20倍。 虽然它仍然比中心化的前沿运行小1000倍，但以4倍的速度缩小了这一差距。