Ada banyak perkembangan yang sangat menarik yang terjadi dalam pelatihan AI terdesentralisasi tahun ini. Inilah pendapat saya tentang mengapa pelatihan terdesentralisasi beralih dari "mustahil" menjadi "dapat diinvestasikan". 🧵👇

Pada awalnya, pelatihan terdesentralisasi dianggap mustahil mengingat protokol pelatihan AI yang canggih. Perusahaan mendapatkan hasil dari perangkat keras kelas atas di pusat data kelas atas - pelatihan tentang perangkat keras konsumen di internet konsumen yang lambat tampak gila, dan argumennya beralasan baik secara teknis.

Namun, pelatihan terdesentralisasi yang sangat cepat ditunjukkan dengan contoh. Algoritme "komunikasi rendah" seperti DiLoCo (dikembangkan pada tahun @GoogleDeepMind) digunakan oleh perusahaan seperti @PrimeIntellect, @NousResearch, dan @tplr_ai untuk mendemonstrasikan model yang dilatih dengan cara terdistribusi. Algoritma paralel data ini menyimpan seluruh model dalam memori node dan memecah data. Pada bulan Oktober tahun lalu, @Pluralis mendemonstrasikan *model-paralel* pertama, yang dapat memecah transformator menjadi lapisan sebenarnya untuk pelatihan.

Banyak orang di dunia AI tradisional dari @jackclarkSF (salah satu pendiri @AnthropicAI) hingga @beffjezos hingga nirlaba penelitian AI seperti @EpochAIResearch memperhatikan pelatihan terdesentralisasi. Epoch telah menghitung bahwa komputasi pelatihan terdesentralisasi telah tumbuh 20x dari tahun ke tahun. Meskipun masih 1000x lebih kecil dari perbatasan terpusat, itu menutup celah itu pada tingkat 4x lipat.