Bittensor se vyvinul za hranice AI inferování.
Templářův Covenant-72B vytrénoval 72 miliard parametrů na 1,1 bilionu tokenů
Bez centralizovaného clusteru běží největší decentralizovaný předtréninkový proces
až dosud.
Více než 70 bezpovolených uzlů na běžných internetových připojeních
dosáhl 94,5% výpočetního využití a překonal LLaMA-2-70B na MMLU.
Subsítě rostou napříč různými způsoby použití, jako je objevování drog a autonomní řízení.
Tento týden @theallinpod @chamath se zeptal @nvidia generálního ředitele Jensena Huanga na decentralizovaný trénink AI a označil náš běh Covenant-72B za "docela šílený technický úspěch."
Jedna oprava: je to 72 miliard parametrů, ne čtyři. Neoprávněně jsem trénoval mezi 70+ přispěvateli na běžném internetu. Největší model vůbec předtrénovaný na plně decentralizované infrastruktuře.
Jensenova odpověď stojí také za poslech.
TGIF #29 zítra! Vlákno Covenant-72B tento týden zasáhlo daleko za Bittensor. @DistStateAndMe a celý tým @covenant_ai diskutují o tom, co tento tah znamená, kde decentralizovaná AI stojí v širší diskusi a co přijde dál.
Horníci, pojďte s námi oslavit. Otevíráme scénu každému, kdo přispěl výpočetní prací do běhu nebo má příběh, který chce sdílet. Požádejte o rozhovor a my vás přivedeme nahoru.