🔥 Именно. Templar изменил мой взгляд на инфраструктуру ИИ. Я не ожидал многого от децентрализованного ИИ, но увидев, как @tplr_ai обучает модель на 72B с 1.1T токенов на ~70 разрешенных узлах на Bittensor ( $TAO). Это само по себе уже необычно, но то, что действительно изменило мое мнение, это то, как они это сделали. - На таком уровне обучение ограничено координацией. Обычно вы передаете ~280GB данных за шаг синхронизации между узлами, что делает децентрализованное обучение практически мертвым при прибытии. - @tplr_ai сжали это до ~2.2GB и значительно уменьшили частоту синхронизации, используя SparseLoCo. Когда я на это смотрю, я вижу, как они устраняют основное узкое место, которое убивало каждую предыдущую попытку 🤯. Вот почему я думаю, что называть это моментом DeepSeek на самом деле не преувеличено. DeepSeek показал, что модели могут обучаться дешевле. Templar показывает, что их можно обучать без центральной координации вообще. -> Это два очень разных направления, и это направление кажется структурно более сложным для конкуренции. Еще один сигнал, который я не игнорирую: когда такие люди, как Джек Кларк из Anthropic, публично представляют это как настоящую инфраструктуру: - По моему опыту, такая валидация обычно приходит после того, как что-то уже работает, а не до. - Это все еще предобучение. Реальное преимущество в ИИ приходит из постобучения, RLHF, циклов выравнивания, в основном там, где модели становятся действительно полезными. Templar движется туда дальше с Grail, и для меня это настоящая проверка. Если они смогут децентрализовать этот уровень тоже, тогда мы больше не говорим о децентрализованных вычислениях, они говорят о полностью разрешенной производственной цепочке ИИ. Что выделяет Templar для меня, так это время и направление, которые они выбрали. 1/ Они пошли на координацию, когда вся индустрия ИИ тихо достигает пределов масштабирования. - Это очень другая ставка, и обычно те, кто атакует ограничения, а не тренды, имеют значение позже. 2/ Еще один катализатор, который я вижу, это разрешенный дизайн. - Большинство децентрализованных ИИ-систем все еще ограничивают участие каким-либо образом, что убивает сетевые эффекты на ранних стадиях. - Templar с самого начала стал полностью открытым, что означает, что если эта модель сработает, она не просто масштабируется линейно, но и компаундируется с большим количеством участников, большим количеством экспериментов, большим количеством крайних случаев, решаемых параллельно. Также тот факт, что они строят в сторону постобучения (слой RL), говорит мне о том, что они понимают, где находится реальная ценность. Предобучение привлекает внимание, но постобучение — это то, где модели становятся полезными, «липкими» и монетизируемыми. Если они здесь реализуют свои планы, они начинают владеть частью самого слоя интеллекта. 3/ Мое предсказание на основе этого: В краткосрочной перспективе большинство людей все еще недооценят это, потому что разрыв в качестве модели по сравнению с централизованными лабораториями будет легким аргументом. Но со временем, я думаю, Templar станет: - слоем бэкенда для открытой разработки ИИ. - сетью координации для распределенных вычислений. - и в конечном итоге рынком для уточнения интеллекта. Не доминируя за одну ночь, но тихо внедряясь повсюду. И если это сработает, выгода будет заключаться в том, чтобы стать системой, на которой любой может строить, когда они не хотят полагаться на @OpenAI вообще.
templar
templar20 мар., 04:01
На @theallinpod на этой неделе @chamath спросил генерального директора @nvidia Дженсена Хуана о децентрализованном обучении ИИ, назвав наш запуск Covenant-72B "довольно безумным техническим достижением." Одно уточнение: это 72 миллиарда параметров, а не четыре. Обучен без разрешения более чем 70 участниками на обычном интернете. Это самая большая модель, когда-либо предварительно обученная на полностью децентрализованной инфраструктуре. Ответ Дженсена тоже стоит послушать.
@tplr_ai Чады предоставляют много ценной информации о экосистеме Bittensor: @AlgodTrading @CryptoWizardd @CryptoGodJohn @QuintenFrancois @Tanaka_L2 @Eli5defi @andyyy @MilkRoad @andyyy @eliz883
Karamata_ 💎
Karamata_ 💎17 часов назад
🔥 Именно. Templar изменил мой взгляд на инфраструктуру ИИ. Я не ожидал многого от децентрализованного ИИ, но увидев, как @tplr_ai обучает модель на 72B с 1.1T токенов на ~70 разрешенных узлах на Bittensor ( $TAO). Это само по себе уже необычно, но то, что действительно изменило мое мнение, это то, как они это сделали. - На таком уровне обучение ограничено координацией. Обычно вы передаете ~280GB данных за шаг синхронизации между узлами, что делает децентрализованное обучение практически мертвым при прибытии. - @tplr_ai сжали это до ~2.2GB и значительно уменьшили частоту синхронизации, используя SparseLoCo. Когда я на это смотрю, я вижу, как они устраняют основное узкое место, которое убивало каждую предыдущую попытку 🤯. Вот почему я думаю, что называть это моментом DeepSeek на самом деле не преувеличено. DeepSeek показал, что модели могут обучаться дешевле. Templar показывает, что их можно обучать без центральной координации вообще. -> Это два очень разных направления, и это направление кажется структурно более сложным для конкуренции. Еще один сигнал, который я не игнорирую: когда такие люди, как Джек Кларк из Anthropic, публично представляют это как настоящую инфраструктуру: - По моему опыту, такая валидация обычно приходит после того, как что-то уже работает, а не до. - Это все еще предобучение. Реальное преимущество в ИИ приходит из постобучения, RLHF, циклов выравнивания, в основном там, где модели становятся действительно полезными. Templar движется туда дальше с Grail, и для меня это настоящая проверка. Если они смогут децентрализовать этот уровень тоже, тогда мы больше не говорим о децентрализованных вычислениях, они говорят о полностью разрешенной производственной цепочке ИИ. Что выделяет Templar для меня, так это время и направление, которые они выбрали. 1/ Они пошли на координацию, когда вся индустрия ИИ тихо достигает пределов масштабирования. - Это очень другая ставка, и обычно те, кто атакует ограничения, а не тренды, имеют значение позже. 2/ Еще один катализатор, который я вижу, это разрешенный дизайн. - Большинство децентрализованных ИИ-систем все еще ограничивают участие каким-либо образом, что убивает сетевые эффекты на ранних стадиях. - Templar с самого начала стал полностью открытым, что означает, что если эта модель сработает, она не просто масштабируется линейно, но и компаундируется с большим количеством участников, большим количеством экспериментов, большим количеством крайних случаев, решаемых параллельно. Также тот факт, что они строят в сторону постобучения (слой RL), говорит мне о том, что они понимают, где находится реальная ценность. Предобучение привлекает внимание, но постобучение — это то, где модели становятся полезными, «липкими» и монетизируемыми. Если они здесь реализуют свои планы, они начинают владеть частью самого слоя интеллекта. 3/ Мое предсказание на основе этого: В краткосрочной перспективе большинство людей все еще недооценят это, потому что разрыв в качестве модели по сравнению с централизованными лабораториями будет легким аргументом. Но со временем, я думаю, Templar станет: - слоем бэкенда для открытой разработки ИИ. - сетью координации для распределенных вычислений. - и в конечном итоге рынком для уточнения интеллекта. Не доминируя за одну ночь, но тихо внедряясь повсюду. И если это сработает, выгода будет заключаться в том, чтобы стать системой, на которой любой может строить, когда они не хотят полагаться на @OpenAI вообще.
@tplr_ai @AlgodTrading @CryptoWizardd @CryptoGodJohn @QuintenFrancois @Tanaka_L2 @Eli5defi @andyyy @MilkRoad @eliz883 👍
3,35K