Trend Olan Konular
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
🔥 Aynen öyle. Templar, yapay zeka altyapısı hakkındaki düşüncemi değiştirdi.
Merkeziyetsiz yapay zekadan çok bir şey beklemiyordum ama @tplr_ai Bittensor'da ($TAO) ~70 izinsiz düğüm üzerinde 1.1T tokenlarda bir 72B modelini eğitmesini görmek .
Bu zaten alışılmadık bir durum, ama fikrimi gerçekten değiştiren şey, nasıl yürüttükleriydi.
- Bu ölçekte eğitim koordinasyonla sınırlıdır. Normalde düğümler arasında senkronizasyon adımında ~280GB veri gönderiyorsun, bu da merkeziyetsiz eğitimin gelişte neredeyse tamamen ölü olmasını sağlıyor.
- @tplr_ai bunu ~2.2GB'a kadar sıkıştırdı ve SparseLoCo kullanarak senkronizasyon frekansını büyük ölçüde azalttı. Buna baktığımda, önceki tüm denemeleri 🤯 öldüren çekirdek darboğazı kaldırdıklarını görüyorum.
Bu yüzden buna DeepSeek anı demek abartı değil diye düşünüyorum. DeepSeek, modellerin daha ucuza eğitilebileceğini gösterdi.
Templar, merkezi koordinasyon olmadan da eğitilebileceklerini gösteriyor.
-> Bunlar çok farklı iki yön ve bu yön yapısal olarak rekabet etmek daha zor hissettiriyor.
Göz ardı etmediğim bir başka işaret: Anthropic'ten Jack Clark gibi insanlar bunu kamuoyunda gerçek infratuz olarak çerçevelediğinde:
- Benim deneyimime göre, bu tür onaylama genellikle bir şey zaten işe yaradıktan sonra gelir, öncesinde değil.
- Bu hâlâ ön eğitim. Yapay zekadaki gerçek avantaj, antrenman sonrası RLHF, hizalama döngülerinden geliyor; temelde modeller gerçekten işe yarıyor.
Templar sırada Grail ile oraya geçiyor ve benim için asıl sınav bu. Eğer o katmanı da merkeziyetsizleştirebilirlerse, artık merkeziyetsiz hesaplamadan değil, tamamen izinsiz bir yapay zeka üretim boru hattından bahsediyoruz.
Templar'ı öne çıkaran şey, seçtikleri zamanlama ve yön.
1/ Tüm yapay zeka endüstrisi sessizce ölçeklendirme sınırlarına ulaşırken koordinasyonun peşine düştüler.
- Bu çok farklı bir bahis, genellikle eğilimlere değil, kısıtlamalara saldıranlar daha sonra önemli olanlardır.
2/ Gördüğüm bir diğer katalizör ise izinsiz tasarım.
- Çoğu merkeziyetsiz yapay zeka sistemi hâlâ katılımı bir şekilde kaplar, bu da ağ etkilerini erken ortadan kaldırır.
- Templar baştan tamamen açık hale geldi, yani bu model işe yararsa, sadece doğrusal ölçeklenmek kalmıyor, daha fazla katkı sağlayan, daha fazla deney, daha fazla uç vaka paralel çözülüyor.
Ayrıca, eğitim sonrası (gerçek gerçek seviye katmanı) doğru ilerlemeleri bana gerçek değerin nerede olduğunu anladıklarını gösteriyor.
Ön eğitim dikkat çekiyor, ancak antrenman sonrası modeller kullanılabilir, yapışkan ve para kazanılabilir hale geliyor. Burada uygularlarsa, zeka katmanının bir kısmına sahip çıkmaya başlarlar.
3/ Benim tahminim şuna dayanıyor:
Kısa vadede, çoğu kişi bunu hafife alacak çünkü model kalitesi farkı ile merkezi laboratuvarlar arasındaki argüman kolay olacaktır.
Ama zamanla, bence Templar şu hale geliyor:
- açık yapay zeka geliştirme için bir arka uç katmanı.
- dağıtık hesaplama için bir koordinasyon ağı.
- ve sonunda zeka geliştirme için bir pazar yeri.
Bir gecede baskın değil, sessizce her yere yerleşmişti.
Ve eğer bu işe yararsa, avantajı @OpenAI hiç güvenmek istemeyen herkesin üzerine inşa edebileceği bir sistem olmaktan gelir.


20 Mar 04:01
Bu hafta @theallinpod yayınında @chamath, @nvidia CEO'su Jensen Huang'a merkeziyetsiz yapay zeka eğitimi hakkında soru sordu ve Covenant-72B koşumuzu "oldukça çılgın bir teknik başarı" olarak nitelendirdi.
Bir düzeltme: 72 milyar parametre, dört değil. 70+ katkı sağlayan kişi arasında izinsiz olarak internette eğitim aldım. Tamamen merkeziyetsiz altyapıda önceden eğitilmiş en büyük model.
Jensen'in cevabı da dinlenmeye değer.
@tplr_ai Chad, Bittensor ekosistemi hakkında çok değerli bilgiler sunar: @AlgodTrading @CryptoWizardd @CryptoGodJohn @QuintenFrancois @Tanaka_L2 @Eli5defi @andyyy @MilkRoad @andyyy @eliz883

16 Sa Önce
🔥 Aynen öyle. Templar, yapay zeka altyapısı hakkındaki düşüncemi değiştirdi.
Merkeziyetsiz yapay zekadan çok bir şey beklemiyordum ama @tplr_ai Bittensor'da ($TAO) ~70 izinsiz düğüm üzerinde 1.1T tokenlarda bir 72B modelini eğitmesini görmek .
Bu zaten alışılmadık bir durum, ama fikrimi gerçekten değiştiren şey, nasıl yürüttükleriydi.
- Bu ölçekte eğitim koordinasyonla sınırlıdır. Normalde düğümler arasında senkronizasyon adımında ~280GB veri gönderiyorsun, bu da merkeziyetsiz eğitimin gelişte neredeyse tamamen ölü olmasını sağlıyor.
- @tplr_ai bunu ~2.2GB'a kadar sıkıştırdı ve SparseLoCo kullanarak senkronizasyon frekansını büyük ölçüde azalttı. Buna baktığımda, önceki tüm denemeleri 🤯 öldüren çekirdek darboğazı kaldırdıklarını görüyorum.
Bu yüzden buna DeepSeek anı demek abartı değil diye düşünüyorum. DeepSeek, modellerin daha ucuza eğitilebileceğini gösterdi.
Templar, merkezi koordinasyon olmadan da eğitilebileceklerini gösteriyor.
-> Bunlar çok farklı iki yön ve bu yön yapısal olarak rekabet etmek daha zor hissettiriyor.
Göz ardı etmediğim bir başka işaret: Anthropic'ten Jack Clark gibi insanlar bunu kamuoyunda gerçek infratuz olarak çerçevelediğinde:
- Benim deneyimime göre, bu tür onaylama genellikle bir şey zaten işe yaradıktan sonra gelir, öncesinde değil.
- Bu hâlâ ön eğitim. Yapay zekadaki gerçek avantaj, antrenman sonrası RLHF, hizalama döngülerinden geliyor; temelde modeller gerçekten işe yarıyor.
Templar sırada Grail ile oraya geçiyor ve benim için asıl sınav bu. Eğer o katmanı da merkeziyetsizleştirebilirlerse, artık merkeziyetsiz hesaplamadan değil, tamamen izinsiz bir yapay zeka üretim boru hattından bahsediyoruz.
Templar'ı öne çıkaran şey, seçtikleri zamanlama ve yön.
1/ Tüm yapay zeka endüstrisi sessizce ölçeklendirme sınırlarına ulaşırken koordinasyonun peşine düştüler.
- Bu çok farklı bir bahis, genellikle eğilimlere değil, kısıtlamalara saldıranlar daha sonra önemli olanlardır.
2/ Gördüğüm bir diğer katalizör ise izinsiz tasarım.
- Çoğu merkeziyetsiz yapay zeka sistemi hâlâ katılımı bir şekilde kaplar, bu da ağ etkilerini erken ortadan kaldırır.
- Templar baştan tamamen açık hale geldi, yani bu model işe yararsa, sadece doğrusal ölçeklenmek kalmıyor, daha fazla katkı sağlayan, daha fazla deney, daha fazla uç vaka paralel çözülüyor.
Ayrıca, eğitim sonrası (gerçek gerçek seviye katmanı) doğru ilerlemeleri bana gerçek değerin nerede olduğunu anladıklarını gösteriyor.
Ön eğitim dikkat çekiyor, ancak antrenman sonrası modeller kullanılabilir, yapışkan ve para kazanılabilir hale geliyor. Burada uygularlarsa, zeka katmanının bir kısmına sahip çıkmaya başlarlar.
3/ Benim tahminim şuna dayanıyor:
Kısa vadede, çoğu kişi bunu hafife alacak çünkü model kalitesi farkı ile merkezi laboratuvarlar arasındaki argüman kolay olacaktır.
Ama zamanla, bence Templar şu hale geliyor:
- açık yapay zeka geliştirme için bir arka uç katmanı.
- dağıtık hesaplama için bir koordinasyon ağı.
- ve sonunda zeka geliştirme için bir pazar yeri.
Bir gecede baskın değil, sessizce her yere yerleşmişti.
Ve eğer bu işe yararsa, avantajı @OpenAI hiç güvenmek istemeyen herkesin üzerine inşa edebileceği bir sistem olmaktan gelir.

@tplr_ai @AlgodTrading @CryptoWizardd @CryptoGodJohn @QuintenFrancois @Tanaka_L2 @Eli5defi @andyyy @MilkRoad @eliz883 👍
3,34K
En İyiler
Sıralama
Takip Listesi