🔥 بالضبط. تمبلر غير طريقة تفكيري في البنية التحتية للذكاء الاصطناعي. لم أتوقع الكثير من الذكاء الاصطناعي اللامركزي، لكن رؤية @tplr_ai تدرب نموذج 72B على رموز 1.1T عبر ~70 عقدة بدون إذن على Bittensor ($TAO). هذا وحده أمر غير معتاد بالفعل، لكن ما غير رأيي حقا هو كيف جعلوا الأمر يعمل. - على هذا المستوى، التدريب محدود بالتنسيق. عادة ما تدفع ~280 جيجابايت من البيانات لكل خطوة التزامن بين العقد، مما يجعل التدريب اللامركزي شبه ميت من اللحظة الأولى. - @tplr_ai ضغط ذلك إلى ~2.2GB وقللت من تردد التزامن بشكل كبير باستخدام SparseLoCo. عندما أنظر إلى ذلك، أراهم يزيلون عنق الزجاجة الأساسي الذي قتل كل محاولة 🤯 سابقة. لهذا أعتقد أن وصف هذه اللحظة بأنها لحظة DeepSeek ليس مبالغا فيه. أظهرت DeepSeek أن النماذج يمكن تدريبها بتكلفة أقل. يظهر تمبلر أنه يمكن تدريبهم بدون تنسيق مركزي على الإطلاق. -> هذان اتجاهان مختلفان جدا، وهذا يبدو أصعب من الناحية الهيكلية في المنافسة. إشارة أخرى لا أتجاهلها: عندما يصورها أشخاص مثل جاك كلارك من أنثروبيك علنا كأساس حقيقي: - من تجربتي، هذا النوع من التقدير عادة يأتي بعد أن يعمل شيء بالفعل، وليس قبله. - هذا لا يزال تدريبا مسبقا. الميزة الحقيقية في الذكاء الاصطناعي تأتي من الحلقات بعد التدريب، RLHF، حلقات المحاذاة، حيث تصبح النماذج مفيدة فعلا. تمبلر سينتقل إلى هناك بعد ذلك مع غريل، وبالنسبة لي هذا هو الاختبار الحقيقي. إذا تمكنوا من لامركزية تلك الطبقة أيضا، فلن نعد نتحدث عن الحوسبة اللامركزية، بل نتحدث عن خط إنتاج ذكاء اصطناعي بدون إذن بالكامل. ما يميز تمبلر بالنسبة لي هو التوقيت والاتجاه الذي اختاروه. 1/ لقد استهدفوا التنسيق بينما صناعة الذكاء الاصطناعي بأكملها تصل بهدوء إلى حدود التوسع. - هذا رهان مختلف تماما، وعادة من يهاجمون القيود، وليس الاتجاهات، هم من يهمون لاحقا. 2/ عامل آخر أراه هو التصميم بدون إذن. - معظم أنظمة الذكاء الاصطناعي اللامركزية لا تزال تمنع المشاركة بطريقة ما، مما يقتل تأثيرات الشبكة مبكرا. - تمبلار كان مفتوحا بالكامل من البداية، مما يعني أنه إذا نجح هذا النموذج، فلن يتدرج فقط بشكل خطي، بل يجمع مع مساهمين أكثر، المزيد من التجارب، والمزيد من الحالات الحدية التي تحل بالتوازي. أيضا، حقيقة أنهم يبنون المراحل نحو ما بعد التدريب (طبقة التعلم التقمي) تدل على أنهم يفهمون أين تكمن القيمة الحقيقية. التدريب المسبق يحظى بالاهتمام، لكن التدريب بعد التدريب هو المكان الذي تصبح فيه النماذج قابلة للاستخدام، وملتصقة، وقابلة للربح. إذا نفذوا هنا، يبدأون في امتلاك جزء من طبقة الذكاء نفسها. 3/ توقعي بناء على هذا: على المدى القصير، سيظل معظم الناس يستهينون بذلك لأن فجوة جودة النماذج مقابل المختبرات المركزية ستكون الحجة السهلة. لكن مع مرور الوقت، أعتقد أن تمبلر يصبح: - طبقة خلفية لتطوير الذكاء الاصطناعي المفتوح. - شبكة تنسيق للحوسبة الموزعة. - وفي النهاية سوق لتحسين الاستخبارات. لم يكن مهيمنا بين ليلة وضحاها، لكنه متجذر بهدوء في كل مكان. وإذا حدث ذلك، فإن الجانب الإيجابي يأتي من أن تصبح النظام الذي يمكن لأي شخص البناء عليه عندما لا يريد الاعتماد على @OpenAI على الإطلاق.
templar
templarمنذ 22 ساعةً
في @theallinpod هذا الأسبوع، سألت @chamath الرئيس التنفيذي @nvidia جنسن هوانغ عن التدريب اللامركزي على الذكاء الاصطناعي، واصفة جولتنا في Covenant-72B بأنها "إنجاز تقني مجنون للغاية." تصحيح واحد: هو 72 مليار معلم، وليس أربعة. تم تدريبه بدون إذن عبر 70+ مساهما على الإنترنت التقليدي. أكبر نموذج تم تدريبه مسبقا على بنية تحتية لامركزية بالكامل. إجابة جنسن تستحق الاستماع أيضا.
@tplr_ai تشاد توفر الكثير من المعلومات القيمة عن نظام بيتينسور: @AlgodTrading @CryptoWizardd @CryptoGodJohn @QuintenFrancois @Tanaka_L2 @Eli5defi @andyyy @MilkRoad @andyyy @eliz883
Karamata_ 💎
Karamata_ 💎منذ 14 ساعةً
🔥 بالضبط. تمبلر غير طريقة تفكيري في البنية التحتية للذكاء الاصطناعي. لم أتوقع الكثير من الذكاء الاصطناعي اللامركزي، لكن رؤية @tplr_ai تدرب نموذج 72B على رموز 1.1T عبر ~70 عقدة بدون إذن على Bittensor ($TAO). هذا وحده أمر غير معتاد بالفعل، لكن ما غير رأيي حقا هو كيف جعلوا الأمر يعمل. - على هذا المستوى، التدريب محدود بالتنسيق. عادة ما تدفع ~280 جيجابايت من البيانات لكل خطوة التزامن بين العقد، مما يجعل التدريب اللامركزي شبه ميت من اللحظة الأولى. - @tplr_ai ضغط ذلك إلى ~2.2GB وقللت من تردد التزامن بشكل كبير باستخدام SparseLoCo. عندما أنظر إلى ذلك، أراهم يزيلون عنق الزجاجة الأساسي الذي قتل كل محاولة 🤯 سابقة. لهذا أعتقد أن وصف هذه اللحظة بأنها لحظة DeepSeek ليس مبالغا فيه. أظهرت DeepSeek أن النماذج يمكن تدريبها بتكلفة أقل. يظهر تمبلر أنه يمكن تدريبهم بدون تنسيق مركزي على الإطلاق. -> هذان اتجاهان مختلفان جدا، وهذا يبدو أصعب من الناحية الهيكلية في المنافسة. إشارة أخرى لا أتجاهلها: عندما يصورها أشخاص مثل جاك كلارك من أنثروبيك علنا كأساس حقيقي: - من تجربتي، هذا النوع من التقدير عادة يأتي بعد أن يعمل شيء بالفعل، وليس قبله. - هذا لا يزال تدريبا مسبقا. الميزة الحقيقية في الذكاء الاصطناعي تأتي من الحلقات بعد التدريب، RLHF، حلقات المحاذاة، حيث تصبح النماذج مفيدة فعلا. تمبلر سينتقل إلى هناك بعد ذلك مع غريل، وبالنسبة لي هذا هو الاختبار الحقيقي. إذا تمكنوا من لامركزية تلك الطبقة أيضا، فلن نعد نتحدث عن الحوسبة اللامركزية، بل نتحدث عن خط إنتاج ذكاء اصطناعي بدون إذن بالكامل. ما يميز تمبلر بالنسبة لي هو التوقيت والاتجاه الذي اختاروه. 1/ لقد استهدفوا التنسيق بينما صناعة الذكاء الاصطناعي بأكملها تصل بهدوء إلى حدود التوسع. - هذا رهان مختلف تماما، وعادة من يهاجمون القيود، وليس الاتجاهات، هم من يهمون لاحقا. 2/ عامل آخر أراه هو التصميم بدون إذن. - معظم أنظمة الذكاء الاصطناعي اللامركزية لا تزال تمنع المشاركة بطريقة ما، مما يقتل تأثيرات الشبكة مبكرا. - تمبلار كان مفتوحا بالكامل من البداية، مما يعني أنه إذا نجح هذا النموذج، فلن يتدرج فقط بشكل خطي، بل يجمع مع مساهمين أكثر، المزيد من التجارب، والمزيد من الحالات الحدية التي تحل بالتوازي. أيضا، حقيقة أنهم يبنون المراحل نحو ما بعد التدريب (طبقة التعلم التقمي) تدل على أنهم يفهمون أين تكمن القيمة الحقيقية. التدريب المسبق يحظى بالاهتمام، لكن التدريب بعد التدريب هو المكان الذي تصبح فيه النماذج قابلة للاستخدام، وملتصقة، وقابلة للربح. إذا نفذوا هنا، يبدأون في امتلاك جزء من طبقة الذكاء نفسها. 3/ توقعي بناء على هذا: على المدى القصير، سيظل معظم الناس يستهينون بذلك لأن فجوة جودة النماذج مقابل المختبرات المركزية ستكون الحجة السهلة. لكن مع مرور الوقت، أعتقد أن تمبلر يصبح: - طبقة خلفية لتطوير الذكاء الاصطناعي المفتوح. - شبكة تنسيق للحوسبة الموزعة. - وفي النهاية سوق لتحسين الاستخبارات. لم يكن مهيمنا بين ليلة وضحاها، لكنه متجذر بهدوء في كل مكان. وإذا حدث ذلك، فإن الجانب الإيجابي يأتي من أن تصبح النظام الذي يمكن لأي شخص البناء عليه عندما لا يريد الاعتماد على @OpenAI على الإطلاق.
@tplr_ai @AlgodTrading @CryptoWizardd @CryptoGodJohn @QuintenFrancois @Tanaka_L2 @Eli5defi @andyyy @MilkRoad @eliz883 👍
‏‎3.33‏K