هذا هو الأسلوب الذي كنت أفترض أن نماذج اللغة الكبيرة ستعمل، لأن هذا هو التفكير الذي أفكر به (وربما معظم الآخرين) أفترض أن وحدة الفكر الأساسية هي هذا الشيء المتنوع للفكر، وليس "كلمات"، وقد طورنا جميعنا طريقة سريعة جدا لترجمتها إلى كلمات لأن الكلمات أكثر قابلية للتواصل من القطع الفكرية كانت هذه دائما مشكلتي مع خطاب "بعض الناس ليس لديهم مونولوج داخلي!" لا معنى لأن تكون الكلمات هي الوحدة الأساسية التي يفكر فيها الناس. من الأسرع بألف مرة أن تفكر بالصور أو هذه القطع الفكرية أو أي شيء آخر أفترض أن الناس يفكرون بالكلمات لأنهم عندما يصفون ما يفكرون فيه للناس، عليهم ترجمة الأفكار إلى كلمات - لأن هذه هي طريقتنا في التواصل - وهذه العملية تحول أفكارهم الفعلية إلى شكل مونولوج لكن من المنطقي التفكير بالكلمات فقط عندما تحتاج إلى إخراج شكل من أشكال التواصل. بخلاف ذلك، فهي ليست فعالة جدا ودماغ البشر فعال بشكل جنوني
Simplifying AI
Simplifying AI‏23 مارس، 00:54
🚨 عاجل: تينسنت قضت على نموذج "الرمز التالي". أصدرت Tencent وTsinghua نموذج CALM (نماذج اللغة الذاتية المستمرة)، وقد دمر تماما نموذج الرمز التالي. نماذج اللغة الكبيرة تهدر حاليا كميات هائلة من الرموز المنفصلة المفردة في التنبؤ بالحسابات عبر طبقة ضخمة من المفردات السوفتماكس. بطيء ويتدرج بشكل سيء. CALM يتجاوز المفردات تماما. يستخدم مشفرا ذاتيا عالي الدقة لضغط أجزاء من النص في متجه مستمر واحد بدقة إعادة بناء تبلغ 99.9٪. يتنبأ النموذج الآن ب "المتجه التالي" في فضاء مستمر. الأرقام فعلا مذهلة: - كل خطوة توليدية تحمل الآن 4× عرض النطاق الدلالي. - يتم تقليل الحوسبة التدريبية بنسبة 44٪. - تم إزالة عنق الزجاجة في سوفت ماكس بالكامل. نحن حرفيا نشاهد نماذج اللغة تتطور من كتابة رموز منفصلة إلى تدفق الأفكار المستمرة. هذا يغير مسار الذكاء الاصطناعي بالكامل.
أنا فقط أعلق على الآلية الموصوفة هنا بالمناسبة، وليس على التكنولوجيا الفعلية من تينسنت أو غيرها أفترض أن الانتقال من الجهات المتجهة إلى الرموز سيكون بطيئا وغير فعال لفترة طويلة وأشك أن هذا سيحدث ثورة في الذكاء الاصطناعي أو شيء من هذا القبيل على المدى القصير
‏‎300‏