هذا رائع جدا! المحولات تقوم بالانتباه عبر الرموز، تخيل الآن أن تفعل الانتباه عبر الطبقات أيضا. هذا يوفر كفاءة حوسبة 1.25 مرة، مع <4٪ من عبء التدريب على طراز Kimi 48B، +7.5 على GPQA-Diamond. كيمي أصبح بهدوء الشخص الجديد لديب سيك لأروع ابتكارات في العمارة.