🚨 BREAKING: Tencent "next-token" paradigmasını yok etti. Tencent ve Tsinghua, CALM'ı (Sürekli Otoregressiv Dil Modelleri) yayımladı ve bu bir sonraki token paradigmasını tamamen alt üst ediyor. LLM'ler şu anda devasa bir kelime dağarcığı softmax katmanı üzerinden ayrık, tek tokenları tahmin etmek için büyük miktarda hesaplama harcıyor. Yavaş ve kötü ölçekleniyor. CALM kelime dağarcığını tamamen atlar. Yüksek hassasiyetli bir otomatik kodlayıcı kullanarak metin parçalarını %99,9 doğrulukla tek bir sürekli vektöre sıkıştırır. Model artık sürekli bir uzayda "bir sonraki vektör"ü tahmin ediyor. Rakamlar gerçekten çıldırmaz: - Her üretken adım artık anlamsal bant genişliğinin 4× taşır. - Eğitim hesaplaması %44 azalmıştır. - Softmax darboğazı tamamen kaldırılmıştır. Dil modellerinin ayrık semboller yazmaktan sürekli düşünceleri akıma evrimleştiğini gerçekten izliyoruz. Bu, yapay zekanın tüm gidişatını değiştirir.