🚨 DERNIÈRE MINUTE : Tencent a tué le paradigme du "next-token". Tencent et Tsinghua ont publié CALM (Modèles de Langage Autoregressifs Continus), et cela perturbe complètement le paradigme du next-token. Les LLMs gaspillent actuellement d'énormes quantités de calcul à prédire des tokens discrets et uniques à travers une énorme couche softmax de vocabulaire. C'est lent et ça ne s'échelonne pas bien. CALM contourne entièrement le vocabulaire. Il utilise un autoencodeur de haute fidélité pour compresser des morceaux de texte en un seul vecteur continu avec une précision de reconstruction de 99,9%. Le modèle prédit maintenant le "prochain vecteur" dans un espace continu. Les chiffres sont en fait fous : - Chaque étape générative porte maintenant 4× la bande passante sémantique. - Le calcul d'entraînement est réduit de 44%. - Le goulot d'étranglement softmax est complètement supprimé. Nous assistons littéralement à l'évolution des modèles de langage, passant de la saisie de symboles discrets à la diffusion de pensées continues. Cela change toute la trajectoire de l'IA.