🚨 ULTIMĂ ORĂ: Tencent a ucis paradigma "next-token". Tencent și Tsinghua au lansat CALM (Continuous Autoregresive Language Models), care perturbă complet paradigma next-token. LLM-urile irosesc în prezent cantități masive de calcul prezicând tokenuri discrete, individuale, printr-un strat softmax de vocabular uriaș. Este lent și scalează prost. CALM ocolește complet vocabularul. Folosește un autoencoder de înaltă fidelitate pentru a comprima bucăți de text într-un singur vector continuu, cu o acuratețe de reconstrucție de 99,9%. Modelul prezice acum "următorul vector" într-un spațiu continuu. Cifrele sunt de fapt incredibile: - Fiecare pas generativ poartă acum 4× lățimea de bandă semantică. - Calculul de antrenament este redus cu 44%. - Blocajul softmax este complet eliminat. Urmărim literalmente modelele de limbaj evoluând de la tastarea simbolurilor discrete la transmiterea gândurilor continue. Acest lucru schimbă întreaga traiectorie a inteligenței artificiale.