🚨 NOTÍCIA DE ÚLTIMA HORA: A Tencent acabou com o paradigma do "próximo-token". A Tencent e a Tsinghua lançaram o CALM (Modelos de Linguagem Autoregressivos Contínuos), e isso desestabiliza completamente o paradigma do próximo-token. Os LLMs atualmente desperdiçam enormes quantidades de computação prevendo tokens discretos e únicos através de uma enorme camada softmax de vocabulário. É lento e escala mal. O CALM contorna totalmente o vocabulário. Ele usa um autoencoder de alta fidelidade para comprimir pedaços de texto em um único vetor contínuo com 99,9% de precisão na reconstrução. O modelo agora prevê o "próximo vetor" em um espaço contínuo. Os números são realmente insanos: - Cada passo generativo agora carrega 4× a largura de banda semântica. - O computacional de treinamento é reduzido em 44%. - O gargalo softmax é completamente removido. Estamos literalmente assistindo os modelos de linguagem evoluírem de digitar símbolos discretos para transmitir pensamentos contínuos. Isso muda toda a trajetória da IA.