Questo è sempre come ho supposto che gli LLM funzionerebbero, perché è così che io (e presumibilmente la maggior parte degli altri) pensiamo Suppongo che l'unità base del pensiero sia questa cosa del vettore di pensiero gestalt, non "parole", e abbiamo semplicemente sviluppato un modo molto veloce per tradurre questi in parole, perché le parole sono più comunicabili dei pezzi di pensiero Questo è sempre stato il mio problema con il discorso "alcune persone non hanno un monologo interno!" Non ha semplicemente senso che le parole siano l'unità base in cui le persone pensano. È come se fosse 1000 volte più veloce pensare in termini di immagini o di questi pezzi di pensiero o qualsiasi cosa Suppongo che sembri solo che le persone pensino in parole perché quando descrivono ciò che stanno pensando agli altri, devono tradurre i pezzi di pensiero in parole - poiché è così che comunichiamo - e questo processo converte i loro pensieri reali nella forma di un monologo Ma ha senso pensare in parole solo quando hai bisogno di produrre qualche forma di comunicazione. Altrimenti non è molto efficiente E i cervelli umani sono incredibilmente efficienti
Simplifying AI
Simplifying AI23 mar, 00:54
🚨 NOTIZIA DELL'ULTIMO MINUTO: Tencent ha annullato il paradigma del "next-token". Tencent e Tsinghua hanno rilasciato CALM (Modelli di Linguaggio Autoregressivi Continui), e questo interrompe completamente il paradigma del next-token. Gli LLM attualmente sprecano enormi quantità di calcolo prevedendo token discreti e singoli attraverso un enorme strato softmax di vocabolario. È lento e scala male. CALM bypassa completamente il vocabolario. Utilizza un autoencoder ad alta fedeltà per comprimere blocchi di testo in un singolo vettore continuo con il 99,9% di accuratezza nella ricostruzione. Il modello ora prevede il "vettore successivo" in uno spazio continuo. I numeri sono davvero pazzeschi: - Ogni passo generativo ora porta 4× la larghezza di banda semantica. - Il calcolo per l'addestramento è ridotto del 44%. - Il collo di bottiglia softmax è completamente rimosso. Stiamo letteralmente assistendo all'evoluzione dei modelli di linguaggio da digitare simboli discreti a trasmettere pensieri continui. Questo cambia completamente la traiettoria dell'AI.
Sto solo commentando il meccanismo descritto qui, tra l'altro, non la tecnologia reale di Tencent o altro. Presumo che passare dai vettori ai token sarà piuttosto lento/inefficiente per molto tempo e dubito che questo RIVOLUZIONI l'AI o altro nel breve termine.
271