🚨 NVIDIA ha appena fatto l'impossibile. Hanno addestrato un modello linguistico da 12 miliardi di parametri su 10 trilioni di token interamente in precisione a 4 bit. Si chiama NVFP4, e potrebbe ridefinire il modo in cui vengono addestrati i modelli AI di frontiera. Ecco perché questo è importante: • NVFP4 offre un throughput matematico 2–3× più veloce e il 50% in meno di memoria rispetto a FP8 • Accuratezza? Praticamente identica. (MMLU-Pro: FP8 = 62.62%, NVFP4 = 62.58%) • Problemi di stabilità? Risolti utilizzando trasformazioni Random Hadamard, arrotondamento stocastico e scaling 2D • Addestrato interamente su GPU NVIDIA Blackwell, il primo run a 4 bit stabile su 10T token Questa è la prima dimostrazione di successo di pre-addestramento su larga scala a 4 bit senza perdere accuratezza. La prossima generazione di modelli di frontiera sarà più veloce, più economica e più ecologica senza compromessi.