🚨 NVIDIA acaba de hacer lo imposible. Entrenaron un modelo de lenguaje de 12B parámetros en 10 billones de tokens completamente en precisión de 4 bits. Se llama NVFP4, y podría redefinir cómo se entrenan los modelos de IA de frontera. Aquí está por qué esto es importante: • NVFP4 ofrece un rendimiento matemático de 2 a 3 veces más rápido y un 50% menos de memoria en comparación con FP8 • ¿Precisión? Prácticamente idéntica. (MMLU-Pro: FP8 = 62.62%, NVFP4 = 62.58%) • ¿Problemas de estabilidad? Resueltos utilizando transformaciones aleatorias de Hadamard, redondeo estocástico y escalado 2D • Entrenado completamente en GPUs NVIDIA Blackwell, la primera ejecución de 4 bits estable en 10T tokens Esta es la primera demostración exitosa de preentrenamiento a gran escala de 4 bits sin perder precisión. La próxima generación de modelos de frontera será más rápida, más barata y más ecológica sin compromisos.