Totalmente equivocado. Los tamaños de los modelos van a ser mucho más grandes en 2026 como resultado de mundos de escalado más grandes en los racks de Nvidia (y también en los de Google TPU), pasando de B200s con 1.4 TB por mundo de escalado de 8 chips a GB300 con 20 TB por mundo de escalado.
expatanon
expatanon18 mar, 03:04
Altman admitió que los modelos de transformadores han llegado a un límite. La mayoría de las mejoras en los últimos 9 meses se deben más a las herramientas alrededor del modelo que a los propios modelos. En otras palabras, esta tecnología está madurando rápidamente sin signos de otro salto.
Las impresionantes inversiones en centros de datos de 2024/2025 están comenzando a entrar en funcionamiento ahora, con hardware mucho mejor que los modelos de la generación actual que están optimizados para la inferencia.
111