Es genial ver @AMD seleccionar vLLM como uno de los frameworks de inferencia designados para el Hackathon de GPU MODE. 🎉 El reto: impulsar el rendimiento de inferencia de extremo a extremo del Kimi K2.5 1T FP4 en un 8× AMD Instinct MI355X — usando vLLM o AMD ATOM. Gran premio: 650.000 dólares. Lo que hace esto diferente: las optimizaciones ganadoras deben poder integrarse en AMD ATOM o vLLM aguas arriba. Las mejoras que llegan a vLLM benefician a toda la comunidad. La Fase 1 (optimización del núcleo) se extiende hasta el 6 de abril. Más detalles ⬇️