Geweldig om te zien dat @AMD vLLM heeft geselecteerd als een van de aangewezen inferentiekaders voor de GPU MODE Hackathon. 🎉 De uitdaging: push Kimi K2.5 1T FP4 end-to-end inferentieprestaties op 8× AMD Instinct MI355X — met gebruik van vLLM of AMD ATOM. Hoofdprijs: $650.000. Wat dit anders maakt: winnende optimalisaties moeten samengevoegd kunnen worden in AMD ATOM of vLLM upstream. Verbeteringen die in vLLM terechtkomen, komen de hele gemeenschap ten goede. Fase 1 (kerneloptimalisatie) loopt tot 6 april. Meer details ⬇️