E grozav să @AMD aleg vLLM ca unul dintre cadrele de inferență desemnate pentru GPU MODE Hackathon. 🎉 Provocarea: promovează performanța inferenței end-to-end a Kimi K2.5 1T FP4 pe AMD Instinct MI355X 8× — folosind vLLM sau AMD ATOM. Marele premiu: 650.000 de dolari. Ce face acest lucru diferit: optimizările câștigătoare trebuie să poată fi integrate în AMD ATOM sau vLLM în amonte. Îmbunătățirile care ajung la vLLM aduc beneficii întregii comunități. Faza 1 (optimizarea nucleului) se desfășoară până pe 6 aprilie. Mai multe detalii ⬇️