Senang melihat @AMD memilih vLLM sebagai salah satu kerangka kerja inferensi yang ditunjuk untuk GPU MODE Hackathon. 🎉 Tantangannya: dorong kinerja inferensi end-to-end Kimi K2.5 1T FP4 pada 8× AMD Instinct MI355X — menggunakan vLLM atau AMD ATOM. Hadiah utama: $650,000. Apa yang membuat ini berbeda: pengoptimalan pemenang harus dapat digabungkan ke dalam AMD ATOM atau vLLM upstream. Perbaikan yang mendarat di vLLM menguntungkan seluruh masyarakat. Fase 1 (pengoptimalan kernel) berlangsung hingga 6 April. Keterangan ⬇️ lebih lanjut