GPU MODE Hackathon'@AMD için vLLM'i seçmek için belirlenmiş çıkarım çerçevelerinden biri olarak görmek harika. 🎉 Zorluk: 8× AMD Instinct MI355X'te Kimi K2.5 1T FP4 uçtan uca çıkarım performansını zorlamak — vLLM veya AMD ATOM kullanarak. Büyük ödül: 650.000 dolar. Bunu farklı kılan şey: kazanan optimizasyonlar AMD ATOM veya vLLM yukarı akışına birleştirilebilir olmalı. vLLM'de yer alan iyileştirmeler tüm topluluğa fayda sağlar. 1. aşama (çekirdek optimizasyonu) 6 Nisan'a kadar devam ediyor. Daha fazla detay ⬇️