Kul att se @AMD välja vLLM som ett av de utvalda inferensramverken för GPU MODE Hackathon. 🎉 Utmaningen: att pressa Kimi K2.5 1T FP4 end-to-end inferensprestanda på 8× AMD Instinct MI355X — med vLLM eller AMD ATOM. Huvudpris: 650 000 dollar. Vad som gör detta annorlunda: vinnande optimeringar måste kunna slås ihop med AMD ATOM eller vLLM upstream. Förbättringar som hamnar i vLLM gynnar hela samhället. Fas 1 (kärnoptimering) pågår till och med den 6 april. Mer information ⬇️