Отлично видеть, что @AMD выбрала vLLM в качестве одной из назначенных платформ для вывода на GPU MODE Hackathon. 🎉 Задача: добиться максимальной производительности вывода Kimi K2.5 1T FP4 от начала до конца на 8× AMD Instinct MI355X — используя vLLM или AMD ATOM. Главный приз: 650 000 долларов. Что делает это особенным: выигравшие оптимизации должны быть совместимы с AMD ATOM или vLLM в будущем. Улучшения, которые попадают в vLLM, приносят пользу всему сообществу. Этап 1 (оптимизация ядра) продлится до 6 апреля. Больше деталей ⬇️