Причина, по которой нам удалось сделать наше вспышечное внимание в 1,8 раза быстрее, чем у torch, заключается в качестве нашего профайлера ядра. Если у вас RDNA3, запустите с VIZ=2.

Вы можете увеличить масштаб и увидеть проблему и выполнение каждой инструкции. Это позволяет быстро выявлять узкие места.

LLM также могут играть, вам не нужен веб-интерфейс. extra/viz/cli.py может читать те же файлы профилировщика. Это все еще немного сыро, но это позволит создать лучший автопоисковый конвейер для скорости ядра.