フラッシュアテンションがトーチの1.8倍速くなっていた理由は、カーネルプロファイラの品質にあります。RDNA3ならVIZ=2で実行してください。

ズームインすると、各指示の問題点や要点が確認できます。ボトルネックが見えるのが非常に早いです。

LLMもプレイできますが、ウェブインターフェースは必要ありません。Extra/Viz/cli.py は同じプロファイラーファイルを読み取ることができます。まだ少し粗削りですが、これによりカーネル速度に最適化されたオートリサーチパイプラインが可能になります。