1/ ハードウェアのスケーリング危機に直面しています。GPUテンソルコアの速度は倍増していますが、メモリ帯域幅や指数関数的な数学的単位は停滞しています。基本的な数学が終わるのを待つ間、あなたの注意の核は休止している。🧵