Je důležité ověřit, že vaše knihovna může být využita LLM. Ta flash pozornost kódovaná LLM v Tinygradu překonává AOTriton v PyTorch na mém AMD Strix Halo.
harshbajpai
harshbajpaiPřed 14 h
Haha, geohot označuje PR s větou "ai slop" XD
A není to ani zdaleka stejné. Je to 1,8krát rychlejší. To je pomocí tinygrad DSL. Náhradou za BEAM bude LLM.
71