Het is belangrijk om te bevestigen dat je bibliotheek kan worden gebruikt door LLM's. Die LLM die flash attention in tinygrad heeft gecodeerd, presteert beter dan de AOTriton versie in PyTorch op mijn AMD Strix Halo.
harshbajpai
harshbajpai14 uur geleden
Haha, geohot tagt PR's met de zin "ai slop" XD
En het is niet dichtbij. Het is 1,8x sneller. Dit is met de tinygrad DSL. De vervanger voor BEAM zal LLM zijn.
72