Kütüphanenizin LLM'ler tarafından kullanılabileceğini doğrulamak önemlidir. Tinygrad'daki o LLM kodlu flash dikkat, AMD Strix Halo'mda PyTorch'taki AOTriton'dan daha iyi performans gösteriyor.
harshbajpai
harshbajpai12 Sa Önce
Haha, geohot PR'ları "ai slop" çizgisiyle etiketliyor XD
Ve yakın değil. 1,8 kat daha hızlı. Bu tinygrad DSL kullanıyor. BEAM'in yerine LLM geçecek.
65