🚀 HySparse ile tanışın: Uzun bağlamlı LLM verimliliğinde yeni atılımımız! HySparse (Hybrid Sparse Attention)'ı paylaşmaktan heyecan duyuyoruz—her tam dikkat katmanını birden fazla seyrek dikkat katmanıyla birleştiren, seyrek katmanların stratejik olarak önceki tam katmandan önemli token seçimi ve KV önbelleklerini türettiği hibrit model mimarisi! 📖 Kağıt bağlantısı: