🚀 Conheça o HySparse: Nossa nova inovação na eficiência de LLM de longo contexto! Estamos entusiasmados em apresentar o HySparse (Atenção Híbrida Esparsa)—uma arquitetura de modelo híbrido que intercala cada camada de atenção completa com várias camadas de atenção esparsa, onde as camadas esparsas derivam estrategicamente a seleção de tokens importantes e caches KV da camada completa anterior！ 📖 Link do artigo: