🚀 Познакомьтесь с HySparse: нашим новым прорывом в эффективности LLM с длинным контекстом! Мы рады представить HySparse (Гибридное Разреженное Внимание) — гибридную архитектуру модели, которая чередует каждый полный слой внимания с несколькими разреженными слоями внимания, где разреженные слои стратегически извлекают важный выбор токенов и кеши KV из предшествующего полного слоя！ 📖 Ссылка на статью: