Mẫu mới nhất trong dòng Mamba cuối cùng cũng đã có mặt 🐍 Các mẫu hybrid ngày càng trở nên phổ biến, làm tăng tầm quan trọng của việc thiết kế thế hệ tiếp theo của các mẫu tuyến tính. Chúng tôi đã giới thiệu một số ý tưởng tập trung vào SSM để tăng cường khả năng mô hình hóa của Mamba-2 một cách đáng kể mà không làm giảm tốc độ. Mẫu Mamba-3 kết quả có sự cải thiện hiệu suất rõ rệt so với các mẫu tuyến tính trước đó phổ biến nhất (như Mamba-2 và Gated DeltaNet) ở tất cả các kích thước. Đây là Mamba đầu tiên do sinh viên dẫn dắt: tất cả công lao thuộc về @aakash_lahoti @kevinyli_ @_berlinchen @caitWW9, và tất nhiên là @tri_dao!