1/ RNN phi tuyến không thất bại trong việc mô hình hóa ngôn ngữ vì tính phi tuyến. Chúng thất bại vì các trạng thái ẩn vector nén quá nhiều ngữ cảnh. Mở rộng trạng thái thành một ma trận thay đổi mọi thứ. 🧵