1/ Icke-linjära RNN misslyckades inte med språkmodellering på grund av icke-linjäritet. De misslyckades eftersom vektordolda tillstånd komprimerar för mycket kontext. Att utvidga tillståndet till en matris förändrar allt. 🧵