1/ Niet-lineaire RNN's faalden niet in taalmodellering vanwege de niet-lineariteit. Ze faalden omdat vector verborgen toestanden te veel context comprimeren. Het uitbreiden van de toestand naar een matrix verandert alles. 🧵