1/ Epälineaariset RNN:t eivät epäonnistuneet kielimallinnuksessa epälineaarisuuden vuoksi. Ne epäonnistuivat, koska vektorien piilotilat tiivistävät liikaa kontekstia. Tilan laajentaminen matriisiksi muuttaa kaiken. 🧵