1/ Nieliniowe RNN-y nie zawiodły w modelowaniu języka z powodu nieliniowości. Zawiodły, ponieważ wektorowe stany ukryte kompresują zbyt dużo kontekstu. Rozszerzenie stanu do macierzy zmienia wszystko. 🧵