1/ Nichtlineare RNNs sind beim Sprachmodellieren nicht wegen der Nichtlinearität gescheitert. Sie sind gescheitert, weil vektorielle verborgene Zustände zu viel Kontext komprimieren. Die Erweiterung des Zustands zu einer Matrix verändert alles. 🧵