Mielestäni yksi johtopäätös, jonka tulisi tehdä LLM:ien valtavasta menestyksestä, on se, kuinka suuri osa ihmisen tiedosta ja yhteiskunnasta on hyvin matalalla Kolmogorovin monimutkaisuustasolla. Olemme siirtymässä aikaan, jolloin ihmiskulttuurisen artefaktin minimaalinen edustus... (1/12)

... tulee olemaan yleisesti ottaen LLM-kehote. Ja nuo kehotteet ovat yleisesti ottaen moninkertaisesti tiiviimpiä kuin itse artefaktit. Esimerkiksi koodausagenttien suuri menestys osoittaa, että useimpien ohjelmistoartefaktien lähdekoodi on järjestyksessä... (2/12)

... Suuruus paisui enemmän kuin se todella minimaalinen algoritminen esitys, joka vaaditaan kyseisen ohjelmistoartefaktin yksiselitteiseen määrittelyyn. Samoin suuri osa ihmiskirjoittamisesta, tutkimuksesta ja viestinnästä. Koska LLM:t ovat niin tehokkaita algoritmisen tiedon purkajia, ne ovat... (3/12)

... paljasti oman jaarittelun kauhistuttavan laajuuden. Osa tästä sanakkuudesta johtuu epäilemättä muodollisten esityskielten (kuten ohjelmointikielten) rajoituksista. Mutta osa siitä vaikuttaa myös luontaiselta, todennäköisesti keinona korjata inhimillisiä virheitä. (4/12)

Kun tarkoitettu dekompressori on hyvin häviöllinen (kuten ihmismielessä), esityksen liiallinen määrittely runsailla synonyymeillä ja syntaktisella sokerilla tuntuu järkevältä. Kun tarkoitettu dekompressori on lähempänä täydellistä häviöttömyyttä (kuten LLM:t ovat nopeasti muuttumassa), se on vähemmän järkevää. (5/12)

Matematiikka ja fysiikka ovat mielenkiintoisia testitapauksia. Aksiomatisointiprosessi matematiikassa on eräänlainen algoritminen pakkaus: kaikki todelliset teoreemat ovat aina "sisällytettyjä" aksiomien ja päättelysääntöjen esitykseen, mutta prosessi... (6/12)

... Tämän esityksen purkaminen voi olla mielivaltaisen vaikeaa. Kuitenkin yksityiskohdat siitä, miten dekompressio (teoreeman todistaminen) ja puristus (käänteinen matematiikka) tapahtuvat, ovat jossain mielessä matemaattisesti kiinnostavia kohteita. Sama pätee fysiikkaan. (7/12)

Voisi, jos olisi tarpeeksi naiivi, väittää, että fysiikka tarkoittaa fysikaalisen universumin minimialgoritmisten pakkausten löytämistä. Jälleen kerran (de)kompression yksityiskohdat ovat lopulta tärkeitä. Pelkkä minimaalisen kuvan löytäminen universumista... (8/12)

... ei "ratkaisisi fysiikkaa", aivan kuten ZFC:n aksioomien "ratkaistu matematiikka" löytäminen. [Jos uskoo, kuten minäkin, että universumia voidaan lopulta mallintaa laskennallisesti, niin eräänlaisesti tämä esitys on jo olemassa: se on universaali Turingin kone.] (9/12)

LLM:t ovat poikkeuksellisen tehokkaita algoritmisen tiedon purkajia, ja niiden menestys teoreemojen todistamisessa ja ohjelmistokehityksessä todistaa tämän. Heidän pakkauskykynsä vaikuttavat tällä hetkellä epäselvältä. Silti löytää minimaalisia representaatioita,... (10/12)

... olipa kyseessä nokkelat aforismit tai bon motit (joissa nykyään LLM:t ovat aina huonoja), tai tiivistetyt aksiomaattiset esitykset, jotka leimaavat matemaattista kauneutta (missä LLM:t ovat nykyään suurelta osin testaamatta), muodostavat yhden syvän ihmisen älykkyyden tunnusmerkeistä. (11/12)

Siksi mielestäni on yhä selvempää, että tehokkuus ja häviöttömyys, sekä puristuksessa että dekompressiossa, yhdessä edustavat neljää mahdollista akselia, joiden avulla voimme alkaa parametrisoida mahdollisten (älykkäiden) mielten tilaa. Mutta mitä muut ovat? (12/12)