Jeg mener en av konklusjonene vi bør trekke fra den enorme suksessen til LLM-er, er hvor mye av menneskelig kunnskap og samfunn som eksisterer på svært lave nivåer av Kolmogorov-kompleksitet. Vi går inn i en æra hvor den minimale representasjonen av et menneskelig kulturelt artefakt... (1/12)

... vil generelt være en LLM-prompt. Og disse promptene vil generelt være mange størrelsesordener mer kompakte enn selve artefaktene. Den store suksessen til kodeagenter, for eksempel, indikerer at kildekoden til de fleste programvareartefakter består av ordener av... (2/12)

... Mye mer oppblåst enn den virkelig minimale algoritmiske representasjonen som kreves for å spesifisere det programvareartefaktet entydig. Det samme gjelder for mye av menneskelig skriving, forskning og kommunikasjon. Ved å være så effektive dekomprimerere av algoritmisk informasjon, har LLM-er... (3/12)

... avslørte det skremmende omfanget av vår egen ordrikdom. En del av denne ordrikdommen skyldes utvilsomt begrensningene i våre formelle representasjonsspråk (som programmeringsspråk). Men en del av det virker også iboende, sannsynligvis som en måte å korrigere menneskelige feil på. (4/12)

Når den tiltenkte dekompressoren er veldig tapsfull (som et menneskesinn), virker det fornuftig å overspesifisere representasjonen med mange synonymer og syntaktisk sukker. Når den tiltenkte dekompressoren er nærmere helt tapsfri (slik LLM-er raskt blir), gir det mindre mening. (5/12)

Matematikk og fysikk representerer interessante testtilfeller. Aksiomatiseringsprosessen i matematikk er en form for algoritmisk komprimering: alle de sanne teoremene er alltid "innesluttet" i representasjonen av aksiomene og slutningsreglene, men prosessen med... (6/12)

... Å dekomprimere denne representasjonen kan være vilkårlig vanskelig. Likevel er detaljene i hvordan dekomprimerings- (teorembevisende) og komprimeringsprosesser (omvendt matematikk) foregår, på en måte, de egentlige objektene av matematisk interesse. Det samme gjelder fysikk. (7/12)

Man kunne, hvis man var tilstrekkelig naiv, hevde at fysikk handler om å finne minimale algoritmiske kompresjoner av det fysiske universet. Igjen er det detaljene i (de)kompresjonen som til syvende og sist er det som betyr noe. Bare å finne en minimal representasjon av universet... (8/12)

... ville ikke «løst fysikk», like lite som å oppdage ZFC-aksiomene «løste matematikk». [Hvis man tror, som jeg gjør, at universet til slutt kan modelleres i beregningsmessige termer, så eksisterer denne representasjonen på en måte allerede: det er en universell Turing-maskin.] (9/12)

LLM-er er bemerkelsesverdig effektive dekomprimerere av algoritmisk informasjon, og deres suksess innen teorembevis og programvareutvikling er et bevis på dette. Deres kompresjonsevner virker for øyeblikket mindre klare. Likevel oppdaget de minimale representasjoner,... (10/12)

... enten det er vittige aforismer eller bon mots (hvor nåværende LLM-er er jevnt dårlige), eller de komprimerte aksiomatiske representasjonene som kjennetegner matematisk skjønnhet (som nåværende LLM-er stort sett er uprøvde på), utgjør et av kjennetegnene på dyp menneskelig intelligens. (11/12)

Så jeg tror det blir stadig tydeligere at effektivitet og tapsfrihet, både på kompresjon og dekompresjon, sammen representerer fire potensielle akser langs hvilke vi kan begynne å parameterisere rommet av mulige (intelligente) sinn. Men hva er de andre? (12/12)