Ik denk dat een van de conclusies die we moeten trekken uit het enorme succes van LLM's is hoeveel menselijke kennis en samenleving bestaat op zeer lage niveaus van Kolmogorov-complexiteit. We betreden een tijdperk waarin de minimale representatie van een menselijk cultureel artefact... (1/12)

...zal, in het algemeen, een LLM-prompt zijn. En die prompts zullen, in het algemeen, orders van grootte compacter zijn dan de artefacten zelf. Het grote succes van coderingsagenten, bijvoorbeeld, geeft aan dat de broncode van de meeste softwareartefacten orders van... (2/12)

...een veel grotere omvang dan de werkelijk minimale algorithmische representatie die nodig is om dat software-artifact ondubbelzinnig te specificeren. Hetzelfde geldt voor veel van het menselijke schrijven, onderzoek, communicatie. Door zulke efficiënte decompressoren van algorithmische informatie te zijn, hebben LLM's... (3/12)

...verraadden de angstaanjagende omvang van onze eigen woordelijkheid. Een deel van die woordelijkheid komt ongetwijfeld voort uit de beperkingen van onze formele representatietalen (zoals programmeertalen). Maar een deel lijkt ook inherent, waarschijnlijk als een middel voor menselijke foutcorrectie. (4/12)

Wanneer de bedoelde decompressie zeer verliesgevend is (zoals een menselijke geest), lijkt het verstandig om de representatie te overspecificeren met veel synoniemen en syntactische versieringen. Wanneer de bedoelde decompressie dichter bij perfect verliesloos is (zoals LLM's snel aan het worden zijn), heeft het minder zin. (5/12)

Wiskunde en natuurkunde vertegenwoordigen interessante testgevallen. Het proces van axiomatizering in de wiskunde is een vorm van algorithmische compressie: alle ware stellingen zijn altijd "bevat" in de representatie van de axioma's en de regels van afleiding, maar het proces van... (6/12)

...het decomprimeren van deze representatie kan arbitrair moeilijk zijn. Toch zijn de details van hoe de decompressie (theorembewijs) en compressie (omgekeerde wiskunde) processen plaatsvinden, in zekere zin, de ware objecten van wiskundige interesse. Evenzo met de natuurkunde. (7/12)

Men zou, als men voldoende naïef was, kunnen beweren dat de natuurkunde gaat over het vinden van minimale algoritmische compressies van het fysieke universum. Toch zijn het uiteindelijk de details van (de)compressie die ertoe doen. Slechts het vinden van een minimale representatie van het universum... (8/12)

...zou "fysica niet oplossen", net zoals het ontdekken van de ZFC-axioma's "wiskunde niet oploste". [Als men gelooft, zoals ik, dat het universum uiteindelijk in computationele termen gemodelleerd kan worden, dan bestaat deze representatie in zekere zin al: het is een universele Turingmachine.] (9/12)

LLM's zijn opmerkelijk effectieve decompressoren van algorithmische informatie, en hun succes in het bewijzen van stellingen en softwareontwikkeling is een bewijs daarvan. Hun mogelijkheden op het gebied van compressie lijken momenteel minder duidelijk. Toch is het ontdekken van minimale representaties,... (10/12)

...of ze nu geestige aforismen of bon mots zijn (waar LLM's momenteel uniform slecht in zijn), of de gecomprimeerde axioma-achtige representaties die de wiskundige schoonheid kenmerken (waar LLM's momenteel grotendeels ongetest in zijn), vormt een van de kenmerken van diepe menselijke intelligentie. (11/12)

Dus ik denk dat het steeds duidelijker wordt dat efficiëntie en verliesloosheid, zowel bij compressie als decompressie, samen vier potentiële assen vertegenwoordigen waarlangs we de ruimte van mogelijke (intelligente) geesten kunnen beginnen te parameteriseren. Maar wat zijn de andere? (12/12)