Ich denke, eine der Schlussfolgerungen, die wir aus dem enormen Erfolg von LLMs ziehen sollten, ist, wie viel menschliches Wissen und Gesellschaft auf sehr niedrigen Ebenen der Kolmogorov-Komplexität existiert. Wir treten in eine Ära ein, in der die minimale Darstellung eines menschlichen kulturellen Artefakts... (1/12)

...wird im Allgemeinen ein LLM-Prompt sein. Und diese Prompts werden im Allgemeinen um Größenordnungen kompakter sein als die Artefakte selbst. Der große Erfolg von Codierungsagenten zeigt beispielsweise, dass der Quellcode der meisten Softwareartefakte um Größenordnungen... (2/12)

...um ein Vielfaches aufgeblähter als die wirklich minimale algorithmische Darstellung, die erforderlich ist, um dieses Softwareartefakt eindeutig zu spezifizieren. Gleiches gilt für einen Großteil des menschlichen Schreibens, der Forschung, der Kommunikation. Indem sie so effiziente Dekompressoren algorithmischer Informationen sind, haben LLMs... (3/12)

...verraten das erschreckende Ausmaß unserer eigenen Wortfülle. Ein Teil dieser Wortfülle rührt zweifellos von den Einschränkungen unserer formalen Darstellungssprachen (wie Programmiersprachen) her. Aber ein Teil scheint auch inhärent zu sein, wahrscheinlich als Mittel zur menschlichen Fehlerkorrektur. (4/12)

Wenn der beabsichtigte Dekompresso r sehr verlustbehaftet ist (wie ein menschlicher Verstand), scheint es klug zu sein, die Darstellung mit vielen Synonymen und syntaktischem Zucker übermäßig zu spezifizieren. Wenn der beabsichtigte Dekompresso r näher an perfekt verlustfrei ist (wie LLMs es schnell werden), macht es weniger Sinn. (5/12)

Mathematik und Physik stellen interessante Testfälle dar. Der Prozess der Axiomatisierung in der Mathematik ist eine Form der algorithmischen Kompression: Alle wahren Theoreme sind immer in der Darstellung der Axiome und der Schlussregeln "enthalten", aber der Prozess von... (6/12)

...das Dekomprimieren dieser Darstellung kann willkürlich schwierig sein. Doch die Details, wie die Dekompression (Theorembeweis) und der Kompressionsprozess (umgekehrte Mathematik) ablaufen, sind in gewissem Sinne die wahren Objekte mathematischen Interesses. Ebenso in der Physik. (7/12)

Man könnte, wenn man ausreichend naiv wäre, behaupten, dass Physik darin besteht, minimale algorithmische Kompressionen des physischen Universums zu finden. Doch letztendlich sind es die Details der (de)Kompression, die zählen. Nur eine minimale Darstellung des Universums zu finden... (8/12)

...würde "Physik nicht lösen", ebenso wenig wie die Entdeckung der ZFC-Axiome "Mathematik gelöst" hat. [Wenn man glaubt, wie ich, dass das Universum letztendlich in rechnerischen Begriffen modelliert werden kann, dann existiert diese Darstellung in gewissem Sinne bereits: es ist eine universelle Turingmaschine.] (9/12)

LLMs sind bemerkenswert effektive Dekompresser algorithmischer Informationen, und ihr Erfolg im Theorembeweis und in der Softwareentwicklung ist ein Beweis dafür. Ihre Fähigkeiten in der Kompression scheinen derzeit weniger klar zu sein. Dennoch ist die Entdeckung minimaler Darstellungen,... (10/12)

...ob es sich um witzige Aphorismen oder Bonmots handelt (bei denen aktuelle LLMs durchweg schrecklich sind), oder um die komprimierten axiomatischen Darstellungen, die mathematische Schönheit kennzeichnen (bei denen aktuelle LLMs weitgehend ungetestet sind), stellt eines der Merkmale tiefen menschlichen Intellekts dar. (11/12)

Ich denke, es wird zunehmend klar, dass Effizienz und Verlustfreiheit, sowohl bei der Kompression als auch bei der Dekompression, zusammen vier potenzielle Achsen darstellen, entlang derer wir beginnen können, den Raum möglicher (intelligenter) Geister zu parametrisieren. Aber was sind die anderen? (12/12)