Cred că una dintre concluziile pe care ar trebui să le tragem din succesul uriaș al LLM-urilor este cât de mult din cunoașterea și societatea umană există la niveluri foarte scăzute de complexitate Kolmogorov. Intrăm într-o eră în care reprezentarea minimă a unui artefact cultural uman... (1/12)

... va fi, în mod general, un prompt pentru LLM. Iar acele solicitări vor fi, în mod general, cu ordine de mărime mai compacte decât artefactele în sine. Marele succes al agenților de codare, de exemplu, indică faptul că codul sursă al majorității artefactelor software este de ordine... (2/12)

... Magnitudine mai umflată decât reprezentarea algoritmică cu adevărat minimă necesară pentru a specifica acel artefact software fără echivoc. La fel și pentru mare parte din scrierea, cercetarea și comunicarea umană. Prin faptul că sunt astfel de decompresori eficienți ai informației algoritmice, LLM-urile au... (3/12)

... a trădat îngrozitoarea propriei noastre cuvinte. O parte din această verbozitate provine, fără îndoială, din limitările limbajelor noastre formale de reprezentare (cum ar fi cele de programare). Dar o parte pare și inerentă, probabil ca un mijloc de corectare a erorilor umane. (4/12)

Când decompresorul intenționat este foarte cu pierderi (ca o minte umană), supraspecificarea reprezentării cu multe sinonime și zahăr sintactic pare prudentă. Când decompresorul intenționat este mai aproape perfect fără pierderi (așa cum devin rapid LLM-urile), are mai puțin sens. (5/12)

Matematica și fizica reprezintă cazuri de testare interesante. Procesul de axiomatizare în matematică este o formă de compresie algoritmică: toate teoremele adevărate sunt întotdeauna "conținute" în reprezentarea axiomelor și regulilor inferenței, dar procesul de... (6/12)

... decomprimarea acestei reprezentări poate fi arbitrar de dificilă. Totuși, detaliile modului în care au loc procesele de decompresie (demonstrare a teoremei) și comprimare (matematică inversă) sunt, într-un anumit sens, adevăratele obiecte de interes matematic. La fel și cu fizica. (7/12)

Cineva ar putea, dacă ar fi suficient de naiv, să afirme că fizica înseamnă găsirea unor compresii algoritmice minime ale universului fizic. Din nou, detaliile (de)compresiei sunt, în cele din urmă, cele mai importante. Doar găsind o reprezentare minimă a universului... (8/12)

... nu ar "rezolva fizica", la fel cum descoperirea axiomelor ZFC "rezolva matematica". [Dacă cineva crede, așa cum cred eu, că universul poate fi modelat în termeni computaționali, atunci, într-un anumit sens, această reprezentare există deja: este o mașină Turing universală.] (9/12)

LLM-urile sunt decompresoare remarcabil de eficiente ale informației algoritmice, iar succesul lor în demonstrarea teoremei și dezvoltarea software este o dovadă a acestui fapt. Capacitățile lor în compresie par momentan mai puțin clare. Totuși, descoperind reprezentări minime,... (10/12)

... fie că sunt aforisme pline de spirit sau bon mots (la care LLM-urile actuale sunt uniform groaznice), fie reprezentările axiomatice comprimate care caracterizează frumusețea matematică (la care LLM-urile actuale sunt în mare parte netestate), constituie una dintre trăsăturile distinctive ale inteligenței umane profunde. (11/12)

Așadar, cred că devine tot mai clar că eficiența și lipsa pierderilor, atât prin compresie, cât și prin decompresie, reprezintă împreună patru axe potențiale de-a lungul cărora putem începe să parametrizăm spațiul minților posibile (inteligente). Dar care sunt celelalte? (12/12)