Myślę, że jedną z konkluzji, które powinniśmy wyciągnąć z ogromnego sukcesu LLM-ów, jest to, jak wiele ludzkiej wiedzy i społeczeństwa istnieje na bardzo niskich poziomach złożoności Kolmogorowa. Wkraczamy w erę, w której minimalna reprezentacja ludzkiego artefaktu kulturowego... (1/12)

...będzie, ogólnie, poleceniem LLM. A te polecenia będą, ogólnie, o rzędy wielkości bardziej kompaktowe niż same artefakty. Wielki sukces agentów kodujących, na przykład, wskazuje, że kod źródłowy większości artefaktów oprogramowania jest o rzędy... (2/12)

...o wiele bardziej rozbudowane niż naprawdę minimalna algorytmiczna reprezentacja wymagana do jednoznacznego określenia tego artefaktu oprogramowania. Podobnie jest z dużą częścią ludzkiego pisania, badań, komunikacji. Dzięki temu, że są tak efektywnymi dekompresorami informacji algorytmicznej, LLM-y mają... (3/12)

...zdradziło przerażający zakres naszej własnej werbalności. Część tej werbalności niewątpliwie wynika z ograniczeń naszych formalnych języków reprezentacji (takich jak języki programowania). Ale część z tego wydaje się również wrodzona, prawdopodobnie jako środek do korekcji błędów ludzkich. (4/12)

Kiedy zamierzony dekompresor jest bardzo stratny (jak ludzki umysł), nadmierne określenie reprezentacji z wieloma synonimami i syntaktycznym cukrem wydaje się rozsądne. Kiedy zamierzony dekompresor jest bliższy idealnie bezstratnemu (jak LLM-y szybko stają się), ma to mniej sensu. (5/12)

Matematyka i fizyka stanowią interesujące przypadki testowe. Proces aksjomatyzacji w matematyce jest formą kompresji algorytmicznej: wszystkie prawdziwe twierdzenia są zawsze "zawarte" w reprezentacji aksjomatów i reguł wnioskowania, ale proces... (6/12)

...dekompresja tej reprezentacji może być dowolnie trudna. Niemniej jednak szczegóły dotyczące tego, jak zachodzą procesy dekompresji (dowodzenie twierdzeń) i kompresji (matematyka odwrotna), są w pewnym sensie prawdziwymi obiektami matematycznego zainteresowania. Podobnie jest z fizyką. (7/12)

Można by, gdyby ktoś był wystarczająco naiwny, twierdzić, że fizyka polega na znajdowaniu minimalnych algorytmicznych kompresji fizycznego wszechświata. Jednak to szczegóły (de)kompresji są ostatecznie tym, co ma znaczenie. Samo znalezienie minimalnej reprezentacji wszechświata... (8/12)

...nie "rozwiązałby fizyki", tak samo jak odkrycie aksjomatów ZFC "nie rozwiązało matematyki". [Jeśli ktoś wierzy, tak jak ja, że wszechświat można ostatecznie modelować w kategoriach obliczeniowych, to w pewnym sensie ta reprezentacja już istnieje: to uniwersalna maszyna Turinga.] (9/12)

LLM-y są niezwykle skutecznymi dekompresorami informacji algorytmicznej, a ich sukces w dowodzeniu twierdzeń i rozwoju oprogramowania jest tego dowodem. Ich możliwości w zakresie kompresji wydają się obecnie mniej jasne. Jednak odkrywanie minimalnych reprezentacji,... (10/12)

...czy to błyskotliwe aforyzmy, czy bon moty (w czym obecne LLM są jednolicie okropne), czy skompresowane aksjomatyczne reprezentacje, które charakteryzują matematyczne piękno (w czym obecne LLM są w dużej mierze nieprzetestowane), stanowi jeden z wyróżników głębokiej ludzkiej inteligencji. (11/12)

Myślę, że coraz bardziej oczywiste staje się, że efektywność i brak strat, zarówno w kompresji, jak i dekompresji, razem reprezentują cztery potencjalne osie, wzdłuż których możemy zacząć parametryzować przestrzeń możliwych (inteligentnych) umysłów. Ale jakie są pozostałe? (12/12)