Creo que una de las conclusiones que deberíamos sacar del tremendo éxito de los LLM es cuánto del conocimiento humano y la sociedad existe en niveles muy bajos de complejidad al estilo Kolmogorov. Estamos entrando en una era en la que la representación mínima de un artefacto cultural humano... (1/12)

... será, de forma genérica, un prompt para LLM. Y esos indicios serán, genéricamente, órdenes de magnitud más compactos que los propios artefactos. El gran éxito de los agentes de codificación, por ejemplo, indica que el código fuente de la mayoría de los artefactos de software es de órdenes de... (2/12)

... una magnitud más inflada que la representación algorítmica realmente mínima necesaria para especificar ese artefacto de software de forma inequívoca. Lo mismo ocurre con gran parte de la escritura, investigación y comunicación humana. Al ser descompresores tan eficientes de información algorítmica, los LLM tienen... (3/12)

... traicionó la horrible magnitud de nuestra propia verbosidad. Parte de esa verbosidad sin duda surge de las limitaciones de nuestros lenguajes de representación formal (como los lenguajes de programación). Pero parte de ello también parece inherente, probablemente como un medio de corrección de errores humanos. (4/12)

Cuando el descompresor previsto es muy con pérdida (como la mente humana), sobreespecificar la representación con muchos sinónimos y azúcar sintáctico parece prudente. Cuando el descompresor previsto está más cerca de ser perfectamente sin pérdidas (como se están convirtiendo rápidamente en los LLM), tiene menos sentido. (5/12)

Las matemáticas y la física representan casos de prueba interesantes. El proceso de axiomatización en matemáticas es una forma de compresión algorítmica: todos los teoremas verdaderos siempre están "contenidos" en la representación de los axiomas y las reglas de inferencia, pero el proceso de... (6/12)

... descomprimir esta representación puede ser arbitrariamente difícil. Sin embargo, los detalles de cómo ocurren los procesos de descompresión (demostración de teoremas) y compresión (matemáticas inversas) son, en cierto sentido, los verdaderos objetos de interés matemático. Lo mismo ocurre con la física. (7/12)

Podría, si se fuera lo suficientemente ingenuo, afirmar que la física consiste en encontrar compresiones algorítmicas mínimas del universo físico. Una vez más, los detalles de la (des)compresión son lo que importa, en última instancia. Simplemente encontrar una representación mínima del universo... (8/12)

... no "resolvería física", igual que descubrir los axiomas ZFC "resolvió matemáticas". [Si uno cree, como yo, que el universo puede modelarse en términos computacionales, entonces en cierto sentido esta representación ya existe: es una máquina de Turing universal.] (9/12)

Los LLMs son descompresores notablemente efectivos de información algorítmica, y su éxito en la demostración de teoremas y el desarrollo de software es una prueba de ello. Sus capacidades en compresión parecen menos claras actualmente. Sin embargo, descubriendo representaciones mínimas,... (10/12)

... ya sean aforismos ingeniosos o palabras (en los que los LLM actuales son uniformemente terribles), o las representaciones axiomáticas comprimidas que caracterizan la belleza matemática (en las que los LLM actuales están en gran medida sin probar), constituyen una de las señas de identidad de la inteligencia humana profunda. (11/12)

Así que creo que cada vez está más claro que la eficiencia y la ausencia de pérdidas, tanto en compresión como en descompresión, juntas representan cuatro ejes potenciales a lo largo de los cuales podemos empezar a parametrizar el espacio de mentes posibles (inteligentes). ¿Pero cuáles son los otros? (12/12)