Creo que una de las conclusiones que deberíamos sacar del tremendo éxito de los LLMs es cuánto del conocimiento humano y de la sociedad existe en niveles muy bajos de complejidad de Kolmogorov. Estamos entrando en una era donde la representación mínima de un artefacto cultural humano... (1/12)

...será, genéricamente, un aviso de LLM. Y esos avisos serán, genéricamente, órdenes de magnitud más compactos que los propios artefactos. El gran éxito de los agentes de codificación, por ejemplo, indica que el código fuente de la mayoría de los artefactos de software es órdenes de... (2/12)

...magnitude más inflado que la representación algorítmica verdaderamente mínima requerida para especificar ese artefacto de software de manera inequívoca. Igualmente ocurre con gran parte de la escritura humana, la investigación, la comunicación. Al ser tales descompresores eficientes de información algorítmica, los LLMs han... (3/12)

...traicionó la aterradora extensión de nuestra propia verbosidad. Parte de esa verbosidad sin duda surge de las limitaciones de nuestros lenguajes de representación formal (como los lenguajes de programación). Pero parte de ello también parece ser inherente, probablemente como un medio de corrección de errores humanos. (4/12)

Cuando el descompresor previsto es muy lossy (como una mente humana), especificar en exceso la representación con muchos sinónimos y adornos sintácticos parece prudente. Cuando el descompresor previsto se acerca a ser perfectamente lossless (como los LLMs están convirtiéndose rápidamente), tiene menos sentido. (5/12)

Las matemáticas y la física representan casos de prueba interesantes. El proceso de axiomatización en matemáticas es una forma de compresión algorítmica: todos los teoremas verdaderos están siempre "contenidos" en la representación de los axiomas y las reglas de inferencia, pero el proceso de... (6/12)

...descomprimir esta representación puede ser arbitrariamente difícil. Sin embargo, los detalles de cómo ocurren los procesos de descompresión (demostración de teoremas) y compresión (matemáticas inversas) son, en cierto sentido, los verdaderos objetos de interés matemático. Lo mismo ocurre con la física. (7/12)

Uno podría, si fuera lo suficientemente ingenuo, afirmar que la física trata de encontrar compresiones algorítmicas mínimas del universo físico. Sin embargo, los detalles de la (de)compresión son, en última instancia, lo que importa. Meramente encontrar una representación mínima del universo... (8/12)

...no "resolvería la física", al igual que descubrir los axiomas ZFC "no resolvió las matemáticas". [Si uno cree, como yo, que el universo puede ser modelado en términos computacionales, entonces en cierto sentido esta representación ya existe: es una máquina de Turing universal.] (9/12)

Los LLM son notablemente efectivos como descompresores de información algorítmica, y su éxito en la demostración de teoremas y el desarrollo de software es un testimonio de ello. Sus capacidades en compresión actualmente parecen menos claras. Sin embargo, descubrir representaciones mínimas,... (10/12)

...ya sean aforismos ingeniosos o bon mots (en los que los LLM actuales son uniformemente horribles), o las representaciones axiomáticas comprimidas que caracterizan la belleza matemática (en las que los LLM actuales son en gran medida no probados), constituyen una de las características del profundo intelecto humano. (11/12)

Así que creo que se está volviendo cada vez más claro que la eficiencia y la ausencia de pérdidas, tanto en la compresión como en la descompresión, representan juntos cuatro ejes potenciales a lo largo de los cuales podemos comenzar a parametrizar el espacio de posibles mentes (inteligentes). Pero, ¿cuáles son los otros? (12/12)