我认为我们应该从大型语言模型(LLMs)取得的巨大成功中得出一个结论,那就是人类知识和社会中有多少内容存在于非常低的Kolmogorov复杂性水平。 我们正进入一个时代,在这个时代中,人类文化艺术品的最小表示... (1/12)
...将会是一个通用的 LLM 提示。这些提示将会比实际的工件更紧凑几个数量级。例如,编码代理的巨大成功表明,大多数软件工件的源代码是几个数量级的... (2/12)
...比明确指定该软件工件所需的真正最小算法表示要膨胀得多。同样适用于人类的写作、研究、交流。通过成为算法信息的高效解压器,LLMs 已经... (3/12)
...揭示了我们自身冗长的可怕程度。这种冗长的部分无疑源于我们正式表示语言(如编程语言)的局限性。但其中一部分似乎也是固有的,可能是作为人类错误修正的一种手段。(4/12)
当预期的解压器非常有损(就像人类思维一样)时,使用大量同义词和语法修饰来过度指定表示似乎是明智的。当预期的解压器更接近完美无损(如大型语言模型(LLMs)正在迅速成为的那样)时,这就显得不那么合理了。(5/12)
数学和物理学代表了有趣的测试案例。数学中的公理化过程是一种算法压缩形式:所有真实的定理总是"包含"在公理和推理规则的表示中,但这个过程... (6/12)
...解压这个表示可能是任意困难的。然而,解压(定理证明)和压缩(逆数学)过程的细节在某种意义上才是真正的数学兴趣所在。物理学也是如此。(7/12)
如果一个人足够天真,可能会声称物理学是关于寻找物质宇宙的最小算法压缩。然而,(解)压缩的细节最终才是重要的。仅仅找到宇宙的最小表示... (8/12)
...并不会“解决物理学”,就像发现 ZFC 公理并没有“解决数学”一样。[如果有人相信,正如我所相信的,宇宙最终可以用计算术语来建模,那么在某种意义上,这种表示已经存在:它是一个通用图灵机。] (9/12)
大型语言模型(LLMs)在算法信息的解压缩方面表现出色,它们在定理证明和软件开发中的成功就是证明。它们在压缩方面的能力目前似乎不太明确。然而,发现最小表示形式,... (10/12)
...无论是机智的格言还是妙语(目前的LLM在这方面普遍糟糕),还是表征数学美的压缩公理化表达(目前的LLM在这方面大多未经测试),都是深刻人类智慧的标志之一。 (11/12)
所以我认为,效率和无损性在压缩和解压缩方面变得越来越明显,它们共同代表了我们可以开始参数化可能的(智能)思维空间的四个潜在轴线。 但其他的是什么呢? (12/12)
765