朱松纯：大模型为什么不是AGI？

正文

请到「今天看啥」查看全文

(《缸中之脑：关于大语言模型建立的通用人工智能的一些缺失》) 。该论文指出大模型无异于“缸中之脑”，因为大模型本身并不存在于真实世界中，无法像人一样实现从“词语 （word） ”到“世界 （world） ”的联结。

这一点是由它的内在构造机制所决定的，即通过统计建模在大量文本上进行训练，学习文本之间的语言学相关关系，从而根据上一个词语预测下一个词语。缺乏符号落地使得大模型很容易陷入无限循环，如图 1-2 所示，用户启动了一个话题，让两个 GPT-4 进行对话，它们在只进行一轮对话后，就开始对彼此表示感谢，并且无限重复“感谢”。这与符号落地理论相呼应，即当不能建立从词语到世界的联结时，对话将进入无限循环。

图 1-2 两个 GPT-4 无限循环的对话

大模型的智能与其说是内在的，不如说是人类智能的投影。大模型生成的文本本身并不具有意义，其意义完全取决于人类用户对文本的阐释。美国语言学家诺姆·乔姆斯基 （Noam Chomsky） 曾经尝试挑战语言学界，构造了一个符合语法规范但无意义的句子：无色的绿思狂暴地沉睡 （Colorless green ideas sleep furiously） 。中国语言学之父赵元任在《从胡说中寻找意义》一文中，以一种充满哲思的方式阐释了这个句子：

我有一个朋友，总是充满各种想法，好的和坏的，精致的和粗糙的，陈旧的和新颖的。在付诸实践之前，他通常会把新     的想法放在心里，让它们成熟和发酵。然而，当他匆忙时，有时会在想法完全成熟之前就付诸实践，换句话说，当它们还很 “生”的时候。他的一些“生绿”想法非常生动且丰富多彩，但并非总是如此，有些则相当朴素和无色。当他想起一些无色的想法仍然太不成熟，以至于无法使用时，他会再次考虑，或者让它们“睡觉”，正如他所说的那样。但是，其中一些想法可能彼此冲突和矛盾，当它们在同一晚上一起“睡觉”时，它们会爆发激烈的争斗，将整个夜晚变成一场噩梦。因此，我的朋友经常抱怨说，他那些无色的“生绿”想法睡得很狂暴。

这段充满哲思的阐释让我们深刻理解到，文字本身并不携带固有的意义，而是人类赋予了它们意义。这种意义既可以是字词本身的含义，也可以是结合了现实生活体验，从而超越单个字词而在语境中创造出来的新的含义。因此，意义的前提是符号落地。

现在的大模型更多的是在纯符号空间中进行符号组合，即使它们生成了诸如“我爱你”这样的语 句，也不过是另一种形式的“缸中之脑”。 这种表达缺乏对人类真实生活体验的深刻理解，因此与我们所认同和期待的“我爱你”有着本质的不同。

02

是真的掌握了概念，

还是仅仅形成了“隐藏记忆”

大模型训练数据集的不透明性，以及人类评估时所采取的指标差异，可能导致人类高估了大模型的真实性能。

大模型通常利用庞大且容易获取的互联网数据进行训练，而训练数据中可能包括了用于后续评估的数据集。由于我们目前无法确切了解 GPT-4 等大模型训练数据集的构成，“泛化”这一概念变得模糊不清。我们难以判断这些模型是真的掌握了核心概念，还是仅仅在从训练过程中形成的“隐藏记忆”中进行检索。这种不透明性阻碍了学术界对这些模型进行公正和可靠的评估。

图 1-3 显示的是一道连掌握加减进位运算的小学生都能正确解答的数学题，但是 GPT-4 大模型却算错了。这说明大模型没有掌握哪怕最简单的加减法运算规则。

请到「今天看啥」查看全文