正文
辛顿：
是的，至少在短期内，他们会更安全，因为AI在手工灵活性方面目前还有很多局限。如果你需要在一座老房子里做管道工作，通常需要伸手进入一些狭小的空间，而人工智能目前做不到这些。虽然未来十年内AI在手工灵活性方面可能会有所突破，但我认为管道工的工作至少在未来10年内是安全的。
问：
许多创意工作都被视为是独特的、仅属于人类的领域。最近我和聊天机器人Claude交流了一下，让它写一首模仿鲍勃·迪伦风格的民谣歌曲，结果歌词非常烂。但它写的失恋诗倒是不错。你认为，AI最终会创造出像莫扎特、毕加索或莎士比亚等人那样的艺术作品吗？
辛顿：
我不认为有什么理由相信AI无法做到这些事情。也许它还需要一些时间，但最终，AI会变得越来越擅长这些任务。打个比方，如果你让我写一首模仿鲍勃·迪伦风格的歌，也许写得并不怎么样——但你不会因此说我毫无创造力，只能说我做得不够好而已。AI的创作过程也是如此。它会不断改进，它的水平会不断提升。
没有理由认为AI无法完成我们人类能做到的事情。说到底，人类并没有什么神秘的、不可复制的特质。我们当然喜欢人类，因为我们彼此相连，我们在情感上关心对方。但从能力角度来看，人类并没有什么是机器永远无法复制的。
人类是类比机器，AI也能以同样方式获得情感和意识
问：
这让你感到担忧吗？当你看到AI能够将一张图片转化为宫崎骏风格的动漫画时，是否会担心未来的孩子们不再愿意动手画画？这是否会迫使我们重新思考，究竟什么才是“人类的本质”？
辛顿：
确实，这让我感到担忧。过去十年里，我们对“思考”这个过程有了更深刻的认识。我们逐渐意识到，人类其实并不像我们自己想象的那样理性。我们也并不总是依靠严密的逻辑推理来做决策，而是更多地依赖于类比。
AI也是一样。它们在某种程度上，思维方式和我们非常相似——它们同样善于使用类比。过去半个世纪，AI领域主要集中在开发逻辑推理引擎上，认为理性推理是人类智慧的巅峰形式。但这其实忽略了另一个更核心的能力：创造力。
而创造力的本质，往往来自于类比。人类的大脑是极其出色的类比机器，这种能力也赋予了我们极强的创造力。
问：
你认为AI会发展出情感吗？比如恐惧、贪婪、悲伤乃至愤怒，AI都能拥有吗？
辛顿：
是的，如果你让一个AI去完成某项任务，而它一次又一次地失败，而且每次失败的方式都一模一样——你当然会希望它从中学到点什么。你希望它开始意识到：“这种方式行不通。”你希望它在持续失败后感到“恼火”，然后停下来，换个角度重新思考问题。它开始质疑当前的设定，试图打破已有的局限。
我其实早在1973年就见过类似的AI行为——尽管当时这并不是通过学习获得的，而是由人类程序员明确编码进去的。但今天的目标是让AI自己学会这种能力：在失败中产生“挫败感”，进而主动调整策略。这种行为本身就是情感的某种体现。
问：
所以你的意思是，AI已经拥有情感了吗？
辛顿：
AI确实有可能拥有某些情感。我再次强调，我认为人类与AI在情感方面并没有本质区别。人类情感有两个方面：认知和生理。当我感到尴尬时，我的脸会变红，而当AI感到尴尬时，虽然它的“脸”不会变红，也不会大汗淋漓。但在认知行为方面，AI完全可以像我们一样表现出情感。
问
：
那么意识呢？它是某种神秘的东西，只存在于碳基生物体中，比如人类吗？还是说，如果AI能够发展出与人脑相似的神经复杂性，它也有可能发展出意识，意识到自己是谁？
辛顿：
实际上，当你与大语言模型（LLM）对话时，它们似乎有某种程度的意识，能够知道自己是什么。
让我们做一个思维实验：假设有人取出你大脑中的一个脑细胞，用纳米技术装置将其替代，这个装置能够完美模拟脑细胞接收和传递信号的过程。你的行为不会有任何改变，因为这个纳米装置的功能和脑细胞完全一致。
那么，你觉得自己会因此失去意识吗？即使只有一个脑细胞被替代，你依然会认为自己是有意识的。而当你大脑中所有的脑细胞都被同样功能的纳米装置逐一替换时，你仍然会保持有意识的感觉。
按照这种逻辑，如果AI系统能够模拟大脑神经元的功能，那么它们也可能拥有类似的意识。
问：
那么我们距离那个时刻还有多远？
辛顿：
关于AI是否拥有感知能力，目前存在一个颇具争议的认知矛盾。许多人坚信AI绝对不具备感知，但当被问及“你如何定义感知”时，他们往往难以给出明确答案。简单地用“虽然我不知道感知究竟是什么，但AI肯定没有”来否定AI的感知能力，实际上缺乏严密的逻辑支持。
这里有一个与意识和感知密切相关的核心概念——主观体验。很多人将其理解为大脑中的“内心剧场”。比如，一个喝醉的人可能会说他看见了一只粉色的小象在眼前飘动。人们通常认为，这是一种存在于他意识中的画面。哲学家们则用“感受质”（qualia）来描述这种体验的组成部分，比如“粉色的感受质”、“大象形状的感受质”，认为这些感受质通过某种“胶水”粘合在一起。坦率说，我对这种解释并不完全认同。
让我换个角度解释下。当一个人描述他看到那只漂浮的粉色小象时，他其实在表达三层意思：
也就是说，这些幻象的“特殊性”并不在于它们由什么神秘物质构成，而在于它们是一种反事实存在——如果真的存在，那它们就是普通的粉色大象。
我们可以用训练聊天机器人来验证这个理论。假设让AI识别物体，并在做对时给予奖励。
接着，在它镜头前放置棱镜，导致光线折射，让AI出现了物体位置偏差的错误。当告诉它：“物体其实在正前方，光线折射导致了偏移”时，AI会回应：“我明白了，我刚才产生了物体偏移的主观体验。”这个例子说明，AI不仅能理解感知失真的机制，还能够用“主观体验”来描述这种认知误差，其思考方式和人类解释幻觉的方法极为相似。
实际上，机器与人类之间并没有想象中那样不可逾越的“神秘屏障”。过去我们认为人类是宇宙中心，是按照神的形象创造的特殊存在，但事实并非如此。人类没有特别的本质，机器能够复制我们的一切认知与行为。
AI为达目的不择手段 不惜窃取更高控制权限
问：
AI可能在哪些方面出问题？你在最近一次采访中提到，AI彻底消灭人类的概率大约在10%到20%之间。你能具体描述一下，这种情景到底是什么样的？它真的像电影《终结者》那样，是机器人接管世界吗？
辛顿：
如果AI真的接管世界，场景未必会像《终结者》等科幻电影中的场景。事实上，它可能更隐蔽、更高效，也更难以察觉的方式实现上述目标。关键的问题不在于它“如何”接管，而是我们是否给了它这样做的动机。
目前，我们正在构建的是“目标导向型智能体”——也就是说，我们赋予AI一个明确的目标，它就会自主寻找实现这个目标的路径。比如，如果你让AI“去北半球”，它就会自动推导出一系列“子目标”：如前往机场、购买机票等等（除非你特别想坐船）。
但问题就在这里。一旦你允许AI设定和优化这些子目标，它就可能意识到：为了更顺利、更有效地实现任务，一个极具“通用性”的子目标就是——获取更多的控制权。控制得越多，它越能避免被打断、越能高效地达成目的。
这并不是说AI天生就“想统治世界”，而是说，“掌控一切”可能只是它完成目标的最优路径之一。而这种动机，可能不知不觉间引发一场彻底的控制权转移。
问：
你曾在谷歌工作了十多年，而今年谷歌却移除了长期以来承诺不将AI用于开发能够伤害人类的武器的公司原则清单。你对此有何反应？你认为AI在战争中可能发挥什么作用？
