专栏名称: 知识分子
《知识分子》是由饶毅、鲁白、谢宇三位学者创办的移动新媒体平台,致力于关注科学、人文、思想。我们将兼容并包,时刻为渴望知识、独立思考的人努力,共享人类知识、共析现代思想、共建智趣中国。欢迎关注。
目录
相关文章推荐
51好读  ›  专栏  ›  知识分子

辛顿的冬与春

知识分子  · 公众号  · 科学  · 2024-12-05 10:11

主要观点总结

杰弗里·辛顿,一个从家族荣光中走出的人工智能科学家,其一生致力于研究神经网络,推动人工智能的发展。他经历了学术上的挑战、家庭的变故,以及个人生活的转变。他的成就包括在神经网络领域的工作,以及对人工智能的深刻洞察和警示。尽管他在人工智能领域取得了巨大的成就,但他始终在探索人与机器的关系,以及机器智能可能带来的伦理和社会问题。辛顿的人生充满了对知识的追求,对真理的探索,以及对自我和世界的反思。

关键观点总结

关键观点1: 辛顿的学术生涯

辛顿从家族的光环中走出,致力于神经网络的研究,推动了人工智能的发展。他经历了学术上的挑战,对机器智能的本质和伦理问题进行了深刻的思考。

关键观点2: 家庭变故与个人生活

辛顿经历了家庭的变故,包括妻子罗莎琳德的去世和孩子的成长。这些经历使他更加深刻地反思人与机器的关系,以及机器智能可能带来的社会问题。

关键观点3: 对人工智能的深刻洞察

辛顿对人工智能的发展持警惕态度,他认识到机器智能可能带来的伦理和社会问题,并呼吁对机器智能进行负责任的研究和应用。

关键观点4: 对自我和世界的反思

辛顿的生涯充满了对知识的追求,对真理的探索,以及对自我和世界的反思。他的人生是对人与机器关系、机器智能的伦理和社会问题的持续探讨。


正文

请到「今天看啥」查看全文



威廉姆斯对辛顿说。

听到这一句,辛顿脑中有原子弹爆炸。

既然不能用拆成简单零件的方法来复刻一个系统,那还可以怎么办呢?

没错,用一个复杂系统“从整体上”模拟另一个复杂系统。

Blade Runner(1982)

给机器强行输入概念和规则,被归为人工智能的“ 符号主义 ”流派,它扎根于“ 还原论 ”;

而用人造神经系统整体模仿人的学习过程,就归为“ 神经网络 ”流派,它源自于“ 系统论 ”。

而后几十年,两派势同水火,各不相让,表面上是技术路线之争,实际上却是对世界本质的“押注”。

赌的就是:这个世界究竟是一堆利落的“零件”,还是一坨牵一发动全身的“浓汤”?

这里,我们不妨明晰一下“符号主义”和“神经网络”在方法论上的根本区别:

在“ 符号主义 ”的方案里,最小的零件就是“ 概念 ”。

例如:食物、酱汁、调味品、甜、味道、红色、番茄、美国、炸薯条、蛋黄酱、芥末,这些都是概念。

所有概念用规则相连,组成一个巨大的渔网。

而新概念,例如“番茄酱”,则可以挂在刚才这些旧概念网眼中的适当位置,成为新的绳结。

新概念无穷无尽,渔网上的网眼也无穷无尽;

旧规则不够精准,也需要用无穷无尽的新规则来完善。

例如:鸟会飞,企鹅是鸟,但企鹅是不会飞的鸟。



在“ 神经网络 ”的方案里,神经元所维持的基本元素可以称为 “亚概念”:一个概念可以从很多亚概念中涌现出来。

这意味着,一个亚概念发生了变化,将会潜移默化地影响很多个概念。

比如:我告诉你猩猩喜欢洋葱,那么你一定会猜,猴子是不是也喜欢洋葱?

因为在你的脑中,猩猩和猴子虽然是两个概念,但是他们共用了某些“亚概念”,例如多毛、动物、智力、灵长类、野性等等。

这里的关键是:

很多深层的亚概念是无法用语言形容的,它本质上只是某种神经元的“组合方式”。



但凡对自己的思维过程有过深刻反思的人,都会同意“ 神经网络”比“符号主义 ”更接近我们大脑的工作方式。

不过没人规定智能必须以类脑的方式实现,你完全可以“抄近路”。

而且造物主绝对是个“反鸡汤者”,因为 很多情况下抄近路就是有效的。

1970 年代,“符号主义”已经突飞猛进,能做出一些像模像样的推理,可是“神经网络”还停留在智障阶段。

这是一种极强的反馈。很多神经网络学者含恨倒戈,加入了“还原论”的阵营。

但辛顿无法说服自己。和小时候一样,他不能接受有什么东西违背了自己对世界构建的认知模型。

1972 年,他进入爱丁堡大学攻读博士,方向就是“神经网络”。

如果别人无法找出原因,他就得自己找出原因。

如无意外,这次找到答案,要比搞懂公交车上硬币爬坡花费更长的时间。

就在博士的第一年,辛顿看到了一个其他人工智能小组做的实验:

一台计算机,连着两个摄像头,系统要自主控制机械臂把积木搭成汽车的形状。

这对于当时的技术来说是地狱难度。因为系统视觉只能靠轮廓识别散落的积木块,一旦堆在一起,它就不认识了。

让辛顿难忘的瞬间出现了:机械臂退后了一点, 然后“砰”地一拳把积木堆打散。

如果有人这么干,你会觉得他是因为“做不到”而 沮丧 。在机器人挥拳猛击积木时,我感到了它有同样的情绪。

辛顿说。

拥有感觉,就是你开始渴望得不到的东西。

Blade Runner(1982)

03



正如威廉姆斯所说:不同的思想一定反映了我们大脑内部不同的物理排列。

可摆在辛顿面前的问题是:

“宏观层面的思想”和“微观层面的神经排列” 像是两座孤岛,中间隔着汹涌莫测的深海,需要一座“桥”把他们联系起来。

这座桥是什么?

这一点上,辛顿是极其幸运的:无数巨人的肩膀正在前方,等待他拾级而上。

半个多世纪前,也就是爱因斯坦那一代科学家所掀起的物理学浪潮中,“最硬的脑壳们”向各个方向都撞出了一些空间。

在阐述“微观和宏观的关系”方面,最伟大的奠基者首推路德维希·玻尔兹曼。

玻尔兹曼发明了一套极其简洁的“ 统计+概率计算 ”的方法:

只要知道原子的原子量、电荷、结构等等微观特性,就能算出亿万原子在一起组成的宏观物体的物理性质,例如粘性、热量、扩散性。

也正是用同一套理论框架,玻尔兹曼解释了“熵”这个宇宙底层概念。

这就是 统计力学

Ludwig Eduard Boltzmann

然而,玻尔兹曼当时遭到了一众科学家的激烈反对,甚至对异教徒似的攻击。

一个重要的理由是:你竟然用“统计数字”、“计算概率”的模糊方法来解释具有确定性的物理世界,这算什么科学?

反对派科学家的愤怒,本质上只有三个字: 不承认

不承认这个宇宙的复杂性超越人类的计算能力;不承认人类拼尽全力也只能以模糊的方式把握这个世界。

但宇宙不会因渺小人类的愤怒而改换它的基本结构。

放弃对“精确”的执念,正是撕开迷雾,找到那座连接“宏观”和“微观”之桥的重要前提。

但这里存在一个问题。

假如,你把各种颜色的墨水混在一起。

它们肯定会经历一个混合的动态过程,最终会完全均匀。(此时每个分子在各种可能状态上的概率是相同的。)


玻尔兹曼的理论只能计算摇匀达到“稳态”之后的物理性质。

但人脑的微观结构,显然不是这种一团浆糊的“最终稳态”。

它很稳定,但没稳到这个份儿上,可以称为“亚稳状态”。

如下图所示:

同样由碳组成,钻石就是一种亚稳状态,石墨是一种终极稳态。但由于二者之间有势能壁垒,所以钻石很难*自动*转化成石墨。

同样道理‍,人脑的神经元结构也是亚稳状态,但它能维持相当程度的稳定。


玻尔兹曼作为先驱,能给辛顿的只有这么多了。

接下来,接力棒交给了另一位大神。

1982 年,一篇名为《具有涌现集体计算能力的神经网络和物理系统》的论文震撼了整个人工智能界。

而它的作者竟然是个“外行”——物理学家约翰·霍普菲尔德。

John Hopfield


要理解霍普菲尔德的洞见,首先要知道“最小化自由能原理”。

无论在什么物理结构中,系统总会尽可能对外做功——就像小球总会往低处滚那样。

滚到相对低位后,系统就达到了“最小化自由能状态”,从而实现稳定。



现在,我们想象一堆带有磁性的原子,它们在特定温度(居里温度)以下最终会朝向一个方向,这是它们的“最小化自由能状态”。

这个状态比较单调,无法承载复杂信息。

但通过一些操作改变原子间的结构,最终系统可以稳定在原子朝向不同方向的状态——这种状态就已经是它的“最小化自由能状态”了

这种结构被称为“ 自旋玻璃 ”(Spin Glass)。

这张图上方显示了一个“自旋玻璃”,它内部的无序性构成了一种稳态,产生了下方所示的复杂的“能量地形”

霍普菲尔德的神来之笔是:

他没有用现实世界的原子制造“自旋玻璃”,而是 用计算机的 0 和 1 不同的电位来替代原子状态,在赛博空间模拟出了“自旋玻璃”。

它也被后来人称为“霍普菲尔德网络”。

这只是示意图,真实的霍普菲尔德网络中的 0 和 1 要多得多。

理论过于抽象,我们可以做一个类比:

一颗星球如果全由水组成,在引力作用下,它最后的稳态肯定是一个完美的球体。波澜不惊,一团死寂。

但如果一颗星球存在丰富的元素,氢、氧、碳、铁,那么各种性质的结构之间就会相互摩擦、羁绊,最终稳定在一个宏观上类似球体,但微观上却山峦起伏的样貌。



霍普菲尔德网络就像我们地球表面的山峦一样。

与地球不同,霍普菲尔德网络中山脉的最终走向不是大自然创造的,而是人设定的。

设定的方法就是“ 训练 ”。

例如,我们用“26 个字母的形状”进行训练,最终这个霍普菲尔德网络的“地貌”就会被塑造成特定的样子,并且稳定在这个样子。(因为这个样子它的自由能就是最低的。)

此时,训练完成。



现在它具备了一个有用的性质:

假设我们从空中向下扔小球,它不会停在原处,而是最终会滚落到一个相对低的位置。

由于地貌很复杂,我们扔小球的位置不同,它最后滚落到的低点也不同。


然后我们试着利用这个性质:

同时从很多个点向下扔小球,他们最终会停留到不同的位置。

比如我们站在这片山脉的上空,按照这样的排列方式扔一些小球:


它们最后停留的位置是:


不用抑制你的欢呼。这,就是一个智能系统识别出字母“J”的过程。

现在我们回到霍菲尔德网络,揭开真相:

它就是一个通过微观上模拟神经元,从而在宏观上涌现出“记忆”能力的计算机系统。

记忆是一种高级的存储,它是智能的基础:

世界极其复杂,极其开放,每天都会出现新东西。






请到「今天看啥」查看全文