正文
视频标题：熵是什么？
熵是无序的衡量标准。它对应于一个整体状态下可能存在的微观构型的数量。
1/3：假设一个盒子里有九个粒子，它们必须聚集成一个大正方形。这种状态只有16种可能的方式；
2/3：现在假设这些粒子可以占据盒子中任意方格，可能的排列方式达到了94,143,280种；
3/3：因为粒子分散排列的方式多得如此之多，粒子进入分散状态的可能性是压倒性的。这正是热力学第二定律的核心思想：一个封闭系统的熵总是增加的。
约纳斯·帕尔诺 (Jonas Parnow) 和马克·贝兰 (Mark Belan)/《量子杂志》(Quanta Magazine)；创意共享 (Creative Commons: CC BY-ND 4.0)[8]
在卡诺的引擎中，热量从高温流向低温，因为气体粒子完全混合在一起的概率，远高于按速度分隔——一边是高温、快速运动的粒子，另一边是低温、缓慢运动的粒子。同样的道理解释了为何玻璃会破碎、冰会融化、液体会混合、树叶会分解。事实上，系统从低熵状态转向高熵状态的自然倾向，似乎是宇宙中唯一能可靠赋予时间一致方向的现象。熵为那些本可在正反方向上同样发生的过程，刻画出了时间的箭头。
熵的概念最终远远超出了热力学的范畴。“当卡诺写下他的文章时，我认为没人能想象到它将会带来什么，”艾克斯-马赛大学
(University of Aix-Marseille)
的物理学家卡洛·罗韦利
(Carlo Rovelli)
[
9
]
说道。
物理学家卡洛·罗韦利长期强调物理学中量的观察者依赖性，包括熵。
图源：Christopher Wahl
熵在第二次世界大战期间迎来了新生。美国数学家克劳德·香农
(Claude Shannon)
当时致力于加密通信渠道，包括连接富兰克林·D·罗斯福
(Franklin D. Roosevelt)
和温斯顿·丘吉尔
(Winston Churchill)
的通信线路。这一经历促使他在接下来的几年里，深入思考通信的基本原理。香农试图测量一条信息中所含的信息量，他通过一种迂回的方式做到了这一点——将知识视为不确定性的减少。
克劳德·香农，被称为信息论之父，将熵理解为不确定性。
图源：Estate of Francis Bello；Science Source
乍一看，香农提出的公式似乎与蒸汽引擎毫无关系。给定消息中可能出现的一组字符，香农的公式将“下一个字符的不确定性”定义为：每个字符出现概率与其概率对数的乘积之和。但如果每个字符的出现概率相等，香农的公式就会简化，并与玻尔兹曼的熵公式完全相同。据说物理学家约翰·冯·诺伊曼
(John von Neumann)
曾敦促香农将这一量称为“熵”——部分原因是它与玻尔兹曼的熵密切相关，还有部分原因是“没人真正知道熵是什么，所以在辩论中你总能占上风。”
正如热力学中的熵描述了引擎的效率，信息熵则捕捉了通信的效率。信息熵对应于弄清消息内容所需的“是或否”问题的数量。高熵消息是没有模式的，无法猜测下一个字符，因此需要许多问题才能完全揭示其内容。而充满模式的消息包含的信息较少，更容易猜测。“信息与熵之间呈现出一幅非常美妙的交织图景，”劳埃德说，“熵是我们未知的信息；信息是我们已知的信息。”
1957年，美国物理学家E.T.杰恩斯
(E.T. Jaynes)
发表的两篇里程碑式的论文[10]中，通过信息论的视角审视热力学，巩固了这一联系。他将热力学视为一种从不完整粒子测量中进行统计推断的科学。杰恩斯提出，当一个系统只有部分信息已知时，我们应对符合这些已知约束的每种构型赋予相等的可能性。他的“最大熵原理”
(Principle of Maximum Entropy)
提供了一种对有限数据集进行预测的最无偏方法，如今被广泛应用于统计力学、机器学习[11]和生态学[12]等领域。
因此，在不同领域中发展出熵的概念，却能彼此契合。熵的增加对应于微观细节信息的丢失。例如，在统计力学中，当盒子里的粒子混合起来，我们无法追踪它们的位置和动量时，“吉布斯熵”
(Gibbs Entropy)
就会增加。在量子力学中，当粒子与其环境发生纠缠，从而打乱其量子态时，“冯·诺伊曼熵”
(von Neumann Entropy)
上升。当物质落入黑洞，外界失去对其信息时，“贝肯斯坦-霍金熵”
(Bekenstein-Hawking Entropy)
[13]也会上升。
熵始终衡量的都是无知：对粒子运动的无知、代码中下一个数字的无知，或量子系统确切状态的知识缺失。“尽管熵最初因不同动机被引入，如今我们能将它们全部与不确定性的概念联系起来，”苏黎世联邦理工学院
(Swiss Federal Institute of Technology Zurich)
的物理学家雷纳托·伦纳
(Renato Renner)
[14]说。
然而，这种对熵的统一理解引发了一个令人不安的问题：
我们谈论的是谁的“无知”？
熵也可以被视为不确定性的衡量标准。一组粒子的无序程度越高，它们的确切排列就越不确定。
1/2：我们以有序状态开始，你知道所有九个粒子聚在一起，点击方格即可揭示粒子的位置。
2/2：在任何可能排列的更无序状态下，找到一个粒子无法告诉你其余粒子的位置。点击方格，找到这种高熵状态下的粒子。
约纳斯·帕尔诺 (Jonas Parnow) 和马克·贝兰 (Mark Belan)/《量子杂志》(Quanta Magazine)；创意共享 (Creative Commons: CC BY-ND 4.0)[15]
作为意大利北部的一名本科物理学学生，卡洛·罗韦利从教授那里学习了熵和无序增长的概念。但他感到有些不对劲。他回家后，将油和水装进一个罐子，摇晃后观察液体分离——这似乎与他所学的热力学第二定律相悖。“他们告诉我的都是胡说八道，”他回忆当时的想法，“显然教学方式存在问题。”
罗韦利的经历揭示了熵之所以令人困惑的一个关键原因：生活中不乏看似秩序增加的情况，从孩子收拾卧室，到冰箱冷却火鸡。然而，罗韦利也明白，他对热力学第二定律的“胜利”只是幻觉。一个拥有超强热视力的超级观察者会看到，油和水的分离如何将动能释放给分子，留下一个热学上更无序的状态。“真正发生的是，宏观秩序的形成是以微观无序为代价的，”罗韦利说。热力学第二定律始终成立，只是有时隐藏在视线之外，罢了。
E.T.杰恩斯(
E.T.Jaynes)（上）在解决威尔拉德·吉布斯(Willard Gibbs)提出的悖论时，
阐明了熵的主观性质。
Creative Commons（top）；The Scientific Papers of J. Willard Gibbs
杰恩斯也帮助澄清了这个问题。为此，他回顾了1875年由约西亚·威尔拉德·吉布斯
(Josiah Willard Gibbs)
首次提出的一个思想实验，这个实验后来被称为“吉布斯混合悖论”
(Gibbs Mixing Paradox)
：假设一个盒子里有两种气体，A和B，中间由一块隔板分隔。当你移开隔板时，热力学第二定律要求气体扩散并混合，熵会因此增加。但如果A和B是相同的气体，且保持相同的压力和温度，移开隔板后熵并不会改变，因为粒子已经处于最大混合状态。
问题来了：如果A和B是不同的气体，但你无法区分它们，会发生什么？
吉布斯提出这个悖论一个多世纪后，杰恩斯给出了解决方案[16]
（他坚称吉布斯已明白这一点，只是未能清楚表达）
。想象盒子里装的是两种不同的氩气，它们完全相同，唯一的区别是其中一种能溶于一种尚未发现的元素——姑且称为“嗅素”
(whifnium)
。在嗅素被发现之前，无法区分这两种气体，因此移开隔板后，熵看似没有变化。然而，一旦嗅素被发现，一位聪明的科学家就能利用它区分两种氩气，并计算出两种气体混合时熵的增加。更有甚者，这位科学家还能设计一个基于嗅素的活塞，从气体的自然混合中提取此前无法利用的能量。
杰恩斯阐明了一点：一个系统的“有序性”——以及从中提取有用能量的潜力——取决于执行者的相对知识和资源。如果实验者无法区分气体A和B，它们实际上就是同一种气体。一旦科学家有了区分它们的手段，他们就能利用气体混合的倾向来提取功。熵不取决于气体之间的差异，而取决于它们的可区分性。无序是观察者的主观判断。
杰恩斯写道：“我们能从任何系统中提取的有用功的数量，显然且必然地取决于我们对其微观状态的‘主观’信息有多少。”
吉布斯悖论强调，需要将熵视为一种依赖于观察者视角的性质，而非系统固有的特性。然而，这种主观的熵的理解，物理学家们难以接受[17]。正如科学哲学家肯尼思·登比
(Kenneth Denbigh)
在1985年的一本教科书[18]中写道：“如果这种观点成立，将带来一些深刻的哲学问题，并可能动摇科学事业的客观性。”
接受这种条件定义的熵，需要重新思考科学的根本目的。这可能意味着物理学更准确地描述的是个体经验，而非某种客观现实。如此一来，科学家们逐渐意识到熵被卷入了的更大趋势：许多物理量只有相对于观察者才有意义。
（甚至时间本身，也因爱因斯坦(Albert Einstein)的相对论而变得相对。）
“物理学家不喜欢主观性——他们对此很排斥，”加州大学圣克鲁斯分校
(University of California, Santa Cruz)
的物理学家安东尼·阿吉雷
(Anthony Aguirre)
[19]说，“但“绝对”性是不存在的，它从来都是幻觉。”
