正文
一个现象
人工智能的黑箱问题
现在人工智能的神经网络犹如我们人类大脑中的神经网络。人工神经网络也由成千上万的神经元构成，它们一层层排列，彼此错综复杂的连接，每一次它们中的一层得到信号后，会进行计算再输出给下一层，直到输出一个整体的结果。
Alpha Go 的确已经战胜了好些人类围棋顶尖棋手了，但研发出 AlphaGo 的科学家却未必能说得清楚某步棋时为什么 AlphaGo 走的是这一步，而不是另一步。
而当我在硅谷和一些无人驾驶的研究者闲聊时，他们也说，作为人类有时候他们的判断会和无人车不一样，而他们不明白为什么无人车做出了和他们相左的判断。
关于黑箱问题究竟会多严重，我们人类该如何对待，科学家们的讨论简直上升到了哲学层面。
其中有一派，为了叙述方便，同时致敬《三体》这本小说，我就姑且称之为“降临派”。这一派的观点是，我们人类无法解决这个问题。
另外一位科学家 Rich Caruana 是坚定的拯救派，因为觉得这涉及性命攸关。
他是微软研究院的计算机科学家，从1990年代开始就在做关于医疗方面的人工智能研究。在一次关于肺炎患者属于高风险还是低风险的数据分析中，他碰到一个奇怪的例子，系统认为有哮喘病史的肺炎患者风险更低，但这显然违背了医生长期以来的做法。
问题的原因之一在于，系统只是简单的将低风险和死亡率相挂钩，而忽略了其中更复杂的细节。在1990年代中期，如果你有哮喘病史又得了肺炎，医生会认为这是非常严重的状况，因此将你送进重症病房。但因为重症病房的治疗非常有效，因此事实上减少了死亡的可能性。
而第二个原因是，在1990年代中期，拥有哮喘病史的人通常是年轻人。经历了二战的老人们没有这类的疾病记录，而70年代之后出生的人通常会有更为详细的医疗记录，包括哮喘。而年轻本来就意味着更有可能度过难关，从肺炎中存活下来。
来自《硅谷早知道》
文章《AI在想什么？》作者徐涛
