专栏名称: 知识分子
《知识分子》是由饶毅、鲁白、谢宇三位学者创办的移动新媒体平台,致力于关注科学、人文、思想。我们将兼容并包,时刻为渴望知识、独立思考的人努力,共享人类知识、共析现代思想、共建智趣中国。欢迎关注。
目录
相关文章推荐
51好读  ›  专栏  ›  知识分子

似是而非的答案:概率论悖论 | 张天蓉专栏(二)

知识分子  · 公众号  · 科学  · 2017-03-31 10:57

正文

请到「今天看啥」查看全文



先看一个生活中的例子。


王宏去医院作验血实验,检查他患上了X疾病 (患病比率为千分之一) 的可能性,其结果为阳性。网上的资料显示,实验总是有误差的,这种实验有“百分之一的假阳性率和百分之一的假阴性率”。这句话的意思是说,在得病的人中做实验,有1%的人是假阳性 (即实际是阴性,却得到阳性的结果) ,99%的人是真阳性。而在未得病的人中做实验,有1%的人是假阴性,99%的人是真阴性。于是,王宏根据这种解释,估计他感染X疾病的可能性 (即概率) 为99%。王宏想,既然只有百分之一的假阳性率,那么,百分之九十九都是真阳性,那我感染X病的概率便应该是99%。


可是,医生却告诉他,他被感染的概率只有0.09左右。这是怎么回事呢?王宏的误区在哪里?


医生说:“99%是测试的准确性,不是你得病的概率。你忘了一件事:这种X疾病的患病比率并不大,每千人中只有一个人患X病。”


医生的计算方法是这样的:因为测试的误报率是1%,1000个人将有10个被诊断为假阳性,而根据X病在人口中的比率 (1/1000=0.1%) ,真阳性只有1个。所以,大约11个测试为阳性的人中只有一个是真阳性 (患病) 的,因此,王宏被感染的几率是大约1/11,即0.09 (9%


实际上,王宏犯了“基本比率谬误”的错误,即忽略了“X病患者在人口中的基本比例为千分之一”这个事实。


谈到基本比率谬误,应先从概率论中著名的贝叶斯定理 [1] 说起。托马斯·贝叶斯 (Thomas Bayes ,1701-1761) 是英国统计学家,贝叶斯定理是他对概率论和统计学作出的最大贡献,是当今人工智能中常用的机器学习之基础框架,它的思想之深刻远出一般人的认知,也许贝叶斯自己生前对此也认识不足。值得一提的是,如此重要的成果却并未在他生前发表,而是在他死后的1763年才由他的朋友发表。本篇将对贝叶斯定理稍作介绍,我们在本系列的后几篇,将讨论贝叶斯学派以及贝叶斯理论在人工智能中的应用。


粗略地说,贝叶斯定理涉及到两个随机变量A和B的相互影响,专业注释为:利用B带来的新信息,应如何修改B不存在时A的“先验概率”P(A),从而得到B存在时的“条件概率”P(A|B)。或者类似地,也可以将A、B反过来叙述,即如何从B的“先验概率”P(B),得到B的“条件概率”P(B|A)。正反两种叙述方式分别对应于下图中的实线和虚线。



通过前述王宏的经历我们就能很好的理解这个公式:随机变量A表示“王宏感染X病”;随机变量B表示“王宏的检查结果”。先验概率P(A)指的是王宏没有检查结果时得X病的概率 (即X病在公众的基本概率0.1%) ,而条件概率 (或后验概率) P(A|B)指的是王宏“检查结果为阳性”的条件下得X病的概率 (9%) 。也就是说,王宏的检查结果将先验概率P(A) ( 0.1%) 修正成为9%。


贝叶斯定理是十八世纪的产物,却在二十世纪七十年代遇到了挑战,该挑战来自于卡尼曼和特维尔斯基提出的“基础概率谬误” (Base Rate Fallacy) 。丹尼尔·卡尼曼 (Daniel Kahneman,1934-) 是以色列裔美国心理学家,2002年诺贝尔经济学奖得主。基础概率谬误并不是否定贝叶斯定理,而是探讨一个使人困惑的问题:为什么人的直觉经常与贝叶斯公式计算的结果相悖?如同刚才的例子所示,人们在使用直觉的时候经常会忽略基础概率。卡尼曼等在他的文章 《思考,快与慢》 中举了一个出租车的例子来启发人们思考这个影响人们“决策”的原因:


某城市有两种颜色的出租车:蓝和绿 (比率为15:85) 。一辆出租车夜间肇事后逃逸,一位目击者认定肇事的出租车是蓝色的。然而,他“目击的可信度”如何呢?公安人员经过在相同环境下对该目击者进行“蓝绿”测试得出结论:正确识别率为80%,20%的情况不正确。也许有读者立刻就得出了结论:肇事车辆是蓝色的概率应该是80%。如果你作此回答,你便是犯了与前文提到的王宏同样的错误,忽略了先验概率,没有考虑在这个城市中“蓝绿”车的基本比例。


那么,肇事车辆是蓝色的 (条件) 概率应为多少?贝叶斯公式能给出正确的答案。首先我们必须考虑蓝绿出租车的基本比例 (15: 85) 。也就是说,在没有目击证人的情况下,肇事车辆是蓝色的概率只有15%,即“A=蓝车肇事”的先验概率P(A)=15%。现在,一位目击者的出现改变了事件A出现的概率。目击者看到车是“蓝”色的。不过,他的目击能力也要打折扣,只有80%的准确率,即也是一个随机事件 (记为B)


我们的目的是要得出在有目击证人“看到蓝车”的条件下肇事车辆“真正是蓝色”的概率,即条件概率P(A|B)。后者应该大于先验概率的15%,因为目击者看到“蓝车”。如何修正先验概率?需要计算P(B|A)和P(B)。


因为A=车为蓝色、B=目击蓝色,所以P(B|A)是在“车为蓝色”的条件下“目击蓝色”的概率,即P(B|A) =80%。最后还要算总概率P(B),它的计算麻烦一点。P(B)指的是“目击证人看到一辆车为蓝色的概率”,等于两种情况的概率相加:一种是车为蓝,辨认也正确;另一种是车为绿,错看成蓝。所以:


P(B) = 15%×80% + 85%×20% = 29%


从贝叶斯公式:



可以算出在有目击证人情况下肇事车辆是蓝色的几率=41%,同时也可求得肇事车辆是绿车的概率为59%。被修正后的“肇事车辆为蓝色”的条件概率41%大于先验概率15%很多,但是仍然小于肇事车为绿的概率0.59。



几何概型和贝特朗悖论 [2]


抛硬币、掷骰子之类游戏中涉及的概率,是离散的,抛丢结果的数目有限 (硬币仅有两种结果,骰子为6种) 。如果硬币或骰子是对称的,每个基本结果发生的概率相等。这种随机事件被称为古典概型。数学家们将古典概型推广到某些几何问题中,使得随机变量的结果变成了连续的、结果数目无限多的概型,这种随机事件被称之为“几何概型”。古典概型向几何概型的推广,类似于有限多个整数向“实数域”的推广。了解几何概型很重要,因为与之相关的“测度” 概念 (长度、面积等) ,是现代概率论的基础。


布丰投针问题,是第一个被研究的几何概型。


图1:布封(Buffon)投针问题







请到「今天看啥」查看全文