加载中…
个人资料
  • 博客等级:
  • 博客积分:
  • 博客访问:
  • 关注人气:
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
正文 字体大小:

借 贝叶斯公式 谈谈概率论中的“基本比率谬误”

(2017-07-11 10:01:36)
标签:

贝叶斯公式

基本比率谬误

丹尼尔卡尼曼

思考快与慢

教育

分类: 概率统计

       如今,“概率”一词在我们的生活中随处可见,被人们使用得越来越广泛和频繁。概率可以被粗糙地定义为事件发生的频率,即发生次数与总次数的比值。更准确地说,是总次数趋于无限时,这个比值趋近的极限。

借 <wbr>贝叶斯公式 <wbr>谈谈概率论中的“基本比率谬误”

       虽然概率的定义不难懂,好像人人都会用,但你可能不知道,概率计算的结果经常违背我们的直觉,概率论中有许多难以解释、似是而非的悖论。不能完全相信直觉!我们的大脑有它的误区和盲点,就像开汽车的驾驶员视觉中有“盲点”一样,需要几面镜子来帮助克服,我们的思维过程中也有盲点,需要计算和思考来帮助澄清。概率论是一个经常出现与直觉相悖的奇怪结论的领域,连数学家也是稍有不慎便会错得一塌糊涂。现在,我们就来看看经典概率中的一个谬误。

       先看一个例子:

   “某城市有两种颜色的出租车:蓝和绿(市场比率15:85)。一辆出租车夜间肇事后逃逸,但还好当时有一位目击证人,这位目击者认定肇事的出租车是蓝色的。但是,他“目击的可信度”如何呢?公安人员经过在相同环境下对该目击者进行“蓝绿”测试而得到:80%的情况下识别正确,20%的情况不正确。也许有读者立刻就得出了结论:肇事之车是蓝色的几率应该是80%吧?

       如果你认为是,那你就犯了以下所谓的“基本比率谬误”的错误,因为你没有考虑在这个城市中“蓝绿”车的基本比例。

  

基本比率谬误(Base Rate Fallacy

谈到基本比率谬误,我们最好是先从概率论中著名的贝叶斯定理说起。托马斯·贝叶斯(Thomas Bayes 1701–1761年)是英国统计学家,曾经是个牧师。贝叶斯定理是他对概率论和统计学作出的最大贡献,是当今人工智能中常用的机器学习之基础框架,它的思想之深刻远出一般人所能认知,也许贝叶斯自己生前对此也认识不足。因为如此重要的成果,他生前却并未发表,是他死后的1763年,才由朋友发表的。本篇将对贝叶斯定理稍作介绍,我们在本系列的后几篇,将讨论贝叶斯学派以及贝叶斯理论在人工智能中的应用。

 

粗略地说,贝叶斯定理涉及到两个随机变量AB的相互影响,如果用一句话来概括,这个定理说的是:利用B带来的新信息,应如何修改B不存在时A的“先验概率”P(A),从而得到B存在时的“条件概率”P(A|B),或称后验概率,如果写成公式便是:

http://image.sciencenet.cn/album/201704/01/060702lnlt9lt9t1nt9le1.jpg贝叶斯公式 谈谈概率论中的“基本比率谬误”" TITLE="借 贝叶斯公式 谈谈概率论中的“基本比率谬误”" />

这儿“先验后验”的定义是一种“约定俗成”,是相对的。比如说也可以将AB反过来叙述,即如何从B的“先验概率”P(B),得到B的“条件概率”P(B|A),见图中虚线所指。

 

不要害怕公式,通过上述例子,我们就能慢慢理解它。

 

贝叶斯定理是18世纪的产物,200来年用得好好的,不想在20世纪70年代遇到了挑战,该挑战来自于卡尼曼和特维尔斯基(Tversky)提出的“基础比率谬误”(Base-Rate Fallacy

丹尼尔·卡尼曼(Daniel Kahneman1934年-)是以色列裔美国心理学家,2002年诺贝尔经济学奖得主。基础概率谬误并不是否定贝叶斯定理,而是探讨一个使人困惑的问题:为什么人的直觉经常与贝叶斯公式计算的结果相违背?如同刚才的例子所示,人们在使用直觉的时候经常会忽略基础概率。卡尼曼等在他的文章思考,快与慢中举了一个出租车的例子来启发人们思考这个影响人们“决策”的原因。我们不想在这儿深谈基础概率谬误对“决策理论”的意义,只是借用此例来加深对贝叶斯公式的理解(再看一遍文初的那个例子):

 

某城市有两种颜色的出租车:蓝和绿(市场比率15:85)。一辆出租车夜间肇事后逃逸,但还好当时有一位目击证人,这位目击者认定肇事的出租车是蓝色的。但是,他“目击的可信度”如何呢?公安人员经过在相同环境下对该目击者进行“蓝绿”测试而得到:80%的情况下识别正确,20%的情况不正确。也许有读者立刻就得出了结论:肇事之车是蓝色的几率应该是80%吧?

 

那么,肇事之车是蓝色的(条件)几率到底应该是多少呢?贝叶斯公式能给出正确的答案。首先我们必须考虑蓝绿出租车的基本比例(15: 85)。也就是说,在没有目击证人的情况下,肇事之车是蓝色的几率只有15%,这是“A=肇事车为蓝色”的先验概率P(A)= 15%。现在,有了一位目击者,便改变了事件A出现的概率。目击者看到车是“蓝”色的。不过,他的目击能力也要打折扣,只有80%的准确率,即也是一个随机事件(记为B)。我们的问题是要求出在有该目击证人“看到蓝车”的条件下肇事车“真正是蓝色”的概率,即条件概率P(A|B)。后者应该大于先验概率15%,因为目击者看到“蓝车”。如何修正先验概率?为此需要计算P(B|A)P(B)

 

因为A=车为蓝色、B=目击蓝色,所以P(B|A)是在“车为蓝色”的条件下“目击蓝色”的概率,即P(B|A)80%。最后还要算先验概率P(B),它的计算麻烦一点。P(B)指的是目击证人看到一辆车为蓝色的概率,等于两种情况的概率相加:一种是车为蓝,辨认也正确;另一种是车为绿,错看成蓝。所以:

 

P(B) = 15%×80% + 85%×20% = 29%(这个利用了“全概率公式

 

从贝叶斯公式:

 

http://image.sciencenet.cn/album/201704/01/060703x086uc5vvre00ier.jpg贝叶斯公式 谈谈概率论中的“基本比率谬误”" TITLE="借 贝叶斯公式 谈谈概率论中的“基本比率谬误”" />

可以算出在有目击证人情况下肇事车辆是蓝色的几率=41%,同时也可求得肇事车辆是绿车的概率为59%。被修正后的“肇事车辆为蓝色”的条件概率41%大于先验概率15%很多,但是仍然小于肇事车可能为绿的概率0.59


怎么样,这个结果让人大跌眼镜了吧?!

至于怎么解决这个交通肇事问题,那就必须还要有其他证据的提供才行。


——————————

注:本文基于张天蓉科学网博客《概率论悖论-趣谈概率统计之2改写而来。

http://blog.sciencenet.cn/blog-677221-1042909.html 








借 <wbr>贝叶斯公式 <wbr>谈谈概率论中的“基本比率谬误”                                                            扫一扫,即可查看我的新浪微博



0

阅读 收藏 喜欢 打印举报/Report
  

新浪BLOG意见反馈留言板 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 产品答疑

新浪公司 版权所有