加载中…
正文 字体大小:

小评“奥卡姆剃刀”博文《奇妙的概率错觉》

(2014-06-15 13:24:05)
标签:

杂谈

@奥卡姆剃刀 (以下简称剃刀)写了一篇博文叫【奇妙的概率错觉】http://t.itc.cn/CF7n4,其中主要涉及了条件概率,贝叶斯定理等知识。但是其中有一些对概率知识的误用。

他写道【我给学生讲课时,经常会讲一个例子:我是医学盲,对罕见病的诊断一无所知,而你是罕见病诊断专家,误诊率低至1%,在大街上随便抓一个人,我俩分别诊断他是否患了一种发病率为万分之1的罕见病,你动用了所有豪华的检验设备,而我就闭着眼睛判断他没病,那谁的诊断结果更准确呢?我比你准确大约100倍!】

他这个例子是一个比较典型的对贝叶斯定理的应用,这个应用说明了对医疗测试准确性要谨慎解读。即使是误诊率1%(准确率99%)的医疗测试,在患病比率极低的情况下误诊率(主要是false positive)也是相当高的。

他又举了电视剧《豪斯医生》的例子:【美剧《豪斯医生》中的主角豪斯是个非常厉害的诊断专家,难诊断的罕见病患者纷纷被送到他的诊室,有一天他的医疗团队发现有个病人的症状符合两种不同罕见病,难道一个人居然同时得了两种罕见病?假设两种罕见病的发病率都是万分之1,同时发病的概率不就是亿分之1吗?这怎么可能? 

通过上面的彩票例子,您可能隐隐地觉得不能这样算,是的!不能这样算。首先,被送到豪斯诊室的病人几乎100%是某个万分之1罕见病的患者。。。】

《豪斯医生》剧中的一个逻辑就是两种罕见病(病A和病B)并发的可能性极低,因此在诊断会排除这种可能,而寻求更简单的解释。但是剃刀不认同剧中的逻辑。他非常奇怪地认定病人几乎必然患有一种罕见病。这里他没说清楚:这个罕见病是不是前面豪斯小组根据症状锁定的两个之一?我们先假设是(后面再说不是的情况)。这时出问题了。我们来做一下计算。

用P(E 症状)代表给定病人表现出症状前提下,事件E发生的概率。这里E可以是A,B,AB,或A or B;分别表示病人患A,患B,同患A和B,和至少患A和B之一。根据剃刀所述:P(A or B 症状)约等于1。我们不妨根据概率知识给出以下等式和不等式:

(1). P(A or B 症状)=P(A 症状) P(B 症状)-P(AB 症状).

(2). P(A or B 症状)<=P(A 症状) P(B 症状).

显然,不等式(2)是等式(1)的推论。

现在考虑一下不等式(2)意味着什么?

它意味着P(A 症状) P(B 症状)>=1.

在剃刀的假设中,A和B处于对称的地位,因此他没有理由假设P(A 症状)远大于P(B 症状)或者反过来。如果我们假设这两个比较接近的话,那么不等式(2)就意味着它们都不会低于1/2很多。为了讨论方面,我们假设它们都是至少0.5。当没有理由认为A和B两种病密切相关的前提下,我们可以假设两个条件事件是大致独立的(练习:如果它们密切相关会怎样呢)。这样:

(3) P(AB 症状)=P(A 症状)P(B 症状)>=0.25

也就是说,在上面的假设下,病人同患A和B的概率就至少是0.25。

这是一个非常不合理的结果。根据这一结果,剃刀后面为了提高病人患第二种病的概率所做的假设,比如要采样100个病人之类的,就都没有必要了,这个概率已经足够高了。

这里假设了A和B的对称和条件独立。抛弃这些假设,上面的数据就要做调整,但是仍然没有理由认为P(AB 症状)会非常低(比如低于1%)。

这个结果是不合理的,因为它不但违背了大家的常识,很显然也违背了剃刀的常识(剃刀眼中的常识跟我们的是不一样的嘛),因为剃刀认为还需要采样100个病人才把同患AB的概率提高到1%。我们的计算不用任何采样这个概率就已经比1%高得多了。

当然,这个结果确实是不合理的。为什么会得到这个不合理的结果呢?最初我们假设P(A or B 症状) 接近1。这个假设其实是不合理的。正是因为这个不合理的假设我们才得到了上述的不合理的结果。

通过剃刀的另一个例子,我们也了解到,把万分之几的患病先验概率提高到几乎是1的后验概率,是需要非常精准的医疗测试的,甚至99%准确的测试都不足以做到这一点。因此豪斯的小组是很难通过观察病人症状认定病人必患A或B之一的。

剃刀既然给出了我上面提到的第一个例子,就说明他明白这个道理。但是他的概率知识恐怕不够纯属,没意识到他的另一个例子中,这个普世适用的贝叶斯定理同样有效。

当然,也有可能剃刀假设的,病人几乎必然罹患的罕见病不是豪斯小组根据症状锁定的两种之一。而是随便的,跟症状无关的某种罕见病。正如我们前面指出的,他这里说的不清楚。但是这个就更不合理了。既然我们不局限于症状所指示的两种罕见病了,那么就没有任何理由认为病人罹患的一定是罕见病了,毕竟罕见病是罕见的。

概率问题确实有一些是反常识,反直觉的,但是违背常识和直觉的结论还是不可轻易做出的,要经过仔细的考虑。如果概率知识不够纯属,分析不够透测,就着急下反常识的结论,结果就是概率没用好,常识却抛弃了,这就是所谓邯郸学步。

0

阅读 评论 收藏 转载 喜欢 打印举报
  • 评论加载中,请稍候...
发评论

    发评论

    以上网友发言只代表其个人观点,不代表新浪网的观点或立场。

      

    新浪BLOG意见反馈留言板 电话:4006900000 提示音后按1键(按当地市话标准计费) 欢迎批评指正

    新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

    新浪公司 版权所有