加载中…
个人资料
微博
  • 博客等级：
  • 博客积分：
  • 博客访问：
  • 关注人气：
  • 获赠金笔：0支
  • 赠出金笔：0支
  • 荣誉徽章：
正文 字体大小：大 中 小

统计学习方法(3)-贝叶斯定理与变量的独立性以及条件独立性

(2015-01-09 13:50:39)
标签：

佛学

 分类： ML_DL


从贝叶斯方法谈到贝叶斯网络

无条件独立和条件独立的定义：

两个事件的统计独立性

事件http://www.math.zju.edu.cn/Probability/course/chapter1-4.files/image286.gif发生的概率有影响，但也有相反的情况，即有时有

http://www.math.zju.edu.cn/Probability/course/chapter1-4.files/image288.gif.                                                        (7)

这时，http://www.math.zju.edu.cn/Probability/course/chapter1-4.files/image290.gif. 反过来，若

http://www.math.zju.edu.cn/Probability/course/chapter1-4.files/image292.gif,                                             (8)

则    

http://www.math.zju.edu.cn/Probability/course/chapter1-4.files/image294.gif.

这种情况称http://www.math.zju.edu.cn/Probability/course/chapter1-4.files/image298.gif统计独立(statistical independence)，或http://www.math.zju.edu.cn/Probability/course/chapter1-4.files/image304.gif统计相依(statistical dependence).也就是：P(A|B) = P(B) 或者P（A,B) = P(A)*P(B)

多个事件互相独立：

http://www.math.zju.edu.cn/Probability/course/chapter1-4.files/image443.gif                                           (10)

 

则称http://www.math.zju.edu.cn/Probability/course/chapter1-4.files/image446.gif相互独立.


条件独立：

条件独立是条件概率的独立性，条件概率也是一种概率，只不过是将事件的空间集合改变。
设有事件R和B,当它们在事件Y定义的空间上相互独立时要满足
http://my.csdn.net/uploads/201206/21/1340265347_2770.png
或者表达成

http://my.csdn.net/uploads/201206/21/1340265474_4675.png

R和B在给定事件W的条件下独立时，表达为
http://my.csdn.net/uploads/201206/21/1340265570_6819.png


要注意的是，X和Y独立与X和Y条件独立没有关系。显然，条件独立无法推得独立，同样的相互独立也无法保证在任意空间上条件独立。


两个事件关于某一个事件乘积的概率，等于条件概率的积。P(AB/C)=P(A/C)P(B/C)则A、B条件独立(在条件C已知的前提下独立) 或者P(A|C)=P(A|BC)也称为条件独立。


证明：


设A、B、C为事件，P(ABC)＞0，如果P(AB|C)＝P(A|C)P(B|C)，则（ D)

 (A)P(C|AB)＝P(C|A)． (B)P(C|AB)＝P(C|B)． (C)P(B|AC)＝P(B|A)． (D)P(B|AC)＝P(B|C)．

 

解答：由P(ABC)＞0， P(AB|C)＝P(A|C)P(B|C)

   可知P(AB)＝P(A)P(B) 且P(A)>0,P(B)>0，P(C)>0

因为若P(A)>0,P(B)>0，P(C)>0不满足，则P(ABC)＞0不成立。

因为P(AB|C)＝P(A|C)P(B|C) ，两边同时乘以P(C) 使左边为P(ABC)

==> P(ABC)=P(AC)*P(B|C)  (1)

    P(ABC)=P(BC)*P(A|C)  (2)

对（1）式变形，即可得到：P(ABC)/P(AC)=P(B|C)

    又 因为P(AC)*P(B|AC)=P(ABC)   所以P(B|C)=P(B|AC)，答案为D

 同理，对(2)式变形，可得到P(A|C)=P(A|BC)


0 引言

    事实上，介绍贝叶斯定理、贝叶斯方法、贝叶斯推断的资料、书籍不少，比如《数理统计学简史》，以及《统计决策论及贝叶斯分析 James O.Berger著》等等，然介绍贝叶斯网络的中文资料则非常少，中文书籍总共也没几本，有的多是英文资料，但初学者一上来就扔给他一堆英文论文，因无基础和语言的障碍而读得异常吃力导致无法继续读下去则是非常可惜的（当然，有了一定的基础后，便可阅读更多的英文资料）。

    11月9日上午，机器学习班第9次课，邹博讲贝叶斯网络，其帮助大家提炼了贝叶斯网络的几个关键点：贝叶斯网络的定义、3种结构形式、因子图、以及Summary-Product算法等等，知道了贝叶斯网络是啥，怎么做，目标是啥之后，相信看英文论文也更好看懂了。

    故本文结合邹博第9次课贝叶斯网络的PPT 及相关参考资料写就，从贝叶斯方法讲起，重点阐述贝叶斯网络，依然可以定义为一篇读书笔记或学习笔记，有任何问题，欢迎随时不吝指出，thanks。



1 贝叶斯方法

    长久以来，人们对一件事情发生或不发生的概率http://img.blog.csdn.net/20141110214603237就是1/2，要么取到白球，要么取不到白球，即θ只能有一个值，而且不论你取了多少次，取得白球的概率θ始终都是1/2，即不随观察结果X 的变化而变化。

    这种频率派的观点长期统治着人们的观念，直到后来一个名叫Thomas Bayes的人物出现。

1.1 贝叶斯方法的提出

    托马斯·贝叶斯Thomas Bayes（1702-1763）在世时，并不为当时的人们所熟知，很少发表论文或出版著作，与当时学术界的人沟通交流也很少，用现在的话来说，贝叶斯就是活生生一民间学术“屌丝”，可这个“屌丝”最终发表了一篇名为“An essay towards solving a problem in the doctrine of chances”，翻译过来则是：机遇理论中一个问题的解。你可能觉得我要说：这篇论文的发表随机产生轰动效应，从而奠定贝叶斯在学术史上的地位。

            http://img.blog.csdn.net/20141110191248285

    事实上，上篇论文发表后，在当时并未产生多少影响，在20世纪后，这篇论文才逐渐被人们所重视。对此，与梵高何其类似，画的画生前一文不值，死后价值连城。

    回到上面的例子：“有一个袋子，里面装着若干个白球和黑球，请问从袋子中取得白球的概率θ是多少？”贝叶斯认为取得白球的概率http://img.blog.csdn.net/20141110214603237是个不确定的值，因为其中含有机遇的成分。比如，一个朋友创业，你明明知道创业的结果就两种，即要么成功要么失败，但你依然会忍不住去估计他创业成功的几率有多大？你如果对他为人比较了解，而且有方法、思路清晰、有毅力、且能团结周围的人，你会不由自主的估计他创业成功的几率可能在80%以上。这种不同于最开始的“非黑即白、非0即1”的思考方式，便是贝叶斯式的思考方式。

    继续深入讲解贝叶斯方法之前，先简单总结下频率派与贝叶斯派各自不同的思考方式：

以成功学为例子：频率派研究的是成功的人的特征是怎么样的，不成功的人的特征是什么，研究的是输入样本的特征，成功/失败的样本的分布是怎么样的。

而贝叶斯认为不同的人成功的概率是不同的，因此概率分布是一个变量。比如这部分人成功的概率是多少，失败的概率是多少。贝叶斯认为的成功和失败是一个概率，而频率派认为的成功和失败是一个0/1的结果，因此去研究那些人会成功，那些人会失败(但实际上具有这些特征的人就一定会成功吗？。。。）。

相对来说，频率派的观点容易理解，所以下文重点阐述贝叶斯派的观点。

    贝叶斯派既然把http://img.blog.csdn.net/20141110214603237看做是一个随机变量，所以要计算http://img.blog.csdn.net/20141110214603237的分布，便得事先知道http://img.blog.csdn.net/20141110214603237的无条件分布，即在有样本之前（或观察到X之前），http://img.blog.csdn.net/20141110214603237有着怎样的分布呢？

    比如往台球桌上扔一个球，这个球落会落在何处呢？如果是不偏不倚的把球抛出去，那么此球落在台球桌上的任一位置都有着相同的机会，即球落在台球桌上某一位置的概率http://img.blog.csdn.net/20141110214603237服从均匀分布。这种在实验之前定下的属于基本前提性质的分布称为先验分布，或http://img.blog.csdn.net/20141110214603237的无条件分布(预先定义了结果的分布)

    至此，贝叶斯及贝叶斯派提出了一个思考问题的固定模式：

    上述思考模式意味着，新观察到的样本信息将修正人们以前对事物的认知。换言之，在得到新的样本信息之前，人们对http://img.blog.csdn.net/20141110215058639。

也就是说先定义了一个结果的概率分布(先验概率)，再根据实际的样本信息来修正它(后验概率)。

        其中，先验信息一般来源于经验跟历史资料。比如林丹跟某选手对决，解说一般会根据林丹历次比赛的成绩对此次比赛的胜负做个大致的判断。比如根据之前的比赛情况认为获胜的概率为80%，但是打完一局后发现他今天状态不行或者忽然受伤了，因此可能需要调整这个概率为40%，这就是后验概率(P(1|第一局的情况)。

再比如，某工厂每天都要对产品进行质检，以评估产品的不合格率θ，经过一段时间后便会积累大量的历史资料，这些历史资料便是先验知识，有了这些先验知识，便在决定对一个产品是否需要每天质检时便有了依据，如果以往的历史资料显示，某产品的不合格率只有0.01%，便可视为信得过产品或免检产品，只每月抽检一两次，从而省去大量的人力物力。

    而后验分布http://img.blog.csdn.net/20141110211547800称为最大后验估计，类似于经典统计学中的极大似然估计。

    综合起来看，则好比是人类刚开始时对大自然只有少得可怜的先验知识，但随着不断是观察、实验获得更多的样本、结果，使得人们对自然界的规律摸得越来越透彻。所以，贝叶斯方法既符合人们日常生活的思考方式，也符合人们认识自然的规律，经过不断的发展，最终占据统计学领域的半壁江山，与经典统计学分庭抗礼。

    此外，贝叶斯除了提出上述思考模式之外，还特别提出了举世闻名的贝叶斯定理。

1.2 贝叶斯定理

    在引出贝叶斯定理之前，先学习几个定义：

  • 条件概率（又称后验概率）就是事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P(A|B)，读作“在B条件下A的概率”。
比如，在同一个样本空间Ω中的事件或者子集A与B，如果随机从Ω中选出的一个元素属于B，那么这个随机选择的元素还属于A的概率就定义为在B的前提下A的条件概率，所以：P(A|B) = |A∩B|/|B|，接着分子、分母都除以|Ω|得到
http://img.blog.csdn.net/20141114111032274
  • 联合概率表示两个事件共同发生的概率。A与B的联合概率表示为http://img.my.csdn.net/uploads/201212/17/1355742607_7553.png。
  • 边缘概率（又称先验概率）是某个事件发生的概率。边缘概率是这样得到的：在联合概率中，把最终结果中那些不需要的事件通过合并成它们的全概率，而消去它们（对离散随机变量用求和得全概率，对连续随机变量用积分得全概率），这称为边缘化（marginalization），比如A的边缘概率表示为P(A)，B的边缘概率表示为P(B)。 

    接着，考虑一个问题：P(A|B)是在B发生的情况下A发生的可能性。

  1. 首先，事件B发生之前，我们对事件A的发生有一个基本的概率判断，称为A的先验概率，用P(A)表示；
  2. 其次，事件B发生之后，我们对事件A的发生概率重新评估，称为A的后验概率，用P(A|B)表示；
  3. 类似的，事件A发生之前，我们对事件B的发生有一个基本的概率判断，称为B的先验概率，用P(B)表示；
  4. 同样，事件A发生之后，我们对事件B的发生概率重新评估，称为B的后验概率，用P(B|A)表示。

    贝叶斯定理便是基于下述贝叶斯公式：

http://img.blog.csdn.net/20141110213025473

    上述公式的推导其实非常简单，就是从条件概率推出。

 

    根据条件概率的定义，在事件B发生的条件下事件A发生的概率是

 

http://img.my.csdn.net/uploads/201212/17/1355743621_3291.png

 

    同样地，在事件A发生的条件下事件B发生的概率

 

http://img.my.csdn.net/uploads/201212/17/1355743641_7924.png
    整理与合并上述两个方程式，便可以得到：

 

http://img.my.csdn.net/uploads/201212/17/1355743655_7717.png

 

    接着，上式两边同除以P(B)，若P(B)是非零的，我们便可以得到贝叶斯定理的公式表达式：

 

http://img.my.csdn.net/uploads/201212/17/1355743670_7907.png

    所以，贝叶斯公式可以直接根据条件概率的定义直接推出。即因为P(A,B) = P(A)P(B|A) = P(B)P(A|B)，所以P(A|B) = P(A)P(B|A)  / P(B)。

1.3 应用：拼写检查

    经常在网上搜索东西的朋友知道，当你不小心输入一个不存在的单词时，搜索引擎会提示你是不是要输入某一个正确的单词，比如当你在Google中输入“Julw”时，系统会猜测你的意图：是不是要搜索“July”，如下图所示：

http://img.blog.csdn.net/20141112225545796

    这叫做拼写检查。根据谷歌一员工写的文章显示，Google的拼写检查基于贝叶斯方法。下面我们就来看看，怎么利用贝叶斯方法，实现"拼写检查"的功能。

    用户输入一个单词时，可能拼写正确，也可能拼写错误。如果把拼写正确的情况记做c（代表correct），拼写错误的情况记做w（代表wrong），那么"拼写检查"要做的事情就是：在发生w的情况下，试图推断出c。换言之：已知w，然后在若干个备选方案中，找出可能性最大的那个c，也就是求http://img.blog.csdn.net/20141112230745208的最大值。
    而根据贝叶斯定理，有：

　　http://img.blog.csdn.net/20141112230845578

    由于对于所有备选的c来说，对应的都是同一个w，所以它们的P(w)是相同的，因此我们只要最大化

http://img.blog.csdn.net/20141112231004421

    即可。其中：

  • P(c)表示某个正确的词的出现"概率"，它可以用"频率"代替。如果我们有一个足够大的文本库，那么这个文本库中每个单词的出现频率，就相当于它的发生概率。某个词的出现频率越高，P(c)就越大。比如在你输入一个错误的词“Julw”时，系统更倾向于去猜测你可能想输入的词是“July”，而不是“Jult”，因为“July”更常见。
  • P(w|c)表示在试图拼写c的情况下，出现拼写错误w的概率。为了简化问题，假定两个单词在字形上越接近，就有越可能拼错，P(w|c)就越大。举例来说，相差一个字母的拼法，就比相差两个字母的拼法，发生概率更高。你想拼写单词July，那么错误拼成Julw（相差一个字母）的可能性，就比拼成Jullw高（相差两个字母）。值得一提的是，一般把这种问题称为“编辑距离”，参见博客中的这篇文章。
    所以，我们比较所有拼写相近的词在文本库中的出现频率，再从中挑出出现频率最高的一个，即是用户最想输入的那个词。具体的计算过程及此方法的缺陷请参见这里。



2 贝叶斯网络

2.1 贝叶斯网络的定义

    贝叶斯网络(Bayesian network)，又称信念网络(Belief Network)，或有向无环图模型(directed acyclic graphical model)，是一种概率图模型，于1985年由Judea Pearl首先提出。它是一种模拟人类推理过程中因果关系的不确定性处理模型，其网络拓朴结构是一个有向无环图(DAG)。 

    贝叶斯网络的有向无环图中的节点表示随机变量http://img.blog.csdn.net/20141110221023930，它们可以是可观察到的变量，或隐变量、未知参数等。认为有因果关系（或非条件独立）的变量或命题则用箭头来连接。若两个节点间以一个单箭头连接在一起，表示其中一个节点是“因(parents)”，另一个是“果(children)”，两节点就会产生一个条件概率值。

    总而言之，连接两个节点的箭头代表此两个随机变量是具有因果关系，或非条件独立。

    例如，假设节点E直接影响到节点H，即E→H，则用从E指向H的箭头建立结点E到结点H的有向弧(E,H)，权值(即连接强度)用条件概率P(H|E)来表示，如下图所示：

http://img.blog.csdn.net/20141111180200463

    简言之，把某个研究系统中涉及的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。其主要用来描述随机变量之间的条件依赖，用圈表示随机变量(random variables)，用箭头表示条件依赖(conditional dependencies)。

    令G = (I,E)表示一个有向无环图(DAG)，其中I代表图形中所有的节点的集合，而E代表有向连接线段的集合，且令X = (Xi)i ∈ I为其有向无环图中的某一节点i所代表的随机变量，若节点X的联合概率可以表示成：

http://img.blog.csdn.net/20141110222518593

    则称X为相对于一有向无环图G 的贝叶斯网络，其中，http://img.blog.csdn.net/20141110222555954表示节点i之“因”，或称pa(i)是i的parents（父母）。 
    此外，对于任意的随机变量，其联合概率可由各自的局部条件概率分布相乘而得出：
    http://img.blog.csdn.net/20141110224303808

    如下图所示，便是一个简单的贝叶斯网络：

http://img.blog.csdn.net/20141110221319352

    因为a导致b，a和b导致c，所以有

http://img.blog.csdn.net/20141110222147578

2.2 贝叶斯网络的3种结构形式

    给定如下图所示的一个贝叶斯网络：

http://img.blog.csdn.net/20141110234449486

    从图上可以比较直观的看出：

  • 1. x1,x2,…x7的联合分布为

http://img.blog.csdn.net/20141110233944921

  • 2. x1和x2独立（对应head-to-head）；
  • 3. x6和x7在x4给定的条件下独立（对应tail-to-tail），这就是条件独立。

    根据上图，第1点可能很容易理解，但第2、3点中所述的条件独立是啥意思呢？其实第2、3点是贝叶斯网络中3种结构形式中的其中二种。为了说清楚这个问题，需要引入D-Separation（D-分离）这个概念。

    D-Separation是一种用来判断变量是否条件独立的图形化方法。换言之，对于一个DAG(有向无环图)E，D-Separation方法可以快速的判断出两个节点之间是否是条件独立的。

2.2.1 形式1：head-to-head

    贝叶斯网络的第一种结构形式如下图所示：

http://img.blog.csdn.net/20141110235330121

    所以有：P(a,b,c) = P(a)*P(b)*P(c|a,b)成立，化简后可得：

http://img.blog.csdn.net/20141110235818784

    即在c未知的条件下，a、b被阻断(blocked)，是独立的（条件独立)，称之为head-to-head条件独立，对应本节中最开始那张图中的“x1、x2独立”。
但是在C已知的情况下，a,b不是条件独立的。


2.2.2 形式2：tail-to-tail

    贝叶斯网络的第二种结构形式如下图所示

http://img.blog.csdn.net/20141111000434953

    考虑c未知，跟c已知这两种情况：

  1. 在c未知的时候，有：P(a,b,c)=P(c)*P(a|c)*P(b|c)，此时，没法得出P(a,b) = P(a)P(b)，即c未知时，a、b不独立。
  2. 在c已知的时候，有：P(a,b|c)=P(a,b,c)/P(c)，然后将P(a,b,c)=P(c)*P(a|c)*P(b|c)带入式子中，得到：P(a,b|c)=P(a,b,c)/P(c) = P(c)*P(a|c)*P(b|c) / P(c) = P(a|c)*P(b|c)，即c已知时，a、b独立。

    所以，在c给定的条件下，a，b被阻断(blocked)，是独立的，称之为tail-to-tail条件独立，对应本节中最开始那张图中的“x6和x7在x4给定的条件下独立”。

http://img.blog.csdn.net/20141111000649872

2.2.3 形式3：head-to-tail

    贝叶斯网络的第三种结构形式如下图所示：

http://img.blog.csdn.net/20141111001937768

    还是分c未知跟c已知这两种情况：

  1. c未知时，有：P(a,b,c)=P(a)*P(c|a)*P(b|c)，但无法推出P(a,b) = P(a)P(b)，即c未知时，a、b不独立。
  2. c已知时，有：P(a,b|c)=P(a,b,c)/P(c)，且根据P(a,c) = P(a)*P(c|a) = P(c)*P(a|c)，可化简得到：

http://img.blog.csdn.net/20141111001901123

    所以，在c给定的条件下，a，b被阻断(blocked)，是独立的，称之为head-to-tail条件独立。

http://img.blog.csdn.net/20141111002057687

    插一句：这个head-to-tail其实就是一个链式网络，如下图所示：

http://img.blog.csdn.net/20141111002737625

    根据之前对head-to-tail的讲解，我们已经知道，在xi给定的条件下，xi+1的分布和x1,x2…xi-1条件独立。意味着啥呢？意味着：xi+1的分布状态只和xi有关，和其他变量条件独立。通俗点说，当前状态只跟上一状态有关，跟上上或上上之前的状态无关。这种顺次演变的随机过程，就叫做马尔科夫链（Markov chain）。且有：

http://img.blog.csdn.net/20141111003037680

    接着，将上述结点推广到结点集，则是：对于任意的结点集A，B，C，考察所有通过A中任意结点到B中任意结点的路径，若要求A，B条件独立，则需要所有的路径都被阻断(blocked)，即满足下列两个前提之一：

  1. A和B的“head-to-tail型”和“tail-to-tail型”路径都通过C；
  2. A和B的“head-to-head型”路径不通过C以及C的子孙；

    最后，举例说明上述D-Separation的3种情况（即贝叶斯网络的3种结构形式），则是如下图所示：

  http://img.blog.csdn.net/20141111004832787

    上图中左边部分是head-to-tail，给定 T 时，A 和 X 独立；右边部分的右上角是tail-to-tail，给定S时，L和B独立；右边部分的右下角是head-to-head，未给定D时，L和B独立。

2.3 贝叶斯网络的实例

 

    给定如下图所示的贝叶斯网络：

 

http://img.blog.csdn.net/20141111213550845

 

    其中，各个单词、表达式表示的含义如下：

  • smoking表示吸烟，其概率用P(S)表示，lung Cancer表示的肺癌，一个人在吸烟的情况下得肺癌的概率用P(C|S)表示，X-ray表示需要照医学上的X光，肺癌可能会导致需要照X光，吸烟也有可能会导致需要照X光（所以smoking也是X-ray的一个因），所以，因吸烟且得肺癌而需要照X光的概率用P(X|C,S)表示。
  • Bronchitis表示支气管炎，一个人在吸烟的情况下得支气管炎的概率用P(B|S)，dyspnoea表示呼吸困难，支气管炎可能会导致呼吸困难，肺癌也有可能会导致呼吸困难（所以lung Cancer也是dyspnoea的一个因），因吸烟且得了支气管炎导致呼吸困难的概率用P(D|C,B)表示。

    lung Cancer简记为C，Bronchitis简记为B，dyspnoea简记为D，且C = 0表示lung Cancer不发生的概率，C = 1表示lung Cancer发生的概率，B等于0（B不发生）或1（B发生）也类似于C，同样的，D=1表示D发生的概率，D=0表示D不发生的概率，便可得到dyspnoea的一张概率表，如上图的最右下角所示。

2.4 因子图

    回到2.3节中那个实例上，如下图所示：

 

http://img.blog.csdn.net/20141111005733875

 

    对于上图，在一个人已经呼吸困难（dyspnoea）的情况下，其抽烟（smoking）的概率是多少呢？即：

http://img.blog.csdn.net/20141111005823359

     咱们来一步步计算推导下：

http://img.blog.csdn.net/20141111010027078

    解释下上述式子推导过程：

 

  1. 第二行：对联合概率关于b,x,c求和（在d=1的条件下），从而消去b,x,c，得到s和d=1的联合概率。
  2. 第三行：最开始，所有变量都在sigma(d=1,b,x,c)的后面（sigma表示对“求和”的称谓），但由于P(s)和“d=1,b,x,c”都没关系，所以，可以提到式子的最前面。而且P(b|s)和x、c没关系，所以，也可以把它提出来，放到sigma(b)的后面，从而式子的右边剩下sigma(x)和sigma(c)。

    此外，图中Variable elimination表示的是变量消除的意思。为了更好的解决此类问题，咱们得引入因子图的概念。

2.4.1 因子图的定义

    wikipedia上是这样定义因子图的：将一个具有多变量的全局函数因子分解，得到几个局部函数的乘积，以此为基础得到的一个双向图叫做因子图（Factor Graph）。

    比如，假定对于函数http://img.blog.csdn.net/20141111010913859，有下述式子成立：

http://img.blog.csdn.net/20141111010838872

    其中http://img.blog.csdn.net/20141111010916375包括：

 

  1. 变量节点http://img.blog.csdn.net/20141111011033218
  2.  因子（函数）节点http://img.blog.csdn.net/20141111010947528
  3. 边http://img.blog.csdn.net/20141111011114904存在。

    正式的定义果然晦涩！我相信你没看懂。通俗来讲，所谓因子图就是对函数进行因子分解得到的一种概率图。一般内含两种节点：变量节点和函数节点。我们知道，一个全局函数通过因式分解能够分解为多个局部函数的乘积，这些局部函数和对应的变量关系就体现在因子图上。

    举个例子，现在有一个全局函数，其因式分解方程为：

http://img.blog.csdn.net/20141112103919079

    其中fA,fB,fC,fD,fE为各函数，表示变量之间的关系，可以是条件概率也可以是其他关系（如马尔可夫随机场Markov Random Fields中的势函数）。

    为了方便表示，可以写成：

http://img.blog.csdn.net/20141112104009484

    其对应的因子图为：

http://img.blog.csdn.net/20141112104542668

    且上述因子图等价于：

http://img.blog.csdn.net/20141112104625484

    所以，在因子图中，所有的顶点不是变量节点就是函数节点，边线表示它们之间的函数关系。

    但搞了半天，虽然知道了什么是因子图，但因子图到底是干嘛的呢？为何要引入因子图，其用途和意义何在？事实上，因子图跟贝叶斯网络和马尔科夫随机场（Markov Random Fields）一样，也是概率图的一种。

    既然提到了马尔科夫随机场，那顺便说下有向图、无向图，以及条件随机场等相关概念。

  • 我们已经知道，有向图模型，又称作贝叶斯网络（Directed Graphical Models, DGM, Bayesian Network）。
http://img.blog.csdn.net/20141222112243656
  • 但在有些情况下，强制对某些结点之间的边增加方向是不合适的。使用没有方向的无向边，形成了无向图模型（Undirected Graphical Model,UGM）, 又被称为马尔科夫随机场或者马尔科夫网络（Markov Random Field,  MRF or Markov network）。
http://img.blog.csdn.net/20141222112302034
  • 设X=(X1,X2…Xn)和Y=(Y1,Y2…Ym)都是联合随机变量，若随机变量Y构成一个无向图 G=(V,E)表示的马尔科夫随机场（MRF），则条件概率分布P(Y|X)称为条件随机场（Conditional Random Field, 简称CRF，后续新的博客中可能会阐述CRF）。如下图所示，便是一个线性链条件随机场的无向图模型：
http://img.blog.csdn.net/20141222111852153

    回到本文的主旨上来。在概率图中，求某个变量的边缘分布是常见的问题。这问题有很多求解方法，其中之一就是把贝叶斯网络或马尔科夫随机场转换成因子图，然后用sum-product算法求解。换言之，基于因子图可以用sum-product 算法高效的求各个变量的边缘分布。

    先通过一些例子分别说明如何把贝叶斯网络（和马尔科夫随机场），以及把马尔科夫链、隐马尔科夫模型转换成因子图后的情形，然后在2.4.2节，咱们再来看如何利用因子图的sum-product算法求边缘概率分布。

    给定下图所示的贝叶斯网络或马尔科夫随机场：

http://img.blog.csdn.net/20141112101407483

    根据各个变量对应的关系，可得：

http://img.blog.csdn.net/20141111092421343

    其对应的因子图为（以下两种因子图的表示方式皆可）：

http://img.blog.csdn.net/20141111092601459

    由上述例子总结出由贝叶斯网络构造因子图的方法：

  • 贝叶斯网络中的一个因子对应因子图中的一个结点
  • 贝叶斯网络中的每一个变量在因子图上对应边或者半边
  • 结点g和边x相连当且仅当变量x出现在因子g中。

    再比如，对于下图所示的由马尔科夫链转换而成的因子图：

http://img.blog.csdn.net/20141111234424734

    有：

http://img.blog.csdn.net/20141111234428132

    而对于如下图所示的由隐马尔科夫模型转换而成的因子图：

 

http://img.blog.csdn.net/20141111234503609

 

    有：

 

http://img.blog.csdn.net/20141111234515031

2.4.2 Sum-product算法

    我们已经知道，对于下图所示的因子图：

http://img.blog.csdn.net/20141111093045895

 

    有：

http://img.blog.csdn.net/20141111093054537

    下面，咱们来考虑一个问题：即如何由联合概率分布求边缘概率分布。

    首先回顾下联合概率和边缘概率的定义，如下：

  • 联合概率表示两个事件共同发生的概率。A与B的联合概率表示为http://img.my.csdn.net/uploads/201212/17/1355742607_7553.png。
  • 边缘概率（又称先验概率）是某个事件发生的概率。边缘概率是这样得到的：在联合概率中，把最终结果中不需要的那些事件合并成其事件的全概率而消失（对离散随机变量用求和得全概率，对连续随机变量用积分得全概率）。这称为边缘化（marginalization）。A的边缘概率表示为P(A)，B的边缘概率表示为P(B)。 

    事实上，某个随机变量fk的边缘概率可由x1,x2,x3, ..., xn的联合概率求到，具体公式为：

http://img.blog.csdn.net/20141111235305570

    啊哈，啥原理呢？原理很简单，还是它：对x3外的其它变量的概率求和，最终剩下x3的概率！

    此外，换言之，如果有

http://img.blog.csdn.net/20141111235735656



    那么

http://img.blog.csdn.net/20141111235745640

    上述式子如何进一步化简计算呢？考虑到我们小学所学到的乘法分配率，可知a*b + a*c = a*(b + c)，前者2次乘法1次加法，后者1次乘法，1次加法。我们这里的计算是否能借鉴到分配率呢？别急，且听下文慢慢道来。

    假定现在我们需要计算计算如下式子的结果：

http://img.blog.csdn.net/20141112000434217

    同时，f 能被分解如下：

http://img.blog.csdn.net/20141112000519707

    借鉴分配率，我们可以提取公因子：

http://img.blog.csdn.net/20141112000839984

     因为变量的边缘概率等于所有与他相连的函数传递过来的消息的积，所以计算得到：

http://img.blog.csdn.net/20141112000843006

    仔细观察上述计算过程，可以发现，其中用到了类似“消息传递”的观点，且总共两个步骤。

    第一步、对于f 的分解图，根据蓝色虚线框、红色虚线框围住的两个box外面的消息传递：

http://img.blog.csdn.net/20141112001129256

    计算可得：

http://img.blog.csdn.net/20141112001150643

    第二步、根据蓝色虚线框、红色虚线框围住的两个box内部的消息传递：

http://img.blog.csdn.net/20141112001808913

    根据http://img.blog.csdn.net/20141112001819443，我们有：

http://img.blog.csdn.net/20141112001830316

    就这样，上述计算过程将一个概率分布写成两个因子的乘积，而这两个因子可以继续分解或者通过已知得到。这种利用消息传递的观念计算概率的方法便是sum-product算法。前面说过，基于因子图可以用sum-product算法可以高效的求各个变量的边缘分布。

    到底什么是sum-product算法呢？sum-product算法，也叫belief propagation，有两种消息：

http://img.blog.csdn.net/20141112164507756
    此时，变量到函数的消息为http://img.blog.csdn.net/20141112164737703。
http://img.blog.csdn.net/20141112164805362
    此时，函数到变量的消息为：http://img.blog.csdn.net/20141112164838031。

    以下是sum-product算法的总体框架：

 

  • 1、给定如下图所示的因子图：

 

 

  • 2、sum-product 算法的消息计算规则为：
  • 3、根据sum-product定理，如果因子图中的函数f 没有周期，则有：

    值得一提的是：如果因子图是无环的，则一定可以准确的求出任意一个变量的边缘分布，如果是有环的，则无法用sum-product算法准确求出来边缘分布。

    比如，下图所示的贝叶斯网络：

http://img.blog.csdn.net/20141112183526203

    其转换成因子图后，为：

http://img.blog.csdn.net/20141112183557236

    可以发现，若贝叶斯网络中存在“环”（无向），则因此构造的因子图会得到环。而使用消息传递的思想，这个消息将无限传输下去，不利于概率计算。
    解决方法有3个：

  • 1、删除贝叶斯网络中的若干条边，使得它不含有无向环
    比如给定下图中左边部分所示的原贝叶斯网络，可以通过去掉C和E之间的边，使得它重新变成有向无环图，从而成为图中右边部分的近似树结构：
    具体变换的过程为最大权生成树算法MSWT（详细建立过程请参阅此PPT 第60页），通过此算法，这课树的近似联合概率P'(x)和原贝叶斯网络的联合概率P(x)的相对熵（如果忘了什么叫相对熵，请参阅：最大熵模型中的数学推导）最小。
  • 2、重新构造没有环的贝叶斯网络
  • 3、选择loopy belief propagation算法（你可以简单理解为sum-product 算法的递归版本），此算法一般选择环中的某个消息，随机赋个初值，然后用sum-product算法，迭代下去，因为有环，一定会到达刚才赋初值的那个消息，然后更新那个消息，继续迭代，直到没有消息再改变为止。唯一的缺点是不确保收敛，当然，此算法在绝大多数情况下是收敛的。

    此外，除了这个sum-product算法，还有一个max-product 算法。但只要弄懂了sum-product，也就弄懂了max-product 算法。因为max-product 算法就在上面sum-product 算法的基础上把求和符号换成求最大值max的符号即可！

    最后，sum-product 和 max-product 算法也能应用到隐马尔科夫模型hidden Markov models上，后面有机会的话可以介绍。本文完。



3 参考文献和推荐阅读

 

  1. Thomas Bayes "An essay towards solving a Problem in the Doctrine of Chances"（贝叶斯定理原始论文）：http://www.sbs-bvs.be/bsn57/bsn57-6.pdf；
  2. 《数理统计学简史 第三章 贝叶斯方法》；
  3. 《贝叶斯统计 茆诗松著》；
  4. “Julw”的搜索结果：http://www.gu1234.com/search?hl=zh-CN&site=webhp&source=hp&q=Julw&btnK=Google+搜索&gws_rd=ssl；
  5. 北京10月机器学习班第9次课，邹博讲贝叶斯网络的PPT：http://pan.baidu.com/s/1o69Lp1K；
  6. 相关wikipedia，比如贝叶斯定理的wiki：http://zh.wikipedia.org/zh/贝叶斯定理，贝叶斯网络的wiki：http://zh.wikipedia.org/wiki/貝氏網路。因子图中文wiki：http://zh.wikipedia.org/zh/因子图，英文wik：http://en.wikipedia.org/wiki/Factor_graph。
  7. 《统计决策论及贝叶斯分析 James O.Berger著》；
  8. 贝叶斯定理：http://www.guokr.com/question/547339/；
  9. 贝叶斯推断及其互联网应用（一）：定理简介http://www.ruanyifeng.com/blog/2011/08/bayesian_inference_part_one.html；
  10. 贝叶斯推断及其互联网应用（三）：拼写检查http://www.ruanyifeng.com/blog/2012/10/spelling_corrector.html；
  11. Google研发总监Peter Norvig解释拼写检查的原理：http://norvig.com/spell-correct.html；
  12. http://www.eng.yale.edu/pjk/eesrproj_02/luckenbill_html/node4.html(sum-product)；
  13. Pattern Recognition and Machine Learning Chapter 8, M. Jordan, J. Kleinberg, ect, 2006；
  14. D-Separation(D分离)-PRML-8.22-Graphical Model by 小军：http://www.zhujun.me/d-separation-separation-d.html；
  15. 因子图介绍 by Hans-Andrea Loeliger：http://www.robots.ox.ac.uk/~parg/mlrg/papers/factorgraphs.pdf；
  16. http://netclass.csu.edu.cn/jpkc2003/rengongzhineng/rengongzhineng/kejian/ai/ai/chapter4/442.htm；
  17. 贝叶斯网的R实现（ Bayesian networks in R）（二）bnlearn(2)：http://site.douban.com/182577/widget/notes/12817482/note/283039795/；
  18. 知乎上关于贝叶斯学派跟频率派的区别的讨论：http://www.zhihu.com/question/20587681；
  19. factor graph，因子图，势函数potential function，Template models：http://www.cnblogs.com/549294286/archive/2013/06/06/3121454.html；
  20. Online Bayesian Probit Regression介绍之Factor Graph：http://www.doingkong.com/?p=68；
  21. An Introduction to Factor Graphs,Hans-Andrea Loeliger,MLSB 2008：http://people.binf.ku.dk/~thamelry/MLSB08/hal.pdf；
  22. Factor graph and sum-product algorithm, Frank R. Kschischang, Brendan J.Frey, ect, 1998：http://filebox.vt.edu/~rmtaylor/Graphical_Modeling/Intro_and_tutorial/Kschischang_ffg_sumproduct.pdf；
  23. A Tutorial on Inference and Learning in Bayesian Networks, Irina Rish：http://www.ee.columbia.edu/~vittorio/Lecture12.pdf；
  24. Probabilistic Graphical Models Directed GMs: Bayesian Networks：http://www.cs.cmu.edu/~epxing/Class/10708/lectures/lecture2-BNrepresentation.pdf；
  25. A Brief Introduction to Graphical Models and Bayesian Networks By Kevin Murphy, 1998：http://www.cs.ubc.ca/~murphyk/Bayes/bayes.html；
  26. Probabilistic Models for Unsupervised Learning（从一个统一的视角去理解： bayesian、MAP、ML，以及FA、EM、PCA、ICA、GMM、HMM等算法）：http://mlg.eng.cam.ac.uk/zoubin/nipstut.pdf；
  27. PRML概率图模型读书笔记：http://vdisk.weibo.com/s/DmxNcM5-7sGS；
  28. 12月14日，机器学习班第15次课，邹博讲条件随机场CRF的PPT：http://pan.baidu.com/s/1qWBdOD2。

喜欢

0

阅读┊ 收藏 ┊ 喜欢▼ ┊打印┊举报/Report
  

新浪BLOG意见反馈留言板　欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 产品答疑

Copyright © 1996 - 2022 SINA Corporation, All Rights Reserved

新浪公司 版权所有