转自http://cid-2d7821b3af3c6073.spaces.live.com/blog/cns!2D7821B3AF3C6073!155.entry
概率图模型之有向图与无向图

图模型用图结构描述随机变量之间的依赖关系，结点表示随机变量，边表示随机变量之间的依赖关系，可以是有向图和无向图。

一 无向图模型

无向图模型又叫马尔可夫网络、马尔可夫随机场，是关于一组有马尔可夫性质随机变量X的全联合概率分布模型。

1 无向图模型的表示

给定包含n个随机变量的问题域http://img.blog.163.com/photo/eebuh-IoSSRKh753UF-v3w==/5747156074478615827.jpg，则定义在问题域U上的无向图模型包括拓扑结构和参数两部分:

? 拓扑结构S:节点表示随机变量，两节点之间的连线表示它们之间具有直接的相互影响。

? 参数Θ:无向图模型参数是对节点之间相互影响的定量描述。它是拓扑结构S中每个极大完全子图所对应的势函数的集合。其中，极大完全子图(clique)是指不包含于其它完全子图的完全子图（完全子图中任何两节点是直接相连的），势函数http://img.blog.163.com/photo/czIOy7RFm88UXTQYgOYnBQ==/5747156074478615830.jpg的每种可能状态的能量。

2 无向图模型的联合概率分解

利用无向图模型可将图的联合概率分解为一系列因子式。给定无向图模型拓扑结构S和参数Θ之后，问题域U上的联合概率密度函数可写为:

http://img.blog.163.com/photo/09bxtJlEnyDX3n6hEiC5kA==/5747156074478615832.jpg

其中N为无向图中极大完全子图的数目。

3 例子：

http://img.blog.163.com/photo/PQJWpFVLKPY1Q9tIUStuGw==/5747156074478615836.jpg

http://img.blog.163.com/photo/eonLCsXO7ZtVFEAVrZtGyA==/5747156074478615837.jpg

http://img.blog.163.com/photo/9AU-IulYcl3cxdCxR8v-aw==/5747156074478615839.jpg

二 有向图模型

http://img.blog.163.com/photo/rxUJp77xGApbuS-n_2iibQ==/5747156074478615840.jpg

1 一个简单的例子

http://img.blog.163.com/photo/0Oe6l2h9UHguPlaH1JSC7g==/5747156074478615843.jpgZu2P4VEJeLlo3OvcL8seQRwBNIiBdrZeYrD3M7ku1u6hMkBxC7fYYlx__ELUS0QAFu0VNltF4OTmei_KfxJjahlD1ZMKCq0DJLL6jEl2Dq4Eety1Qw/clip_image018_thumb[1].jpg">

2 一般情况

http://img.blog.163.com/photo/q8GL7DiDce9S63eaCUgAjA==/5747156074478615845.jpg考虑任意联合分布 ，通过连续使用乘法规则

http://img.blog.163.com/photo/dXcrHyWR4-uadG-Bp1dOuA==/5747156074478615859.jpg

利用局部马尔可夫性简化简化：在给定其所有父亲节点的情况下，随机变量X与其非后继条件独立。

http://img.blog.163.com/photo/4SAaOUP2sI9QM0wCDcIw5A==/5747156074478615868.jpg

其中pai是Xi的父节点集合。

三 有向图模型与无向图模型的对比：

1 共同之处

将复杂的联合分布分解为多个因子的乘积

2 不同之处

有向图模型因子是概率分布、无需全局归一

无向图模型因子是势函数，需要全局归一

3 优缺点

无向图模型中势函数设计不受概率分布约束，

设计灵活，但全局归一代价高

有向图模型无需全局归一、训练相对高效