加载中…
个人资料
张滴卡小丸子
张滴卡小丸子
  • 博客等级:
  • 博客积分:0
  • 博客访问:47,020
  • 关注人气:23
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
相关博文
推荐博文
正文 字体大小:

判别式模型和产生式模型

(2011-12-12 10:53:35)
标签:

杂谈

分类: 学习笔记

 

判别式模型( discriminative model 

产生式模型( generative model 

 

特点

寻找不同类别之间的最优分类面,反映的是异类数据之间的差异

对后验概率建模,从统计的角度表示数据的分布情况,能够反映同类数据本身的相似度

区别 ( 假定输入 x,类别标签 y)

估计的是条件概率分布 (conditional distribution) :  P(y|x)

估计的是联合概率分布( joint probability distribution: P(x, y),

联系

由产生式模型可以得到判别式模型,但由判别式模型得不到产生式模型。

 

 

常见模型

– logistic regression
– SVMs
– traditional neural networks
– Nearest neighbor

–Gaussians, Naive Bayes 
–Mixtures of Gaussians, Mixtures of experts, HMMs
–Sigmoidal belief networks, Bayesian networks
– Markov random fields

 

 

 

 

优点

1 )分类边界更灵活,比使用纯概率方法或产生式模型更高级;

2 )能清晰的分辨出多类或某一类与其他类之间的差异特征;

3 )在聚类、 viewpoint changes, partial occlusion and scale variations 中的效果较好;

4 )适用于较多类别的识别;

5 )判别模型的性能比产生式模型要简单,比较容易学习。

1 )实际上带的信息要比判别模型丰富;

2 )研究单类问题比判别模型灵活性强;

3 )模型可以通过增量学习得到;

4 )能用于数据不完整( missing data)情况。

 

 

 

 

缺点

1 )不能反映训练数据本身的特性。能力有限,可以告诉你的是 1 还是 2,但没有办法把整个场景描述出来;
2 
 Lack elegance of generative: Priors, 结构 不确定性; 
3 
 Alternative notions of penalty functions, regularization, 核函数; 
4 
)黑盒操作 变量间的关系不清楚,不可视。

1) Tend to produce a significant number of false positives. This is particularly true for object classes which share a high visual similarity such as horses and cows 
2) 
学习和计算过程比较复杂。

 

性能

较好(性能比生成模型稍好些,因为利用了训练数据的类别标识信息,缺点是不能反映训练数据本身的特性)

较差

 

主要应用

Image and document classification
Biosequence analysis
Time series prediction

NLP
Medical Diagnosis


0

阅读 评论 收藏 转载 喜欢 打印举报/Report
  • 评论加载中,请稍候...
发评论

    发评论

    以上网友发言只代表其个人观点,不代表新浪网的观点或立场。

      

    新浪BLOG意见反馈留言板 电话:4000520066 提示音后按1键(按当地市话标准计费) 欢迎批评指正

    新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

    新浪公司 版权所有