标签:
主题模型lda数据挖掘it |
分类: 机器学习 |
相信对LDA感兴趣的同学应该都看过M.Blei、Andre Y. Ng和Micheal I. Jordan合著的论文“Latent Direchlet Allocation”。文章除了概述常见的隐藏变量模型(Unigram Model、Mixture of unigrams、Probabilistic Latent semantic indexing)外,重点是介绍LDA的算法推导和实现流程。
本篇水文主要目的是介绍LDA的程序实现流程,避免只读文章而带来“虚”感。图1为大家熟知的LDA图模型,详细介绍可参见上一篇水文“LDA学习摘要”。
标签:
模型预估误差分析交叉检验it |
分类: 机器学习 |
原文:Accurately Measuring Model Prediction Error
在机器学习模型的效果评估中,预测误差的分析是重中之重。对于现有的各种误差测量技术,如果使用不当,会得出极具误导性的结论。这些结论会误导模型设计者设计出过拟合的模型,过拟合是指训练出的模型对于训练集拟合的很好,但是对于新的样本集则预测效果极差。这篇文章描