ELM(Extreme Learning Machine)是一种新型神经网络算法，最早由Huang于2004年提出【Extreme
learning
machine: a new learning scheme of feedforward neural
networks】。
与SVM，传统神经网络相比，ELM的训练速度非常快，需要人工干扰较少，对于异质的数据集其泛化能力很强。
Huang在【Extreme learning machines: a
survey，2011】这篇论文中对ELM进行了总结，包括最初的ELM算法和后来被发展延伸的ELM算法(比如在线序列ELM算法、增量ELM算法和集成ELM算法等)，里面的很多知识点值得学习。
ELM的原理
从神经网络的结构上来看，ELM是一个简单的SLFN，SLFN示意图如下：
1.朴素贝叶斯法
朴素贝叶斯法是基于贝叶斯定理和特征条件独立假设的分类方法。给定训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布，然后根据此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。
朴素贝叶斯法属于生成方法，关键在于找到输入输出的联合分布，或者说确定联合分布的参数也就确定了联合分布。在特征条件独立的假设下，对每一个特征通过频率求解其条件概率分布，这些条件概率分布最终用于求解后验概率。
开始之前最好先回顾一下条件概率公式和全概率公式，它们是计算贝叶斯模型的基础。
条件概率wiki的链接：http://zh.wikipedia.org/wiki/条件分布
给定有限训练样本集，输入为特征向量，输出为类标记，在朴素贝叶斯方法中将输入和输出定义为在输入空间和输出空间的随机变量X和Y，贝叶斯方法在变量之上学习联合分布P(X,Y)，具体地，学习先验概率分布
1.kNN算法
k近邻算法的想法很简单，类似于多数表决，关键点是参与多数表决的人是离你最近的k个人。
给定一个实例，首先从训练集中找到离这个实例最近的k个实例，然后根据这k个实例中哪个标签出现次数最多决定该实例的标签。需要注意的点是：
a.距离的度量
b.k值得选取
c.存储和速度
度量距离有很多，这里介绍三种，即1范数，二范数和无穷大范数。假设两个实例的特征向量为：
1范数：
加载中…
