作者：蘑菇轰炸机
链接：https://www.jianshu.com/p/982c8f6760de
来源：简书
PCA与LDA是常见的两种降维方法，即：主成分分析和线性判别分析。
PCA（Principal Component
Analysis），中文名为“主成分分析”。顾名思义，其目的就是找到高维数据中的主成分，并利用“主成分”数据，来表征原始数据，从而达到降维的目的。借鉴一个简单的例子，假设有一组数据存在于三维空间的一个平面上（此时需要3个维度来表征数据向量），若我们选择旋转坐标轴使得数据所在平面与x,y平面重合，则此时我们只需要2个纬度即可表征数据，且没有丢失任何数据信息，这就是最简单的数据降维。但是现实生活中的情况，往往数据特征高达上百甚至上千维，我们很难直观去找出一组基平面来完成对数据的降维，此时PCA就有其用武之地了。
其分析过程可以归纳为最大可分析和最近重构性。其中最大可分性可以理解为我们希望降维过后的数据不影响后续我们对其的分类处理，其数据特征的差异性仍然足够强，也即方差最大；最近重构性可以理解为我们希望降维过后的数据仍然保留有其主要的特征，也即数据样本点到这个超平面的距离和最小。
LDA（Linear Discriminant
Analysis），中文名为“线性判别分析”，是目前数据挖掘领域中比较经典且热门的一种有监督的算法。从降维的层面考虑，其也是在寻找一个投影矩阵，使得投影之后数据样本，同类的接近，而不同类的远离。（其作为分类器的时候，就可以对新的数据也进行投影，依据与哪一个类别接近来确定类别）。
LDA的中心思想就是最大化类间距离以及最小化类内距离。
从PCA与LDA的推导过程来看，他们有着很大的相似性，最后其实都是求某一个矩阵的特征值，投影矩阵即为该特征值对应的特征向量。但是其原理也稍有不同：（一）PCA为非监督降维，LDA为有监督降维；（二）PCA希望投影后的数据方差尽可能的大（最大可分性），因为其假设方差越多，则所包含的信息越多；而LDA则希望投影后相同类别的组内方差小，而组间方差大。LDA能合理运用标签信息，使得投影后的维度具有判别性，不同类别的数据尽可能的分开。
举个简单的例子，在语音识别领域，如果单纯用PCA降维，则可能仅仅是过滤掉了噪声，还是无法很好的区别人声。但如果有标签识别，用LDA进行降维，则降维后的数据会使得每个人的声音都具有可分性，同样的原理也适用于脸部特征识别。
所以，可以归纳总结为有标签就尽可能的利用标签的数据（LDA），而对于纯粹的非监督任务，则还是得用PCA进行数据降维。
加载中，请稍候......
喜欢
加载中…