自从2005年，非局部均值的出现，利用图像的冗余信息，可以取得一流的图像去噪效果。那么图像块的相似性衡量就成为一个研究的课题。
    KL散度，也称为KL距离，是统计独立性的最佳测度，它的物理意义在于衡量两个概率分布的距离。我所关心的的是如利用KL距离来判定两个图像块的相似性。将KL距离引入到含噪图像块中，用KL解决的问题是，每个像素点受到噪声的污染，所以认为它是一个随机变量。这一对像素点服从一定的概率分布，那么用KL散度可以计算这两个随机变量的概率分布距离，如果两个像素点服从相同参数的同一概率分布（即它们相似），那么KL散度越小，以达到像素点之间相似性的判定。图像块的之间的KL距离就可以通过各像素的KL距离之和来求得。
    据我所知文献中，最早用KL散度求相似性是在文献Propagation-separation approach for local likihood estimation(2006)。对于所有做图像去噪的工作者来说，此篇文章价值很大，这里给出的权重的最大似然估计是日后非常著名的PPB算法的思想来源。这篇文章从参数估计的角度推导出了非局部均值的加权平均公式，站在另外一个角度考虑的非局部均值。当然文章的精髓Propagation separation,从我理解的角度来看就是不断的迭代，优化样本集。这一思想也体现在PPB算法中对权值的反馈，也就是所谓的先验概率（a priori）。如果从统计学的角度考虑，这篇文章还有很多可以挖掘的知识。
    思路继续延伸到PPB，在推导权重时，有两项，第一项是似然概率，第二项是先验概率。似然概率通过贝叶斯公式转化为后验概率。而第二项先验概率通过KL散度计算得到，文章中提到：The prior term is a function of a similarity between these two data distrubutions.P. and S.(they considered in their work noise distribution from the exponential famiay) used the KL divergence between the estimates as a test statistical of hypotheses t=t. 对于不同的噪声分布，Deledalle 推导了SAR,极化SAR，INSAR，possion噪声分布的KL散度距离公式。凑巧的是从我从事的极化SAR方向而言，修正的wishart距离（其推导方法是test statistcal,后面再提），竟能与Deledalle推导的极化SAR协方差矩阵的KL散度距离一样！！他们之间是否有某种我所不知道的联系。此距离也在Filtering of POLSAR based on binary partition trees中所使用，多说一句，此篇文章的亮点在于用了全新的图像表示方法，不再是以往以矩阵的方式表示图像，而是用二叉树表示图像。如何用KL散度推导出跟修正的wishart距离一样的公式，是下一步还需要考虑的问题。
    回过头来继续说统计检验，这个对我而言熟悉而陌生的名词，它承载了我很多很多...第一次接触是在清华大学的团队写的一篇非常优秀的极化SAR非局部去噪，文章引用了 a test statical in the complex wishart distribution and Its application to change detection in polarimetric SAR data 中的一些结论，就是告诉你如何利用统计检验这个工具去衡量两个协方差矩阵的相似性。以我理解，统计检验就是先假设两种模型，然后用数据去测试这些数据符合那个模型。假设很重要，好的假设就等于成功了一般。统计检验已广泛使用，比如极化SAR谱聚类中使用此方法推导出来的距离作为待分类点跟每一类之间的距离。早在之前，借鉴这些思想尝试过SAR的相干斑抑制，效果还算不错，后来也是种种原因没有整理，在此过程中也学会了很多知识，值得，值得。Charles alban Deledalle 果然是把非局部练的炉火纯青，是天才的学者，将非局部推向了各个领域。新近发表的文献专门研究了在各种噪声下，如何衡量相似块，即 how to compare noisy patches? patch similarity beyond gaussian noise.文中给出了七个衡量标准，其中所提的GLR(generalized likelihood ratio),就是上面所提的test statisitcal 。用这些衡量标准可以对各类统计分布的噪声进行相似块的衡量。对于高斯白噪声这些方法都能推导出原始的非局部欧氏距离公式。这些方法大大提高了我们对相似块衡量的准确性，以及工具的多样性。
    就先写到这里，改天更新PCA非局部的图像去噪。理论知识需要钻研，实验也需要同时进行。目前最要紧的是完成在修正的wishart距离度量下的非局部Lee滤波，现在的关键是如何获得相似性阈值的问题，蒙特卡洛的方法值得可信吗？