(2014-04-20 22:16)
L-BFGS算法比较适合在大规模的数值计算中，具备牛顿法收敛速度快的特点，但不需要牛顿法那样存储Hesse矩阵，因此节省了大量的空间以及计算资源。本文主要通过对于无约束最优化问题的一些常用算法总结，一步步的理解L-BFGS算法，本文按照最速下降法
- 牛顿法 - 共轭梯度法 - 拟牛顿法 - DFP矫正 - BFGS 矫正 -
LBFGS算法这样一个顺序进行概述。（读了一些文章之后，深感数学功底不够，在计算机视觉领域和机器学习领域，数学还是王道）
(2014-01-12 22:27)
在前面谈到了一些正则化的思路和方法，接下来思考另外一个问题：为什么要正则化？
首先来讨论机器学习中的几个基础的问题，通过这几个问题的理解，希望可以尽可能的回答为什么要正则化这样一个问题（很多都是自己的理解，不准确，欢迎讨论）。
1.
训练数据不一定能近似真实的分布
机器学习算法的目标还是希望使用traning
data得出的模型能够在test
data上有良好的效果，也就是traning出的model能更接近数据真实的情况。但是这个目标并不那么容易达成，原因主要是现实中，观察到数据的全貌往往是不可能的，因此就造成了training
set 和 test set的分布不一致。如下图所示，选择training set 1 和training set 2
可以得到不同的分类器，显而易见的时这个分类器的泛化能力
加载中…
