结构风险最小化——SRM准则

标签:
杂谈 |
传统机器学习方法中普遍采用的经验风险最小化原则在样本数目有限的时候是不合理的,只考虑到了经验风险。正确的是,应该同时考虑最小化经验风险和置信范围。
统计学习理论提出一种新的策略,即把函数集构造为一个函数子集序列,使各个子集按照VC维的大小排列;在每个子集中寻找最小经验风险,在子集间折衷考虑经验风险和置信范围,取得实际风险的最小。这种思想称作结构风险最小化(Structural
Risk Minimization), 即SRM准则。
1,在每个子集中求最小经验风险,然后选择使最小经验风险和置信范围之和最小的子集。
2,设计函数集的某种结构,使每个子集中都能取得最小的经验风险,然后只需选择适当的子集使置信范围最小,则这个子集中使经验风险最小的函数就是最优函数。(PS:支持向量机方法实际就是这种思路的实现)
前一篇:线性不可分的模式分类
后一篇:支持向量机简介