支持向量机入门(一):超平面

标签:
杂谈 |
分类: 机器学习 |
在学习支持向量机(Support Vector Machine, SVM)时,遇到的第一个词,超平面。
那么什么是超平面,超平面是干什么的?怀着扎实基础的态度,开始借助网络资源学习一下。
根据百度百科的解释,超平面是n维欧式空间中余维度等于一的线性子空间,也就是必须是(n-1)维度。这是平面中的直线、空间中的平面之推广(n大于3才被称为“超平面”),是纯粹的数学概念,不是现实的物理概念。因为是子空间,所以超平面一定经过原点。
看完这句话,还是表示没有看懂,继续看百度百科的描述:在几何体中,超平面是一维小于其环境空间的子空间。如果空间是3维的,那么它的超平面是二维平面。如果空间是二维的,则其超平面是一维的直线。该概念可以用于定义子空间维度概念的任何一般空间。
看到这里,可以总结认为:超平面是比所研究的环境空间低一个维度的子空间。
基础知识回顾:
1.什么是欧式空间?
欧式空间,即欧几里得(发现者)空间,是一种特别的度量空间。简单理解,欧式空间使我们日常周围的空间,欧式空间的坐标系是直线。在二维度上,欧式空间为平面,在三维度上,欧式空间为立体。对应欧式空间的是非欧式空间,非欧式空间的坐标系会弯曲,不是我们传统上的直线坐标系。
2. 什么是线性子空间?
线性主要体现在乘法和加法运算上。假设我们在研究某个空间内的元素,如果空间内任何元素进行乘法和加法,以及乘法和加法的组合时,结果仍在该空间内,该空间就会线性空间。
子空间是指维度小于全空间的部分空间。而线性子空间定义如下:
到这里为止,对超平面的理解应该可以了。那么超平面的作用是什么呢?
超平面是为了分割分类用的,超平面将空间划分为三部分,超平面本身,超平面上部,超平面下部。举例,对于二维空间来说,超平面为一维直线,这里定义超平面本身方程为wx+b=0,则超平面上部wx+b>0,超平面下部wx+b<0。代入x的值,计算得到的wx+b,根据与0的关系,即可知道当前的x属于哪一类。