支持向量机入门(二):sigmoid函数

分类: 机器学习 |
sigmoid函数,又称为s函数,函数形式如下:
http://s11/mw690/001iKrDBzy7fNoo3oHU2a&690
sigmoid函数为单调递增函数,将x的(负无穷,正无穷)的范围映射到(0,1)之间。如下图所示:
http://s7/mw690/001iKrDBzy7fNotKCeW56&690
http://s8/bmiddle/001iKrDBzy7fNoy2bLF87&690
举例,当x=-10时,y=0.0004.5398;当x=10时,y=0.99995。
当x=-5时,y= 0.0066929;当x=5时,y= 0.99331。
sigmoid的优点在于:可以将(负无穷,正无穷)之间的所有x映射到一个固定的区间(0,1),使输出不发散,可以用于表示概率问题;
sigmoid的缺点:当x的值较大(>10),或者较小(<-10)时,曲线y的斜率很小,梯度较小。
在进行神经网络中,用到了sigmoid求导的结果,这里将sigmoid的求导过程也进行一次回顾学习,便于总结汇总。
http://s8/small/001iKrDBzy7fNpSC5QXb7&690
具体推导如下:
http://s8/mw690/001iKrDBzy7fNpWIdFR37&690
至此,sigmoid函数介绍完毕。