加载中…
个人资料
  • 博客等级:
  • 博客积分:
  • 博客访问:
  • 关注人气:
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
正文 字体大小:

损失函数改进方法总览

(2018-09-03 09:40:44)
标签:

损失函数

分类: 人工智能

损失函数改进方法总览

 

https://www.cnblogs.com/DicksonJYL/p/9576982.html

 

这篇博客主要列个引导表,简单介绍在深度学习算法中损失函数可以改进的方向,并给出详细介绍的博客链接,会不断补充。

 

1Large Marge Softmax Loss


ICML2016
提出的Large Marge Softmax LossL-softmax)通过在传统的softmax loss公式中添加参数m,加大了学习的难度,逼迫模型不断学习更具区分性的特征,从而使得类间距离更大,类内距离更小。核心内容可以看下图:

 

损失函数改进方法总览

详细了解可以参看:损失函数改进之Large-Margin Softmax Loss

 

2Center Loss


ECCV2016
提出的center loss是通过将特征和特征中心的距离和softmax loss一同作为损失函数,使得类内距离更小,有点L1L2正则化的意思。核心内容如下图所示:

 

损失函数改进方法总览

 

详细了解可以参看:损失函数改进之Center Loss

 

 

3Angular Softmax Loss


CVPR2017
提出的A-softmax lossangular softmax loss)用来改进原来的softmax loss,并将A-softmax loss用于人脸识别,这就是SphereFace,作者还是Large margin softmax loss的原班人马。A-softmax loss简单讲就是在large margin softmax loss的基础上添加了两个限制条件||W||=1b=0,使得预测仅取决于Wx之间的角度。核心思想可以参看下面这个图。

 

 

损失函数改进方法总览

 

详细了解可以参看:SphereFace算法详解

 

4Focal Loss


Focal loss
FacebookRBGKaiming大神在ICCV2017best paper,主要是改进了目标检测(object detection)算法的效果,在COCO数据集上的AP和速度都有明显提升。核心思想在于概括了object detection算法中proposal-free一类算法准确率不高的原因在于:类别不均衡。于是在传统的交叉熵损失上进行修改得到Focal Loss

 

详细了解可以参看:Focal Loss

 

 

5Additive Angular Margin Loss


这篇文章提出一种新的用于人脸识别的损失函数:additive angular margin loss,基于该损失函数训练得到人脸识别算法ArcFace(或者叫InsightFaceArcFace的思想(additive angular margin)和SphereFaceangular softmax loss)以及不久前的CosineFaceadditive cosine margin )有一定的共同点,重点在于:在ArchFace中是直接在角度空间(angular space)中最大化分类界限,而CosineFace是在余弦空间中最大化分类界限,这也是为什么这篇文章叫ArcFace的原因,因为arc含义和angular一样


公式如下:

损失函数改进方法总览

 

 

0

阅读 收藏 喜欢 打印举报/Report
  

新浪BLOG意见反馈留言板 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 产品答疑

新浪公司 版权所有