加载中…
个人资料
  • 博客等级:
  • 博客积分:
  • 博客访问:
  • 关注人气:
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
正文 字体大小:

Example-based Caricature Generation with Exaggeration

(2013-02-27 16:17:48)
标签:

face

漫画

npr

it

分类: 学习笔记
 
   从输入的人脸图像中自动生成肖像漫画。从艺术家画的漫画样本来学习艺术家是如何画漫画的。将漫画的生成分成两部分:1)形状夸张;2)纹理风格传输。漫画的夸张采用了一个基于原型的方法来捕捉艺术家对人脸与众不同特征的理解以及夸张风格。这种原型是通过分析图像漫画对之间的相关性获得的,使用偏最小平方方法。


Example-based <wbr>Caricature <wbr>Generation <wbr>with <wbr>Exaggeration


    作者在人脸图像和对应漫画图像上手工标识了一组特征点。这些特征点是精心设计的,要便于在不同人脸之间对应。不同形状之间使用TPS(Thin Plane Spline)变形。

     系统包括训练和运行两个阶段。选练阶段,先手工建立特征点之间的对应关系,之后使用基于原型的形状夸张模型进行训练。运行阶段,对给定的输入人脸图像,使用ASM抽取人脸形状并使用形状夸张模型生成夸张结果。

   Example-based <wbr>Caricature <wbr>Generation <wbr>with <wbr>Exaggeration

形状夸张

    计算人脸图形与平均人脸图像的差异,同时计算对应的肖像漫画与平均肖像漫画之间的差异,通过学习来获得这两个差异值之间的变换关系。简单地使用一个全局比例参数并不能取得很好的结果。

    可以考虑使用K近邻(kNN: K-Nearest Neighbors)方法。kNN使用一个局部线性模型通过最小平方方法来计算一组系数。但是,使用欧几里德距离度量找到第k个近邻人脸可能会被艺术家用不同方式进行流夸张,这会使得漫画夸张结果变成不同夸张方向和夸张程度的均值,夸张效果未必好。另外,kNN方法计算的距离并不能反映艺术家所选择的特征,比如眼睛之间的距离。作者尝试了其他度量方法,但没有改善。因此文章中使用学习的方法来获得隐式的夸张规则。

    在该系统中,将具有相似夸张方向的一组训练数据定义为一个原型。每个原型对应于某个人脸特征的夸张风格,例如拉长人脸。基于训练数据,我们可以选择一组这样的原型来表示艺术家对不同夸张方向。之后,给定一个新的人脸输入图像后,我们要判断它最可能属于哪个原型,之后用于支持该原型的样本相同的方向进行夸张。这样就可以避免以前方法中出现的平均化效果。

  本系统使用的基于原型的形状夸张方法包含两个阶段:

  1)在训练阶段,首先分析人脸图像和相应漫画之间的相关性。之后,构造一组原型集。
  2)在运行阶段,首先将输入人脸归类为原型集中的某个原型。之后,根据所选择的原型对输入形状进行夸张。

基于原型的夸张:

   基于如下规则来选择夸张原型:每个原型都对应于某个人脸特征的夸张趋势;原型应该有足够的支持样本,这些样本在于原型相似的方向上进行了比较明显的夸张;完整滴原型集要能描述训练数据集中大多数夸张变化。


使用PLS进行夸张分析

   为了定义原型集,我们对正常滴形状空间和夸张后的形状空间应用PLS技术来找到面部特征的夸张趋势。

Example-based <wbr>Caricature <wbr>Generation <wbr>with <wbr>Exaggeration

   PLS与PCA主成分分析很类似。但它并不是独立地处理输入和输出,而是在选择主成分时考虑两个空间的相关性。PLS迭代过程中,每一步抽取出一对分量。ui分量表示的不同夸张趋势与某个真实的人脸特征紧密相关。这对于原型系统非常重要。途中u2模式表示的事艺术家如何夸张面部特征:长和短的下巴。

 Example-based <wbr>Caricature <wbr>Generation <wbr>with <wbr>Exaggeration



   根据每个分量Ui来定义夸张原型,并使用样本在每个主分量方向上的投影来选择支持每个原型的样本。

  这个过程概括如下:
   1)使用PLS算法选择一对分量ti,ui
   2)根据分量ui定义两个相反夸张方向的原型
   3)分解形状差异空间
   4)重复上述步骤直到得到足够的分量

  系统定义了28个原型。

   输入形状的原型分类

   给定一个新的输入形状后,需要判断使用哪个原型对其进行夸张。该步骤就是用来识别艺术家最可能夸张的主要面部特征。利用输入形状在不同夸张方向的投影来进行判断。选择具有最大置信度的特征进行夸张。Example-based <wbr>Caricature <wbr>Generation <wbr>with <wbr>Exaggeration

   一旦将新的输入形状分类为一个原型后,使用局部线性模型来估计夸张后的部分,只适用该原型的样本。

Example-based <wbr>Caricature <wbr>Generation <wbr>with <wbr>Exaggeration

    因为只根据主分量方向定义原型,因此该文模型所确定的夸张方向比较有限。事实上,艺术家选择的用于夸张的面部特征是可以包含不同原型的,因此需要一种更加高效的方式来组合原型一遍夸张一个新的输入人脸。

Example-based <wbr>Caricature <wbr>Generation <wbr>with <wbr>Exaggeration











0

阅读 收藏 喜欢 打印举报/Report
  

新浪BLOG意见反馈留言板 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 产品答疑

新浪公司 版权所有