引用本文

鲁越, 郭超, 林懿伦, 卓凡, 王飞跃. 绘画艺术图像的计算美学: 研究前沿与展望. 自动化学报, 2020, 46(11): 2239−2259 doi: 10.16383/j.aas.c200358

Lu Yue, Guo Chao, Lin Yi-Lun, Zhuo Fan, Wang Fei-Yue. Computational aesthetics of fine art paintings: The state of the art and outlook. Acta Automatica Sinica, 2020, 46(11): 2239−2259 doi: 10.16383/j.aas.c200358

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200358

关键词

绘画艺术，计算美学，审美模型，属性识别，内容理解，美学评价 

摘要

绘画艺术是人类艺术创作的重要组成部分, 绘画艺术图像的计算美学是利用机器实现可计算的人类审美过程, 其在大规模绘画的自动化分析和机器对感性的计算建模上具有重要的应用价值和科学意义. 针对其交叉学科的特点, 本文首次从人类审美的感知、认知和评价三个关键过程出发, 将绘画艺术图像的计算美学研究完整地归纳为属性识别、内容理解和美学评价三方面研究内容, 对其中的问题建模、数据获取和前沿方法等关键科学问题进行了归纳总结, 并对绘画计算美学的三方面研究内容进行了对比、思考和展望.

文章导读

美学是以艺术(特别是绘画艺术)为主要的研究对象, 研究美与丑的审美范畴、人的审美活动的学科[1]. 虽然美学与人类感性紧密相关, 但是心理学、神经学等科学方法在美学研究中同样得到了广泛应用. 1876年, 德国美学家费希纳将实验心理学引入到美学研究中, 用定量方法解释视觉刺激, 用客观测量代替主观推理, 创立了实验美学(Experimental aesthetics)[2]. 受实验美学的启发, 近年来机器学习也在美学研究中不断探索. 2005年, 计算美学(Computational aesthetics)[3]在欧洲图形学会(Eurographics, EG)的第一届图形、视觉和图像的计算美学会议(1st Eurographics Workshop on Computational Aesthetics in Graphics, Visualization and Imaging, CAe 2005)上被提出, 其主要含义是利用机器模仿人类的审美过程, 自主地感知和认知“美”, 并做出美感和情感等美学方面的评价. 从实验美学到计算美学, 美学研究从利用科学方法解释人类审美现象发展为利用机器模仿人类审美过程.

绘画艺术是人类艺术创作的重要组成部分, 是美学在视觉艺术中的主要研究对象. 绘画艺术的计算美学研究具有重要的艺术应用价值和科学价值, 一方面有助于大规模绘画艺术图像的自动化分析, 为艺术欣赏提供辅助信息; 另一方面在机器模仿人类感性行为上做出新探索. 然而, 绘画艺术具有多样的派系和风格以及复杂的表现手法, 其计算美学研究更是涉及机器学习、美学和心理学等交叉学科知识, 充满巨大的挑战.

绘画艺术图像的计算美学目的在于模拟人类的审美行为. 曾任国际实验美学协会主席的Leder将人类的审美行为建模为多层次的信息处理模型, 包含潜意识和主观意识两方面过程[4]. 潜意识过程包含对颜色、对比度、复杂性等底层信息的感知, 以及对个人经历和记忆的整合, 缺乏显式的信息输出, 难以被量化建模. 而主观意识过程包含显示分类、认知和评价三部分, 具有可被量化的中间结果或审美输出, 可以作为绘画图像计算美学的梳理参考.

为了完整地梳理绘画艺术图像的计算美学研究, 本文参照人类审美模型的主观意识中的显示分类、认知和评价三个过程, 首次将绘画艺术图像的计算美学分为属性识别、内容理解和美学评价三方面研究内容, 图1展示了其对应关系及绘画图像计算美学的研究示例.

图 1  本文对绘画艺术图像计算美学研究的梳理框架及其研究示例

具体而言, 人类的显式分类是对绘画的初步信息处理, 比如绘画来源和创作背景等信息, 对于计算美学而言这一过程可具体化为属性识别问题, 包括对题材、风格、作者、年代等信息的识别; 人类的认知过程是对绘画的语义和含义的理解, 本文将其和绘画中物体识别与检测及绘画内容描述两个科学问题对应, 构成绘画计算美学的内容理解; 人类的评价过程包含对绘画图像的审美评价和情绪感受, 相应地, 绘画图像的计算美学评价包含美感评价和情感评价两方面问题.

经过关键词检索、引文检索和文献筛选, 本文收集得到近20年的绘画艺术图像的计算美学研究共185篇文献, 图2 (a)展示了文献数量随年份的分布, 可以看出该领域文献数目呈现上升趋势.

图 2  绘画艺术图像计算美学的文献数量趋势及作者合著网络

为了解该领域内作者合作关系和研究规模, 本文使用社交网络分析(Social network analysis, SNA)[5]方法, 对所搜集文献的作者合著网络进行分析. 图2 (b)展示了利用Gephi网络分析软件[6]得到的作者合著网络可视化结果, 其中网络的节点表示作者, 网络的边表示作者间的合作关系, 节点的大小和边的宽度分别表示作者的发文数量及作者间的合作次数. 经统计, 此作者合著网络包含480个节点、829条边、125个连通性子网, 平均度为3.45. 从网络的统计数据和可视化效果可以看出, 诸多研究团队进行了相关研究探索, 各个团队子网相对独立, 合作关系较为分散, 这与该领域处于新兴阶段及其多学科特点有关. 图2 (c)展示了利用Gephi 软件对合著网络中规模显著的子网可视化的结果, 作者Ahmed所在的团队研究成果相对突出, 包含7篇绘画属性识别和美学评价的相关文章. 根据以上作者合著网络的分析, 可以看出该领域研究团队分散, 但初具规模.

近年来, 国内外学者在绘画艺术图像的计算美学相关问题上进行了梳理. 国内方面, 文献[7]讨论了自然图像计算美学研究的特征提取、图像构图、图像复杂度等问题; 文献[8]总结了绘画图像的实验美学和计算美学的研究方法和评价指标, 然而只讨论了绘画图像的属性分类问题. 国外方面, 文献[9]总结了机器学习在绘画属性识别、赝品鉴别和艺术历史等问题上的研究方法; 文献[10]从物理学和数学的角度, 总结了烹饪艺术、绘画艺术、音乐艺术的美感量化评估问题. 以上综述文章只讨论了自然图像或绘画图像的属性识别和美感评估等特定问题, 基于绘画艺术图像的计算美学领域的交叉学科特点, 本文首次从人类的审美过程出发, 完整地梳理了与之对应的属性识别、内容理解和美学评价的计算美学问题, 并探讨它们之间的联系. 文章对其中的问题建模、数据获取、前沿方法等关键科学问题进行了归纳总结, 并对该领域的未来发展做出展望.

第1节总结了绘画艺术图像的属性识别, 基于其特征提取方式, 从手工特征和自动特征两方面进行总结; 第2节总结了绘画艺术图像的内容理解, 基于其任务类型, 从物体识别与检测、内容描述两方面进行梳理; 第3节总结了绘画艺术图像的美学评价, 包含美感评价和情感评价两方面问题; 第4节对绘画计算美学三方面研究内容进行了对比、思考和展望; 第5节总结全文.

图 3  绘画属性识别任务的研究示例和研究方法

绘画艺术图像的计算美学目的在于利用机器模仿人类的审美过程, 在机器的自然图像处理效果不断发展的背景下, 探索机器的感性信息分析能力, 有利于探索人类审美机理和机器的审美能力.

针对绘画艺术图像的计算美学的交叉学科特点, 本文首次从人类审美的主要过程出发, 完整梳理了审美过程中各环节对应的计算美学问题. 本文将绘画艺术图像的计算美学归纳为属性识别、内容理解和美学评价问题, 总结了其中的任务分类、问题建模, 并深入讨论了前沿方法的原理、数据依赖、性能特点及它们之间的联系. 本文希望提供绘画图像计算美学领域的研究概貌, 为绘画艺术图像的计算美学的整体性、全面性发展提供参考.

作者简介

鲁越

中国科学院自动化研究所复杂系统管理与控制国家重点实验室博士研究生. 主要研究方向为机器学习, 小样本学习, 计算美学和风格迁移.E-mail: luyue2016@ia.ac.cn

郭超

中国科学院自动化研究所复杂系统管理与控制国家重点实验室博士研究生. 主要研究方向为机器学习, 强化学习, 计算美学, 机器艺术创作和三维结构认知.E-mail: guochao2014@ia.ac.cn

林懿伦

中国科学院自动化研究所复杂系统管理与控制国家重点实验室助理研究员. 主要研究方向为社会计算,智能交通系统, 深度学习和强化学习. E-mail: yilun.lin@ia.ac.cn

卓凡

中央美术学院副教授. 主要研究方向为智慧(产品)设计, 传统造物方式与现代设计(美学)转型.E-mail: zhuofan@cafa.edu.cn

王飞跃

中国科学院自动化研究所复杂系统管理与控制国家重点实验室主任, 中国科学院大学中国经济与社会安全研究中心主任, 青岛智能产业技术研究院院长. 主要研究方向为平行系统的方法与应用, 社会计算, 平行智能以及知识自动化. 本文通信作者. E-mail: feiyue.wang@ia.ac.cn