时空回转，宋代汴京的盛景古音重现眼前，技术此刻的价值不是颠覆，而是让人们更好地感知和理解不曾接近过的世界。

作者：马荟 《互联网周刊》记者

《走进清明上河图》沉浸式音画展示项目发布会

“吁……畜牲！往哪跑？”赶驴少年喝道，“老人家！别怕别怕，您脚前面有条凳子，慢着……”

“哎哎哎，这桥啊！挤得越来越不像样了……难为我这瞎老头子，过趟桥真不容易啊！”

一老一少的对白，夹着些许河南口音的普通话，伴随着盲人用竹杖探地的声、驴子受惊后的嘶鸣声、和着桥上小贩的吆喝声、桥下船工的喊话声、看热闹的起哄声、桥下哗哗的河水声……800多年前汴京虹桥上的繁华盛景扑面而来，北宋张择端精心绘制的《清明上河图》中一角市井风情跃然眼前。

这不是在做梦，更不是在拍电视剧。而是由故宫博物院、微软亚洲研究院和北京大学合作研发、精心打造的“走进清明上河图”沉浸式数字音画展示项目。6月23日，这一项目正式完成，今后观众在参观故宫时，可以通过数字音画的方式欣赏到北宋汴京的社会盛况。

《清明上河图》是北京故宫博物院收藏的国宝级藏品，是现存的唯一把北宋的城市生活面貌、生活状态清晰描绘的画作，具有很高历史价值和考证价值。它犹如一个长长的电影镜头般，从早春的郊野一直摇到城内市井中的深宅大院。泛黄的绢，细腻的笔触，我们曾经听说过它，可能看到过它的复制品，却从来没有真正去感受过它。

“走进清明上河图”项目以观众体验为核心，以视觉和听觉沉浸的方式，采用超高清晰的数字影像最大程度地再现了原作的所有细节。穿越时空，置身市井繁华，让我们一起“走进”清明上河图，体验背后同样富有魅力的技术细节。

原味历史

《清明上河图》横528.7厘米、纵24.8厘米。5米多长的画卷中画有500多个人物，各种牲畜60多匹，大小船只20多只，房屋楼阁30多栋，推车乘轿也有20多件，在方寸之间，重现历史、让观众感受历史、且不改变原作一分一毫，这并不容易。

“数字清明上河图”的研发过程始终以故宫博物院内、外的文物专家的研究为指引。微软亚洲研究院首先按照史学专家的建议，把整幅图画分成了51个场景，700多段人物对话，并请专业配音演员配音，基于对历史的遵循，配音演员在对场景的诠释过程中，人物普通话中略带河南口音。

在微软亚洲研究院主管研究员徐迎庆的介绍中，数字化的经典画卷在眼前徐徐展开：在无用户交互时，数字清明上河图会在雄壮交响乐的烘托下从右向左打开，引人入境，此为画卷层；随着画面的播放，进入交互浏览的部分，生动的自然环境音效描绘了村野、田园、集市、街巷、大河、激流、险滩等场景音让人仿佛置身其中；进入故事层，一个个生动诙谐的对话讲述一个个有趣的故事，所点之处，就像在看一场情景剧；具体到对象层，声音就能关联到故事层中的每个任务或对象。

微软亚洲研究院徐迎庆主管研究员

据徐迎庆介绍，基于散点透视的绘画展示系统主要采用四项核心技术：基于散点透视的空间几何模型、基于层次图结构的立体声时空标注模型、千兆级图像及其多媒体数据的实时呈现、以及视听觉感知一致的交互多媒体展示系统。

在项目实施过程中，三方项目组成员深入研究了中国传统绘画的欣赏习惯，在微软公司ICE、Silverlight技术的基础上，针对《清明上河图》三点透视的空间造型特点，研发了独创性的三维布局恢复算法和虚拟环境组织算法，通过使用“横向分块”和“纵向分层”的数据管理策略，实现了超大量数据的合理组织和流畅调用。

音画汴京

与西方画很大的不同是，中国画中有许多个消失点，画面中，画家的视角是随意移动的，因而产生了多个消失点，即散点透视。这样，画家可以打破空间的局限，从多个角度描绘客观景物。清明上河图卷就是中国绘画中散点透视的运用的典范，如何还原《清明上河图》所描绘的人间百态呢？

“作者在画中的视角并不是连贯的，而是会随时变换视点。首先，会通过把握不同物体的相对位置，来营造一种向后退缩的错觉。同一场景中的人物、动物、树木、建筑按照一个统一的倾斜度来排列，确保任何一处画面本身的地面是连贯的。同时，对于前后物体之间形成迭压关系，会利用笔墨的浓淡加强两者之间的距离感，使人产生两者位于同一纵深方向但远、近不同的错觉。”微软亚洲研究院主管研究员徐迎庆解释道。

研究计算机的人首先要讲究算法，而算法都是基于几何、基于数学的。但是，散点透视是没有一个数学模型的，怎么办？

必须提出新的散点透视几何模型，实现全局的、连贯的三维空间和快速计算。“音画系统希望让人身临其境，而在几何关系上就难以实现声音的淡入淡出等三维效果。我们必须提出一个新的散点透视的解决方案，能够重建出全图的连贯的三维空间来；另外，还要快速计算。我们的目的主要是在散点透视的空间，得到图像上每一个声源的几何空间位置，这样当参观者走近的时候，就能够精确的知道，应该走到哪了，声音在哪里。”徐迎庆对记者介绍。

原作者的不同视角就是对画中立体声进行空间定位的前提。先确定画家对局部场景的仰角，然后，通过把画中不同视角的对象投影在统一的地平面，进而确定物体的空间位置和场景间距离。为了实现场景和对应音乐的实时调用，又在不同层次的画中分为1800多块，进行交互式操作的时候，系统就会把它最临近的一些图像都调进来，而不是所有的图像，这有效地保障了效率。对于音频文件，分别规定播放的顺序和停留时间，这样用户在交互的时候就可以听到根据层次图结构而组织的故事了。

“分析画的构图，实现了二维画面和其连贯的三维空间的对应；合理的空间和时序上的声源组织保证了实时显示和实时混音；采用5.1声道立体声输出，实现视听觉感知一致的音画展示。”徐迎庆介绍道。

数字化生存

走进清明上河图项目提供了一种身临其境的体验方式和对文化遗产的理解渠道。

以虹桥片段为例，《走进清明上河图》项目中使用了百余条声音素材来再现这一场景。在声音布局的整体节奏上，一方面着力渲染虹桥场景紧张、热闹的氛围，一方面尽量贴近原作紧凑中犹带从容的感觉，遵循画面内敛的、“劲发而不露”的古典品质。在人物对白中，尽可能在简短的语言中将图中的历史信息表达出来。

“‘走进清明上河图’项目，不仅用高精度的数字图像如实再现其艺术观赏魅力，更融入了数字技术的新内涵：交互性与沉浸感。古老文化与现代技术完美结合在了一起，观众可以在多点触摸屏上浏览高清晰的《清明上河图》影像，任意放大、缩小和移动。同时，配合画面实时合成的声音素材，构建出逼真的立体空间环境，使观众犹如置身北宋时期的汴梁城，聆听市井喧哗、人物故事。” 故宫博物院常务副院长李季表示。

微软亚洲研究院和北京大学从技术上提供支持，从采集图像到考虑方案，接下来的实施、测试和安装，项目用了一年时间完成，当最终汇报的时候，故宫博物院的项目负责人难耐激动之情，“这个就是我们想要的，我们这么多年一直想要这样一个系统。”

“此次与故宫博物院和北京大学展开合作是博物馆、企业以及高校依托各自优势共同推动文化遗产保护与传承的有益尝试。我深信，这一科技与人文交汇、多方协作创新的有益尝试会为今后文化遗产的保护工作开启一个新的篇章，希望在不久的将来我们能看到更多故宫的传世珍宝以数字方式呈现给大家。”微软亚洲研究院院长洪小文说。

“这只是一个起点。”徐迎庆对记者表示，他们的后续工作就是把应用于清明上河图的技术推广至其他散点透视古画，并进一步完善和提高标注系统的自动化程度。文化遗产的数字化生存让更多的人接触到古人的智慧、民族经典。而对于一个专注与创新的公司来说，技术此刻的价值不仅意味着颠覆，在某些方面，它让人类更好地感知当下的、过去的和未来的、不曾接近过的世界。

本文原载于《互联网周刊》

----------------------------------------------------------------------------------------------------------------------------- 

相关阅读：

文化遗产的数字化生存