加载中…
诺亦腾戴若犁硅谷发声：三种感知支撑虚拟现实
(2016-04-29 09:55:09)
标签：
杂谈 |
美国湾区时间4月27日下午，诺亦腾公司CTO戴若犁博士作为2016年SVVR大会中唯一受邀进行演讲的中国企业代表，发表演讲《视野感知、身体感知以及环境感知》。在演讲中戴若犁博士提出了他对于虚拟现实中必须存在的三种感知：视野感知、身体感知以及环境感知的认识，并对VR市场进行了总结与展望。
本文是戴若犁博士演讲以及会后提问环节的文字整理与视频实录，欢迎分享到朋友圈，转载注明出处。
大家下午好，我是戴若犁，我今天的演讲主题是《视野感知、身体感知以及环境感知》。我下面要讨论的是“感知”：在虚拟现实中你必须有视野的感知，身体的感知，和环境的感知，才能构成完整的体验。
下面介绍一下我们公司。诺亦腾在此之前推出了Perception
Neuron，一套定价在1000多美元，有着优秀性能的平价动捕系统。此外我们还开发了mySwing，一款数字化高尔夫球/棒球的动捕训练系统。除此之外还有Project
Alice。我们在SVVR的展厅中有一个体验区，如果你们还没体验过的话，推荐一下，体验非常好。
诺亦腾公司总部在北京，现在有大概200员工，大部分是工程师；我们有四个办公室：北京、上海以及美国菲尼克斯和迈阿密。大部分人都在做VR开发，包括VR系统、硬件、算法等。我是诺亦腾公司CTO，这就是我们公司的情况。
http://ww3/large/b9491b93jw1f3cp6kzgcgj21670mvn2p.jpg
现在我要来说一下我们对VR的一些看法。
VR是人机交互的一场革命，我们在这里讨论VR，也是在讨论如何与计算机交互。之前我们用键盘，触屏，甚至是纸带来与计算机交互，而现在在VR体验中，我们用这些新技术，给予你360度的视野，让你能够看到你的手和身体，与虚拟世界直接交互。事情正在起变化。
现在在VR市场上有几种不同的平台：一个是主机级别的虚拟现实：HTC Vive，Oculus Rift，PSVR，这个市场现在已经很拥挤了。还有一个是移动VR。所有人都觉得移动VR可能是未来的主流，市场会比主机游戏大得多，我们中大多数人，至少是这个房间里的大多数人，都认为手机将会取代PC，移动VR才是未来。但是问题是：什么时候？
现在，我们能获得的最好的移动VR体验是三星Gear VR，而Gear VR上只有三自由度追踪，没有位置追踪，渲染能力大概只有主机的1/20，那是不够好的。你没有任何的交互方式，除了机器上的一个小触板——所以移动VR还没到时候，我们只能期望以后。
http://ww1/large/b9491b93jw1f3cp7kda6xj20vp0hydoj.jpg
在这里我还想讨论的一个方向是商用VR解决方案，这也是我们现在正在做的。对于商用解决方案来说，你可以用更加昂贵的设备、更好的技术，不用关心市场上有多少头显存量，因为用户你不用去买自己的头显，你只需要花20美元门票钱体验一下就行。所以商用VR或许是目前最可能成功的路径，它可以给你提供非常好的VR体验。
无论是主机还是移动还是商用，有几个基本要求：视野感知，身体感知和环境感知。虽然基本要求相同，但是要求的层次不一样。
http://ww1/large/b9491b93jw1f3cqseqmcuj20p00e2dg6.jpg
三年前，DK1诞生，那时除了头显之外什么都没有，只有三自由度跟踪、方向跟踪，没有位置跟踪，只有最基本的VR视野感知。但是现在我们有了HTC Vive，有非常精确的六自由度跟踪，可以追踪头显和手柄。而且还有一点点身体感知，你可以大致知道你的手的位置。从视野感知的角度，这是进步太多了。
但是你还是没有环境的感知，Vive只能给你提供一个虚拟的墙的提示；Oculus的话过一段时间才会推出Touch手柄，你也可以在一个小范围内移动你的头显，PSVR与之类似。所以无论是哪个系统，你都会要求视野、身体和环境的感知，下面我们来梳理一下：
第一个是视野的感知。它需要比较高的分辨率，小于20ms的低延迟，不然就会产生明显的晕动症（motion sickness），还需要跟踪头显，至少3自由度，但我相信未来VR最低的要求是6自由度跟踪，即便是移动VR。现在的移动VR只有3自由度跟踪，没有位置，但未来可能会使用类似SLAM和数据融合的方法来达到基本的位置跟踪，inside-out模式的移动追踪。最后，帧率也需要达到至少60FPS。
http://ww3/large/b9491b93jw1f3cpflix2oj20vp0hy79m.jpg
而站在身体感知的角度来说，VR不会是只坐在那看，我们要求去进入这个虚拟世界。为了实现这个要求，我们需要看到自己的身体。所以我们做了动作捕捉系统，利用惯性传感器和光学摄像头去捕捉身体的动作。我们开发了惯性动作捕捉系统Perception Neuron，同样的系统也应用在Project Alice上。我们在展厅里展示的就是它。
最后关于环境感知。我们在这里讨论的不是小空间虚拟现实应用，比方说Oculus或者Vive这样最大能够Tracking 5x5m客厅级别的场地，消费者级的产品，我们想讨论的是更大的空间以及更好的体验。在SVVR上诺亦腾展示的场地是6x6m，但是我们之前曾经尝试过的最大的区域是2000平米。这是相当大的一块场地。
我们使用惯性传感器和光学摄像头结合在一起，Tracking DK2或者Vive头显。我们没有用Lighthouse或者Constellation之类的定位系统，而是自己研发了混合定位系统，它会跟踪你的手，你的身体，还有实体道具。下面你可以通过这个Demo来看一看我们的身体和环境追踪系统。
在Demo中，我的头显上有个GoPro，它拍到的与我从头显里看到的一模一样。我可以去触摸这些真实的道具，可以看到我自己的手，因为我的右手穿戴了我们的动捕手套。我也可以拿起这个篮球，非常精确，因为我们的跟踪系统可以跟踪这些道具。你们可以看到我的同事穿着我们的动捕服站在我面前，所以我可以看到他的身体，甚至互相抛接这些道具。
这其实并不简单。如果你扔出去一个道具让对方通过VR头显接到，这说明跟的精度在毫米级，延迟则非常低。我们把这套系统带到了SVVR，我们的展区号是301，欢迎想要体验的朋友们前来。
Project Alice是一个商用系统，你是没办法买一套放在家里玩的，它可以用来做大尺度的游戏，提供主题公园的体验，也可以用来做训练系统，以及其他工业、商业等领域的应用。
所以说商用VR的市场还是很有潜力的，下面是Tractica做的一些估计：
http://ww1/large/b9491b93jw1f3cpkx59pqj20vp0hydl5.jpg
下面是中国VR市场预估的数字，未来五年的增长率非常高。而后面的是今年的数字。
http://ww1/large/b9491b93jw1f3cply3kcfj20vp0hytj3.jpg
http://ww1/large/b9491b93jw1f3cpmesvl4j20vp0hygt6.jpg
在我们能从消费级市场上挣到钱之前，我想指出几点：今年我们对消费级头显的市场总销量估计是200万台左右——这是Oculus、HTC和Sony三家总和的销量。但是我们认为将近一半的头显会在开发者手里，不是在消费者手上。不过对于商用VR市场来说，我们不关心有多少头显在消费者手上，我们能够提供解决方案、硬件、应用等所有的东西，可以把它们用在不同的应用领域中。
虚拟现实的主题是好奇心，人类的好奇心推动了虚拟现实的发展。我们把我们的商用虚拟现实解决方案命名为Project Alice，因为我们非常喜爱《爱丽丝梦游仙境》。
我的演讲就到这里，感谢大家。
下面是提问环节
http://ww2/large/b9491b93jw1f3cpr982ynj20zk0qoq3a.jpg
Q：你能介绍一下你们的传感器的相关技术吗？
A：我们采用的是自主研发的光学和惯性混合的动捕系统，这套混合系统，可以在光学标点被遮挡的情况下依旧保持出色的高精准度表现，并且最大限度地减少了所需的摄像头数量。大家可以在我们刚才的视频中看到，30平米的场地我们只用了4个摄像头，同时支持6个人的动作数据采集，也包括他们手中的控制手柄，还能让体验者感知到虚拟环境中自己的身体。这都是我们混合系统的最大亮点。
除了头显、手柄、现实环境中实物上的光学标点，我们还在这些实体中安上了无线IMU传感器，这些传感器的数据，与光学动捕的数据融合，使得我们得到了流畅的数据流，完美解决光学标点被屏蔽后的问题，还提升了数据的传输率，这些都是这套混合动捕系统低延迟、低成本的原因。
Q:也就是说这套系统还能追踪现实环境中的实物？传感器是用Wifi传输还是其他方式？
A：可以追踪。我们采用的是我们自己研发的私有协议，自己开发的程序。因为如果使用UDP／TCP／IP协议的话，会多出5到10毫秒的延迟，延迟太大了。
http://ww3/large/b9491b93jw1f3cq00engij20p00e4wgi.jpg
Q：你提到了摄像头。你们使用的是什么摄像头呢？
A：我们有好几家供应商。有OptiTrack和VICON。我们也有自己的针对低成本商用解决方案的摄像头，就好像电脑一样，我们可以使用各种类型的通用光学捕捉摄像头。
Q：你们有怎样的商业应用？
A：目前来说，我们关注核心的市场有三个领域。第一个领域是娱乐。主题公园，体验馆这样的娱乐场景。 第二个是教育。教育市场体量非常大。我们出售技术授权给学校。相当于加强版的多媒体教学手段。最后一个是展会，用于商业展示。比如说，通用汽车、奔驰这样的汽车企业都可以把这套系统放在他们的4S店里。
Q：你们动捕手套的传感器尺寸多大？
A：动捕手套上的传感器非常小，因为这些传感器都是戴在手指上的，只有10*10平方毫米。不过我们在混合系统中用的传感器要大一些，差不多火柴盒那么大。我们看到的传感器盒子里面，不仅仅是传感器，其实还包括了电池、无线传输单元。在我们的展位上，有我们传感器样品。如果您有兴趣，欢迎来体验一下。谢谢！
Q：你的系统需要在身上穿戴多少传感器？还要多少个摄像头呢？
A：我举个例子：今天我们的展位30平米大小，我们总共才用了6个摄像头，10个传感器：5个人每人2个，头显一个，手柄一个。其实增加传感器的数量也完全没问，我们最多可以同时支持30到40个传感器。如果场地要更大，就要增加摄像头的数量来覆盖整个场地。
（注明：通常来讲，Project Alice只需要4个光学摄像头就可以完成6人的同时动作数据采集。但在GDC、SVVR这类需要连续运行、光环境复杂的场合中，为了让现场观众获得最良好的体验，我们会使用比平常实验室环境中更多一些的摄像头，来保证系统运行的稳定。）
Q：你们会提供SDK给外部的开发者吗？
A：目前来说，我们还是比较保守的。我们提供整套解决方案，我们不对外公布我们的SDK。我们只给我们的内容合作伙伴和我们的技术伙伴。我们也尝试限制人们的期望值。虽然我们可以提供全身动捕套装，加上指套给每个用户，但这会增加体验管理工作的负担。这会让我们的客户运营体验场地变得很困难。他们不想让用户花上20到30分钟来穿上全身套装。
所以我建议我们的客户，大部分的应用场景都尽可能控制体验人数，最好少于10个人。除非特别必要的情况下，才给用户戴动捕手套，因为穿戴全身套装是庞大的工程，不如直接给体验者手柄，确保体验流程的每一步都没有任何问题，保证低延迟，没有晕动症，以及所有体验中可能产生危险的因素，确保所有环节都精确地调试过。
所以对于软件开发包的提供，我们是非常谨慎的。在推进新科技的时候，我们每一步都走的非常小心。需要做大量的底层调研，给大家带来尽可能完美的体验，提供更多样化的虚拟现实商用解决方案。目前来说，解决方案是否能够行得通是我们最主要的关注点。
http://ww4/large/b9491b93jw1f3cq26vwqtj20zk0k0wga.jpg
Q：你认为现在可不可能去掉外部的传感器？
A：现在来说，太难实现了。我们可以去尝试减少外部参考点的数量。但是现在你必须用它来做校正。因为使用惯性传感器就肯定会有累积误差和漂移。但可以用相对少的参考点。
这种参考点不光可以用光学追踪系统，同样也可以用某种磁力定位系统来尽量减少误差和漂移，在大型场地的商用虚拟现实解决方案上，混合系统还是最好的选择。
Q：就你的经验看，美国和中国的商用市场有什么不同？
A：首先来说，在中国，商用虚拟现实解决方案主要的开支，特别是在第一年，其实并不是设备费用，而是场地租金，北京、上海这些大城市的场地费用都非常高昂。但相比之下，美国（的场地费）就很便宜。所以，美国的客户更关心我们的设备多少钱，会不会太贵。
但是对于那些已经有意向要在中国一线大城市举办的客户来说，他们就不会在意设备费用的问题，客户只关心在什么地方搭建这个体验场馆会更好。
中美商业模式确实大不一样。比方说，大家都知道，卡拉OK和网吧，在美国根本火不起来。但是在亚洲却流行得一塌糊涂。所以我认为，虚拟现实在娱乐领域的应用在亚洲会比在美国有更大的发展潜力。
主持人：感谢戴博的精彩演讲！
戴博：也谢谢大家的关注！
喜欢
0
赠金笔