Inside-out追踪技术为何被业界一致看好

来源网易数码

什么是Inside-out空间定位技术,简单来说就是利用设备自身,而不依靠外部的传感器等配件,实现虚拟场景里的空间定位,以及更多的人机交互。

皮克斯动画电影《头脑特工队》中把人的大脑构想成某个世界,在这个世界里有几个小精灵工作于大脑控制中心,负责控制人的行为。电影中采用虚拟和现实两条平行的主线,一条是主人公Riley的现实世界发生的事情,另一条是Riley大脑中分别代表不同情绪的五个小精灵所经历的事情。

可以这么认为,电影中的五个情绪控制小精灵是一个人工智能“小眼睛”,这个机器小眼睛被“植入”到你的头戴显示设备中,负责追踪你和现实世界中的一举一动,并通过计算机视觉算法同步到眼前的虚拟场景中,实现实时的多维度人机交互。这个“小眼睛”其实就是Inside-out空间定位技术最核心的部件,能够取代外置的追踪设备,就像你的大脑一样工作,由内而外,达到在虚拟和现实环境中的定位以及更多的人机交互功能。

Inside-out定位跟踪原理

Inside-out是一种光学跟踪系统,光源发射装置安装在被跟踪目标上,获取光源信号的传感器/标记点固定在使用环境中,其原理都是以三角定位算法为基础,测量目标反射或者是主动发射的光线,并经过计算机特殊的视觉算法可转换成目标的空间位置数据,从而实现对目标的位置跟踪。

在VR设备领域,主要是在VR头显上安装摄像头,让 VR 头显自己检测外部环境变化,借助计算机或者自身的算法芯片计算出 VR 头显的空间位置。

而根据光源发射装置(摄像头)数量,可分为多目视觉定位(如微软HoloLens),单目视觉定位(如蚁视二代VR头盔)

国内外技术发展现状

微软的AR 头显hololens,采用的就是inside-out方式,它拥有一颗深度摄像头,一颗用以拍摄图像/视频的200万像素摄像头,以及4颗环境感知摄像头,采集环境中的特征点进行匹配,利用SLAM算法获得空间位置信息。而近日微软与联想、惠普、戴尔、华硕和宏碁几家合作的VR头显,同样采用了 inside-out 空间定位系统。

Oculus 首席技术官 John Carmack 曾在去年9月召开的第二届开发者大会上表示,可用于移动头显的 inside-out 追踪技术“是我现在想要解决的一个问题,在今年的Oculus Connect大会上,扎克伯格公布了一款正在开发的VR一体机产品Santa Cruz,这款产品除了将计算单元都集成到头盔中,还在前面增加了4颗摄像头。

而同样用到多颗摄像头的还有Google的Tango系统,首款搭载Tango系统的联想Phab2 Pro手机背部除了普通的摄像头外,还有有一颗深度摄像头和一颗运动追踪鱼眼镜头。分别由Oculus、微软和Google推出的这三款产品,虽然对外展示的产品形态迥异,核心却都是Inside-out追踪技术。在Google从事Tango开发的技术Johnny Lee表示,Tango所用的Inside-out定位和微软的HoloLens很像,只不过Tango目前仅用在手机上,而HoloLens用的设备是头盔。

在国内,VR领域的创业公司蚁视早在去年美国E3展会对外展示了其自主研发的位置追踪系统——全息甲板(HoloDeck),在头盔的底部前方内置了一颗红外摄像头,通过捕捉地面的标记点,追踪头盔佩戴者的的水平空间位置和垂直高度,实现在虚拟世界中随意行走。而在今年7月份蚁视正式推出了配置inside-out单目红外位置追踪技术的VR头显。

多摄像头、单摄像头孰优孰劣?

其实,无论是微软、Oculus、Google推出的多摄像头方案,还是蚁视研发的单目红外摄像头方案,都属于Inside-out技术追踪方案,那么就目前VR技术发展的阶段,两种解决方案孰优孰劣呢?

多摄像头解决方案,在VR/AR头显内置一个高性能运算芯片,通过多个摄像头与外部空间的任何一点(被追踪目标)确定三角定位法则,经过内置芯片计算出目标的空间数据,而外部并不需要放置标复杂的记点。然而该方案的缺点是芯片数据运算量较大,而且成本相对较高,目前市场上鲜有能满足要求的运算芯片。

以微软hololens为例,最早是在2015年1月份,微软在其开发者大会上展示的项目,当时由于使用者能通过 HoloLens 与虚拟世界中的物体产生交互,一时成为当时的热点。它无需架设额外的辅助识别设备,只需要依靠机器上的摄像头即可进行实时的场景扫描。不过,HoloLens内置的运算芯片成本高达几百美金,这也直接导致其高昂的产品售价。

单目摄像头解决方案,是在VR头显内置一颗摄像头,与外部标记点中的任何两点形成三角定位法则,通过计算机的特殊算法计算出目标物的空间位置。该方案的优点是电脑CPU运算量较小,成本也相对比较低,目前市场上配置较高的电脑都可以流畅的运行。缺点是需要在外部空间中设置大量标记点,占用太多空间面积。

以蚁视二代VR头盔为例,头盔前方底部配置了一颗红外摄像头,搭配模块化设计的蚁视VR定位地毯。摄像头周边的红外灯向外发射红外光,通过地面铺设的定位地毯上的标记点反射回摄像头,经过计算机特殊的视觉算法,从而计算出目标物的空间位置。因此,必须要有足够的空间铺设标记点才能实现空间定位功能。

未来发展趋势

目前来说,眼下的高端VR设备,包括Oculus Rift和HTC Vive,全都是用的“outside-in”位置追踪技术,可以进行房间级的定位追踪,但是要想达到最好的体验效果,你需要在房间里精心布置传感器的摆放或者悬挂位置。如果你想把 VR 体验场地换到另外一个房间,传感器的摆放就又得重新布置。同样,蚁视的单目红外Inside-out追踪方案,也面临类似问题。

蚁视CEO覃政在接受媒体采访时表示,就目前缺乏高性能运算芯片的VR发展阶段而言,单摄像头方案既经济又合理,不过随着芯片技术的发展和进步,特别是视觉算法芯片的运算效率的提升,不依靠外部标记点的多摄像头Inside-out追踪方案一定是未来VR设备发展的趋势,VR能够真正成为的“无线”体验,让人们在 VR 世界里拼接利用肢体和手势进行交互。

如果把HoloLens改用非透明的屏幕,并将视场角扩大到110度,那就成了一款可以秒杀目前所有VR头显的一款高性能VR设备。加入微软的南加大MR专家Mark Bolas曾撰文表示,微软HoloLens当中拥有“Inside-Out”追踪技术可用于VR头显设备,而这也基本上已经可以确定微软未来的VR发展方向,这或许也正是国内外VR厂商正在努力的方向。