从不可能之中诞生,FB如何打造出QuestVR一体机?
支持房间规模位置追踪的Oculus Quest VR一体机本周正式上市销售了。在Facebook的一篇帖子中,Facebook首席技术官Mike Schroepfer透露,该公司最初就该产品是否有可能进行了“激烈的辩论”。
Schroepfer说,“我记得关于是否有可能构建Quest的激烈辩论。从内向外的跟踪系统那时还处于研究阶段,并且许多人认为在移动芯片上进行跟踪的想法是不可能的。但现在Quest终于能够‘正常运转了’。”
Schroepfer是直接向Mark Zuckerberg汇报的Facebook高管。而Facebook的VR / AR副总裁Andrew Bosworth则接受Schroepfer的管辖,而不是直接向扎克伯格报告。
Schroepfer的话暗示了Quest漫长的开发周期,这是一款多年来一直处于开发阶段的产品,它采用的是突破性的技术,而这些技术在产品的构思阶段并不存在。
Quest一直是Oculus的目标
Oculus Quest在过去超过三年的时间里一直处于研发阶段,但是在开始研发之前相当长的一段时间内,Quest已是Oculus心心念念一直想要做出的产品目标。
2012年现任Oculus CTO约翰·卡马克在参与Kotaku的一次视频访谈时,就已经描述了一种使用“移动手机硬件”结合摄像头进行位置追踪的无线头显,那时他还没有正式加入Oculus。2013年接受Engadget采访时,已加入Oculus的卡马克甚至描述了这款理想中的VR头显使用了某一版本的安卓系统。
当Rift以及Touch在2015年最终研发完成时,Oculus开始了更具野心的计划。Oculus的目标是将Rift+Touch相同的体验以及质量稍低的画面效果带给一台VR一体机。该项目被称为Project Santa Cruz。正如本周Schroepfer的言论以及Sean Liu在Oculus Connect 4大会上所说的,当时Facebook里的许多人认为这样的产品是不可能做出来的。
处于研究阶段的Inside-Out追踪
Project Santa Cruz面临的最大挑战之一就是为移动硬件提供高质量的Inside-Out头显与双控制器追踪。事实上,在项目开始时,Oculus还没法让这一功能正常运转。
今天我们还能看到一些其他品牌的VR一体机使用了Inside-Out追踪,但目前没有VR一体机像Quest一样通过摄像头来追踪控制器。HTC Vive Focus Plus拥有6DoF的控制器,但是该控制器是通过超声波来进行追踪的,而不是计算机视觉软件。就像联想的Mirage Solo一样,Focus Plus上的摄像头仅用于自身头显的追踪。
微软在2017年通过Windows MR头显将Inside-Out追踪技术引入了VR市场,但这完全依赖于PC平台的强大处理器性能。
回到Project Santa Cruz开始研发时,那时高质量的Inside-Out追踪依然被认为处于研究领域,而不是可以投入实际应用的技术。为了组建一支团队来攻克这项技术,Oculus收购了许多计算机视觉领域的初创公司,包括13th Lab以及Surreal Vision。
Inside-Out追踪适用于移动平台吗?
在2015年Oculus Connect 2大会开幕前,Oculus联合创始人帕尔默·拉奇声称“VR级别的Inside-Out追踪系统目前还不能再移动设备上工作。”
在大会期间,卡马克也详细阐述了这一问题的难度,还批评公司将研究焦点放在了针对移动硬件的核心技术优化。
卡马克说:“现状对于制作一个不会消耗大量电量的Inside-Out追踪系统很不利。Oculus有差不多30名来自我们所收购的公司的计算机视觉专家,但他们中没有人愿意来解决这个问题。他们在做一些更深奥的研究,但这是我现在想要解决的问题。要是有人去年一整年都在研究这一问题就好了。”
如果Inside-Out追踪系统几分钟就耗光了VR一体机的电池,那即使该系统能在VR一体机上正常工作也毫无意义。但是卡马克与Oculus内部的其他员工将这项工作继续进行了下去,在2016年2月,卡马克将他的“大部分”时间都花在了位置追踪上。
硬件加速与主动冷却
2016年年初,卡马克的目标是将Inside-Out追踪系统带到Gear VR这个平台上。Gear VR是Oculus与三星合作研发出来的基于手机的VR解决方案。设想中未来的新产品是一回事,但Gear VR的体验可以通过位置追踪得到根本的改善。
遗憾的是,Gear VR最终没有能获得官方的位置追踪支持,一方面是由于卡马克在Oculus Connect 2大会上提出的耗电量的问题,另一方面则是由于冷却问题。
Gear VR的主要缺陷是它在游戏过程中经常过热,迫使系统停机。有时候你刚使用VR15分钟就能碰到这样的问题,具体取决于游戏对于系统的影响程度。在运行VR游戏的同时运行基于摄像头的先进的计算机视觉算法会加重这一问题。
Oculus Quest使用了两种方法来克服这些问题。
Oculus因为Gear VR以及后来的Oculus Go VR一体机和高通建立了亲密的合作关系,这让Oculus可以将追踪系统的工作放到Hexagon DSP(数字信号处理器)上而不是CPU上。DSP是独立的可编程芯片,专门被设计出来进行传感器和图像处理。智能手机通常会用DPS来增强手机摄像头拍摄的照片,而Oculus Quest则用其进行追踪。Oculus确认了位置追踪功能“不会影响”VR应用的表现。
为了解决过热的问题,Quest使用了一个主动冷却风扇。这通常不会被用在ARM处理器上。据我们所知,苹果的Apple TV 4K、OUYA微型主机以及HTC Vive Focus是目前消费市场上仅有的几个其他案例。
Monarch原型
当移动平台的追踪问题解决后,Oculus开始进行硬件设计。首先碰到的挑战是确定哪些硬件是必须的。Quest需要多少个摄像头?放在什么位置?Oculus制作的第一款功能原型名为Monarch,在OC 5大会的一次谈话中曾被提及。Monarch是一款概念验证原型,使用了4个大体积的计算机视觉摄像头,2个朝向前方,两个位于头显侧面。
接下来Oculus团队的工作主要是将这款原型小型化并且寻找光学摄像头的放置位置。最终的成果就是我们今天看到的Quest。让摄像头凹陷进去的决定能够使其承受各种磨损,甚至是掉到地上也不会损坏。
OC 3大会的头显演示
在2016年下半年的OC 3大会上,Oculus公布了Project Santa Cruz的存在,并向媒体展示了这款头显的演示。
从前方看,这款头显只是加了摄像头的Rift。电池、处理器以及其他移动硬件都位于头显前方的外壳内。目前尚不清楚为何Oculus选择将全部硬件都放在了头显的前部,但这很可能是出于成本的考虑并且让用户能够躺在沙发上使用这款设备。
在OC 3大会上体验过这款原型头显的媒体人士表示:“当我走到房间角落迅速转身时,追踪有一个小的间断,但其他时候追踪十分稳定,即使在房间里快走几步我也没有感到任何不适。总的来说,这款设备体验起来更像是无线的Rift而不是加了位置追踪的Gear VR。”
OC 4大会控制器上线
在2017年下半年的OC 4大会上,Oculus公布了Project Santa Cruz已经跨过了一个主要的研发里程碑——它已经拥有了位置追踪控制器。大会上提供的控制器演示令人印象深刻。
这款控制器与Rift的几乎一样,唯一的区别是追踪环从控制器的下方变到了上方。与Touch的控制器一样,这款控制器通过追踪环里的红外LED灯进行追踪,不过追踪控制器的是头显上的摄像头而不是Rift使用的外置传感器。
然而奇怪的是,Oculus这一版控制器将面板上的按键和摇杆替换成立触摸板。这一改动招致了开发者和粉丝们的一致批评。摇杆是Touch最受喜爱的特点之一,开发者们也围绕着摇杆开发了游戏的控制机制。如果这一改动延续下去,开发者们将不得不为Rift和Santa Cruz开发不同的控制机制。
在2018年的GDC上,Oculus宣布这一改动被取消。Santa Cruz将与Rift拥有完全一样的输入元素。
Quest的最终发布
约翰·卡马克提出Quest这一目标的数年之后,Oculus Quest已经成为了一款售价399美元,可以在亚马逊和百思买购买到的产品。这距离Quest的首秀也已经差不多三年了,那时的Quest还只是一个孤零零的VR头显,并没有配套的控制器。
构建Oculus Quest的研发工作创造了一种新的VR设备类别,重新定义了介于非交互式移动平台和交互式PC平台之间的VR市场。Quest到底销量如何还有待市场的验证,但毫无疑问VR一体机是VR未来的重要组成部分。
【资讯编译自:uploadvr】
【87870编译文章,转载须注明来源及链接,否则将追究其法律责任!】