详解MRTouch：专为Hololens打造的高精度3D虚拟触摸屏

微软非常看好沉浸式技术的发展。多年来，该公司一直致力于提升基于沉浸式计算的MR体验。近日，微软研究小组研发出了一种新技术——MRTouch交互技术，该技术可以为HoloLens上的混合现实内容带来触觉反馈。

 

2016年，微软发布了HoloLens头显，也是该公司有关MR技术的首次尝试。HoloLens头显自带环境映射和手势追踪技术，用户可以在真实世界中同3D虚拟物体进行互动。HoloLens支持手势、基于注视点和语音的输入。

 

但这些操作并没有理想中那么直观、实用。比如，手势没有触觉反馈功能，无法响应用户的交互动作；虽然注视和语音交互有一点帮助，但这两种操作并不适用于作为通用的交互方法。

 

现在，大多数人都习惯于用智能手机、平板或触屏式电脑进行基于触摸式的交互。

 

微软推出的这款测试软件MRTouch，就利用HoloLens先进的环境映射和手势追踪技术，以精确定位那些可用作虚拟输入设备的平面，从而将触摸交互带入混合现实环境中。

 

HoloLens头显有两种环境追踪模式：一种是长距离追踪，可使用车载相机来映射用户周围的空间，其中包括房间的墙壁以及该空间中的所有物体。另一种是短距离追踪，该模式用于手势追踪，支持的最大追踪距离为一米。

 

MRTouch采用的是HoloLens的短距离追踪模式，因为长距离追踪模式并不能满足手指追踪的精确度。

 

微软的研究人员将短距离的深度摄像头信息与红外摄像头信号相结合，无需长距深度摄像头的信息即可提供精确的平面图像。研究人员表示，这使得MRTouch软件能够在没有完整的3D环境地图的情况下也能运行。

 

另外，借助MRTouch，只要是平整的表面（例如台面、桌面或墙壁等），用户都可以将其作为触觉反馈表面。使用MRTouch打开某款应用时，只需把双手放在该触觉反馈表面上，然后用手指向下拖动至右方，即可创建一个新的虚拟窗口，然后就可以打开该应用程序了。

 

物理表面可让用户在向下按时，真实感受到虚拟按钮的存在，也可实现更精确的输入。空中手势仅适用于简单交互，但当用户无法分辨何时按下按钮时，就很难使用虚拟菜单。

 

此外，空中互动仅限于单个输入点，但MRTouch支持多达10位数字的多点触控互动。

 

MRTouch软件的追踪管道的运行速度为25fps，包含三个组件：Image Streamer、Tracker Engine和Client Library。

Image Streamer通过红外线和深度摄像机输出数据，并通过TCP socket将其发送到Tracker Engine上。

 

MRTouch Tracker引擎从Image Streamer上接收数据，并使用这些数据生成一份“已识别的跟踪表面”及其地理坐标的详细列表。就像微软的Windows MR平台中的其他应用程序一样，当用户在空间中移动时，MRTouch窗口仍然停留在位置上。

 

MRTouch系统的第三个组件是Client Library，它通过TCP与Tracker Engine相连接，以接收位置数据和触摸信息。然后，Client Library将该信息转换为应用程序可以解析的格式。

 

MRTouch在微软的HoloLensMR头显上运行，但该团队表示，它创建了一个自定义的API来构建软件，这意味着将这款应用程序移植到其他MR设备上并不难。目前，MRTouch仍不可用。微软也并未透露MRTouch何时或是否会对用户开放。

【资讯编译自：tomshardware】

【87870编译文章，转载须注明来源及链接，否则将追究其法律责任！】