观界创宇科技曾智：下一代全景内容在于实时重建

2017年11月16—17日，ICEVE2017北京国际先进影像大会暨展览会（简称ICEVE），在北京电影学院标准放映厅开幕。

在16日下午的“虚拟现实影像内容主题论坛”上，中国科学院自动化研究所高级工程师、成都观界创宇科技有限公司首席研究员曾智发表了主题演讲，他针对目前VRAR全景拍摄存在的问题做出了分析，并对下一代全景拍摄技术进行了探讨。

曾智来自于成都观界科技有限公司，处于VR全景拍摄的第一线，他首先指出，VRAR这两年的爆发引出了全景内容拍摄需求，但是传统的拍摄设备组建的Rig存在缺陷，无法实现高质量的3D立体拍摄。

谈及拍摄问题，曾智介绍了观界科技自主研发的两款全景拍摄相机IDEALOEYE P21和IDEALOEYE C4，前者由21目Sony背照式传感器组成，后者由4目Sony背照式传感器组成，均能实现高性能的360°全景拍摄。

随后，曾智探讨了全景拍摄中画质与拼接的矛盾，他说：“高档相机镜头能够获得更好的画质，但是机身体积过大，导致所组建的Rig里，镜头光心距离大，画面视差大，拼接难度大。”

另一方面，相机FOV越小，像素利用率越高，画质越好，但是小FOV相机组建的Rig，覆盖全景所需的相机数量较多，拼接难度加大。

曾智指出，全景拍摄希望给用户沉浸式体验，但受限于其二维图像的本质，真实感难以提升。另外，由于缺少自由度，全景视频中无法实现漫游。

针对这些问题，曾智从三个方面提出了改进思路，一是硬件设计，二是拼接算法，三是提供Depth数据。

在硬件设计上，他认为，在全景拍摄中需要根据应用场景合理选择相机，比如说sensor靶面大小、镜头大小、FOV大小等。另外要尽量减少相邻镜头光心距离。在拼接算法方面，曾智介绍了基于光流的拼接算法，提高拼接对视差的鲁棒性，利用稠密光流方法计算像素匹配关系等方案。

接着，曾智重点强调了深度信息对于全景视频的意义，他表示，深度信息能够带来更准确的拼接，更靠谱的特效叠加以及局部6自由度的可能。

最后，曾智对下一代全景内容提出了畅想，他认为，下一代全景内容在于实时重建，具体表现在思维重建（空间三维加上时间一维）、基于RGBD相机组环拍、利用GPU并行加速计算三个方面。