ICEVE2017虞晶怡:真正的VR视频内容要满足三个条件
2017年11月16—17日,ICEVE2017北京国际先进影像大会暨展览会( 简称ICEVE),在北京电影学院标准放映厅开幕。
ICEVE聚焦先进影像技术与制作流程、VR/AR内容制作和未来影像趋势等前沿领域,致力于创新影视语言体系和表达方式,推动和引领中国影像技术学派发展,开拓面向未来的影像艺术与科技融合空间。
17日下午进行了“未来影像主题论坛”,会上,上海科技大学虚拟现实与可视计算研究中心主任虞晶怡发表了主题演讲——《给予VRAR双眼和大脑》。
“为什么一两年前的VR公司倒了一大片?”“因为两年前制作的360度全景视频完全不符合人的双眼习惯。”虞晶怡一开场就指出了360度视频的缺陷。
虞晶怡认为,真正的VR内容要满足三个条件,即双目视觉、动态对焦,以及语义识别。
他表示,用两只鱼眼镜头2D照片拼接出来的360度视频从某个角度看确实不错,但随着人的视野变化,照片的视角和信息会产生变形。这两年,业内尝试用由多个镜头环形组成的全景相机来拍摄VR视频,但在拼接过后依然存在诸多问题,他们研究出一种方形全景相机可以解决双目视觉差异问题。
在动态对焦方面,业内普遍采用多个相机阵列来拍摄,用视觉算法根据不同的像素、深度信息来进行后期拼接,但是仍然有瑕疵。他认为,必须要为视频加入深度信息,在原来的光场信息基础上叠加粗略的深度信息,才能实现非常高校的动态对焦。
深度信息除了三维扫描相机可实现之外,也可用足够多的照片,利用三维引擎来实现。
在语义识别方面,虞晶怡指出,以前用多台静态相机和动态相机结合的拍摄方式面临着遮挡问题,处理遮挡则需要在拍摄中识别语义,也就是识别人物姿态和环境。
最后,针对这些问题,虞晶怡介绍了一套解决方案:Template Registration。