Xmov魔珐科技:VTuber背后的“提线操控者”
今年的CES Asia大会上,一家名为Xmov的公司引起了87君的兴趣。他们的展台在进行演示时总是围着一波又一波的观众,87君上前一探究竟时发现,原来他们在演示如何通过结合了面部表情捕捉和手指捕捉的全身光学动作捕捉系统来驱动VTuber,让虚拟角色动起来。
在现场演示中,无论演员做出什么样的动作和表情,后方电视机画面中的虚拟角色都能做出很好的还原,甚至是翻滚动作也能精准的呈现。最近几年VTuber可谓十分火爆,视频网站上的虚拟角色们都吸引了大批的拥簇,VTuber在制作过程中用到的技术正是应用在传统影视和游戏行业的动作捕捉技术,但对于面部表情和细微动作的还原有着更高的要求。
这家名为Xmov魔珐科技的公司究竟是通过什么样的动作捕捉技术来精细的驱动VTuber虚拟角色来引起观众的兴趣呢?这家新公司背后又有着怎样的故事呢?87君对现场的负责人进行了一次采访。
Xmov的创立
在谈到Xmov的创立过程时,87君了解到,Xmov创立于2018年1月,创始人名为柴金祥,是目前德克萨斯农工大学的副教授。柴金祥拥有卡耐基梅隆大学机器人研究所的博士学位,主要研究计算机图形学、计算机视觉和机器学习,在机器人学、人机交互、生物力学、虚拟和增强现实等其他学科中有广泛的应用。
柴金祥博士在计算机图形学和计算机视觉领域已经有着超过20年的研究经验,而Xmov创始团队中的其他成员则来自微软研究院、美国德克萨斯农工大学、中科院等机构和学校,共同构成了一个有着深厚技术背景的团队,核心团队成员数量达到十几人。
Xmov在一成立就获得了来自红杉资本领投、东方福海和晨兴资本跟投的3000万元天使轮融资,其中还包括了微软人工智能及微软研究事业部负责人沈向洋博士的个人投资。Xmov的工作人员透露称Xmov的第二轮融资也已经确定,将于本月底对外披露。
Xmov成立之初与原力动画达成合作,为其提供高精度的动作捕捉技术,并提高动画公司的工作效率。目前Xmov的合作伙伴已经囊括了国内顶尖的游戏公司与动画公司,不过出于保密原因,具体的名称不能对外公开。
作为后来者,Xmov的优势在哪里?
被问及Xmov与行业先行者相比,有着什么样的优势时,Xmov工作人员表示,首先Xmov提供的是全身光学动作捕捉技术,能够精确的捕捉演员的面部动作和手指动作。
相比于国内目前的行业先行者来说,Xmov的优势在于两点:包括面部表情和手指动作在内的全身光学动作捕捉技术,以及依托于AI技术带来的精度和效率优势。
在采访中,87君还了解到了光学动捕与惯性动捕的差异,惯性动捕技术的优势在于其贴身安置的传感器能够低延迟的还原全身的骨骼动作,缺陷在于惯性传感器拥有累积误差,工作时间长了以后动作捕捉效果会下降。此外惯性动捕传感器的续航时间有限,不能支持长时间的工作。
而光学动捕的优点在于不受累积误差的影响,而且能够长时间持续工作。不过光学动捕也有着自己的局限:对于光照环境要求高,且不能受到遮挡,否则会影响到捕捉精度。
为了弥补传统光学动作捕捉技术的局限,Xmov引入了人工智能算法,来还原被遮挡部位的动作,能够很好的补全被遮挡部位的动画。现场演示中,即使动捕演员做出向前翻滚等会遮挡身体许多标记点的动作,实时动画中也能够很好的还原演员做出的动作。
Xmov希望通过提供AI驱动的高精度、高效率的动作捕捉服务来帮助无论是电影制作、游戏研发还是虚拟人等行业的公司以更低的成本更好的效果实现自身的业务需求。
Xmov的商业模式
在商业模式上,Xmov与传统的动作捕捉企业有着一些区别。Xmov希望通过自身的动作捕捉技术,来为动画制作等行业提供更具生产力的制作方式,缩短时间周期、提高动画精度并且降低成本。
Xmov的工作人员表示,无论是OptiTrack还是瑞立视等公司,他们的商业模式更多的是设备的销售。而Xmov则主要对外售卖动作捕捉服务而不是硬件产品。
Xmov认为,对于客户来说,为了用上最新的动作捕捉技术而一直对硬件系统进行更新换代是一件很痛苦的事情。Xmov通过这样的商业模式能及时的将自身研发出的新技术应用到动作捕捉系统当中,让客户能够专注于动作捕捉的产出而无需关心技术和硬件的迭代,从而让客户能够降低成本并享受新技术带来的生产力提升。
至于Xmov动作捕捉服务的具体售价,工作人员表示这取决于客户对于动作捕捉精度的需求。如果想要实现真人CG级别的动作捕捉,服务的售价自然会上浮。目前Xmov的服务并没有标准的售价,而是依托于项目来进行具体的报价。
Xmov的技术如何应用于VR/AR行业?
动作捕捉技术在VR/AR行业已经有着很多应用。Xmov除了全身光学动作捕捉系统外,还有着很多其他技术,例如基于单目/双目摄像头的各种计算机视觉算法。Xmov希望通过open.Xmov.ai这一平台将这些算法实现的功能提供给大家,为VR/AR应用提供更多的服务。
open.Xmov.ai是一个开放的AI能力平台,能够提供双目或单目摄像头的人脸识别、手势识别、身体部位划分等服务,可以应用于刷脸支付等各种场景。open.Xmov.ai这个平台能够为VR/AR提供更多的交互方式,例如手势交互、语音互动,也可以实现基于人脸识别或身体部位识别的AR滤镜效果。
Xmov工作人员表示,虽然百度等公司也提供了同样的AI平台,但Xmov在技术上对自己有着充足的信心,也欢迎开发者们对于各种平台进行对比测试
VTuber火热,Xmov是否正考虑打造自己的IP?
最近两年VTuber逐渐变得火爆起来,而VTuber的技术基础正是动作捕捉。Xmov在现场演示的蘑菇酱就是自己制作的动画角色。
当被问及是否会自己打造一个VTuber IP时,Xmov表示,他们是有这样的想法的,但目前仍在一个0-1的阶段。
Xmov拥有着打造VTuber所需的全部制作技术,制作对于他们来说不是什么难事,但VTuber的成功还有很大一部分要看运营。
后记
今年CES Asia大会上,87君体验到了许多公司的新技术、新产品,也能够看到越来越多的行业开始接受和应用VR/AR这两项新技术来提升自家产品的体验。但是不得不说,优秀新公司涌现才是最令人感到兴奋的事情。
随着5G普及速度的加快,VR/AR行业的应用场景将得到扩展,希望VR/AR行业能够借着5G的东风涌现出更多优秀的新企业。