2018-06-01
3D人体扫描技术新论文将来或许可以应用到手机中

  这篇论文中提出的新的人体3D扫描建模技术,完全可以只使用一个摄像头,因此,它可以大量应用到智能手机上。另外,它不仅可以应用到服装的试穿中,同样可以通过对人体的扫描,让建立出的模型和其它的虚拟物体互动,算是另类的做到了《头号玩家》的标准。当然,后者对处理器的计算能力要求会很高,也可能不会有更好的沉浸感。对论文感兴趣的同学也可以戳阅读原文下载。

  研究者采用基于 SMPL高效优化单个位移面的方法,一次性拟合所有帧,这要求只能在内存中存储一个模型。他们的方法首次实现从单个运动人体视频(这样我们可以从各个侧面看到这个人)中提取出准确的 3D人体模型(包括头发和衣服)。

  为了评估对象的一致形态,研究者首先计算每个帧的 3D姿势。他们扩展了评估的方法,使其鲁棒性更好,以最大化地显示每帧实例中的轮廓。在评估过程中,由于时间的变化,衣物可能会有微小的变形变形,这些姿势的一致形态可能和帧轮廓有轻微的错配。

  这篇论文描述了如何为单目视频中的移动人体做准确的 3D建模。基于参数化的人体模型,论文提出了稳健的处理流程,对穿衣服的人群也能够获得大约5mm分辨率的 3D模型。另外,论文中展示了对大量物体的评估结果,并分析了整体表现。可以说,只需要一个智能手机或者摄像头,这种方法就能让每个人都创造自己的全动画数字孪生体,并可应用到社交 VR或者在线时装购物的虚拟试穿。

  最近在各社交平台上大火的《头号玩家》想必大家都看过,抛开片中大量的彩蛋不提,该片搭配的VR技术,展现出的真实沉浸感也非常吸引人。不过,除了VR技术,3D人体扫描技术或许也可以用一种另类的方式达到相似的效果。

  之前我们已经提到过一个可以对人体全身进行识别的技术(Facebook新研究为未来全身AR打下基础),它与这次讨论的技术是有差别的,Facebook的新研究识别出的人体是2D而非3D,但它们之间也有联系,譬如二者都采用基于CNN的视频分割方法来识别人体轮廓和纹理。实际上,论文中也说明识别纹理的方法并不是创新性的。

  3D人体扫描技术,是利用光学测量技术、计算机技术、图像处理技术、数字信号处理技术等进行三维模拟人体表面轮廓的非接触自动测量。这种技术的应用在现实生活中并不鲜见。前段时间苹果的Animoji和三星的AR emoji都来源于这种技术,这种技术也可以应用到服装试穿中,幸运飞艇官网甚至有健身房依靠采用这种技术测量各种关乎健康的关键数值(体重指数、体脂成分等等)来吸引顾客。

  不过,现有的方案有一个缺点,有的扫描装置需要特殊的照相设备来检测景深,有的则需要照相机矩阵来探查人体,而最近,德国布伦瑞克工业大学和 Max Planck Institute for Informatics的研究人员发表了一篇论文,提出一种新的算法,可以使用单个角度的标准视频素材为人体创建 3D模型,用时仅需数秒。

  第一步,论文采用标准可视外壳方法从多个视角捕捉静态形状。穿过图像轮廓点的相机光线D人体形状。本论文中,研究者首先拟合 SMPL模型和 2D检测,估计每一帧的初始人体形状和 3D姿势。基于拟合结果,研究者将每一帧中的轮廓点与人体模型中的 3D点结合起来,根据每个投影光线D模型点的反向变形模型,变换投影光线;处理所有帧的拟合结果后,就得到了一个可视外壳,即以标准姿势展示的人体形状。

  图 7:定性测试结果:因为重构的模版与 SMPL人体模型有同样的拓扑结构,我们可以使用 SMPL来改变重构形体的姿态和外形。虽然 SMPL不建模带衣着人体的变形,但变形模版看起来还是可信的,从质量上来看足够承担多种应用。

  最后,为了计算纹理和捕捉时间演化细节,第三步中将对一致形态的偏离进行每一帧的优化,从而给出精炼的逐帧形态,以此计算纹理图。本文的方法依赖于图像的前景分割。因此,研究者使用了中基于 CNN的视频分割方法,并对每个序列用 3-4个手工分割图像进行训练。另外,为了克服在单目时3D人体形态重构中模糊性的问题,研究者使用 SMPL身体模型作为起始点。