“造”个自己去开会!最牛3D人脸建模系统,输入一张照片就行


来源:物联传媒   时间:2021-01-28 17:46:29


作者 | 温淑

伦敦帝国理工学院和初创公司FaceSoft.io的研究人员设计出一个人脸建模系统AvatarMe。AvatarMe可以依据任意一张人脸照片和一些面部细节,生成4K x 6K分辨率的3D人脸模型。

AvatarMe是首个能根据单一图像生成较高分辨率3D人脸模型的系统。在未来,AvatarMe或可用于视频会议等各个VR应用场景。

这项研究发表于CVPR 2020,论文标题为《AvatarMe:“在野外”的真实的可渲染的3D脸部重建(AvatarMe:Realistically Renderable 3D Facial Reconstruction “in-the-wild”)》。

论文链接:https://arxiv.org/pdf/2003.13845.pdf

CVPR(Conference on Computer Vision and Pattern Recognition)是由IEEE举办的计算机视觉和模式识别领域的顶级会议,本届会议在6月13日到6月19日之间举办。

一、AvatarMe:依据一张照片生成逼真的3D人脸

3D人脸建模是计算机视觉、图形学、机器学习领域的研究焦点之一。在过去几年,许多研究团队研发了基于生成对抗性网络(GAN)的3D人脸建模系统。

GAN由一个生成网络和一个判别网络组成。GAN模型的学习过程就是生成网络和判别网络的相互博弈的过程:生成网络随机合成一张图片,让判别网络判断这张图片的真假,继而根据判别网络给出的反馈不断提高“造假”能力,最终做到以假乱真。

但是,在依据任意人脸照片生成3D人脸模型方面,现有的解决方案普遍性能较差,生成的3D人脸模型分辨率较低。

伦敦帝国理工学院和初创公司FaceSoft.io的研究人员认为,这是因为两个原因:

一方面,研究人员缺乏可用于培训的数据;另一方面,可成功应用于高分辨率数据的稳健方法也比较少。

为了解决这些问题,伦敦帝国理工学院和初创公司FaceSoft.io的研发人员捕获了一个关于面部形状和反射率的大型数据集。

同时,研究人员采用基于艺术状态的3D纹理和形状重建方法,以渲染所需的每像素分辨率和镜面反射分量。最终,研究人员成功地优化了3D人脸建模结果。

▲AvatarMe系统的管道结果

二、采用两种捕获方法,收集超200张人脸图像

为了建立可用于训练的人脸数据集,研究人员采用两种方法收集数据。

第一种方法中,研究人员利用一个有168个光源的极化LED球泡灯和9台单反相机,捕获高分辨率的孔隙级人脸反射率图。极化LED球泡灯中,一半的光源是垂直极化的,另一半光源是水平极化的。两种极化方式的光源交错排布。

第二种方法中,研究人员利用非极化的LED球泡灯进行色彩空间分析,以捕获解缠的纹理。相比于第一种方法,利用非极化的LED球泡灯只需捕获不到一半的数据,因此捕获时间较短短。另外,由于不需要偏振片(polarizer),非极化的LED球泡灯设置也比较简单。

通过这两种方法,研究人员采集到超过200个不同年龄和特点的人的孔隙级人脸反射率图。为便于进一步研究,研究人员将收集到的图像引入一个标准拓扑结构中,建立人脸数据库。

研究人员将这一数据库命名为RealFaceDB,根据论文,与同类人脸数据库相比,RealFaceDB规模为最大。

▲将人脸图像引入标准拓扑结构

三、不仅能用低分辨率照片建模,戴墨镜照片也行

基于RealFaceDB数据库,研究人员开始训练基于GAN的AvatarMe系统。

训练过程中,研究人员首先输入一张低分辨率的人脸图片,用3DMM算法重建一个带纹理的基本几何体。然后,利用一个超级分辨率网络,研究人员重建纹理映射。接下来,研究人员利用一个去照明网络获得高分辨率的漫反射函数(AD)。最后,研究人员利用漫反射函数AD和基本几何体,推断出其他部分的函数(AS、ND、NS),进而建立仿真的3D人脸模型。

经过训练,AvatarMe系统可以输出4K x 6K分辨率的3D人脸模型。

为了评估AvatarMe的性能,研究人员输入随机图片,观察AvatarMe重建的3D模型是否逼真。结果显示,AvatarMe系统重建的3D人脸模型没有产生伪影。另外,在照片主人公戴有墨镜的情况下,系统也能较精准地建模。

结语:未来计划把RealFaceDB数据库开源

本项研究中,伦敦帝国理工学院和初创公司FaceSoft.io的研究人员设计出人脸建模系统AvatarMe。AvatarMe可以利用任意一张人脸照片,建立出较高分辨率的3D人脸模型。

研究人员还建立了同类数据库中规模最大的RealFaceDB数据库。研究人员称,未来计划将这一数据库向科学界开源。

同时,论文指出,RealFaceDB数据库还存在一些局限性。比如,RealFaceDB数据库中缺乏来自深肤色种族的样本。因此,在依据深肤色种族样本建模时,AvatarMe系统建立的3D人脸模型分辨率有所降低。

参考信源:VentureBeat、arXiv

  版权及免责声明:凡本网所属版权作品,转载时须获得授权并注明来源“物联之家 - 物联观察新视角,国内领先科技门户”,违者本网将保留追究其相关法律责任的权力。凡转载文章,不代表本网观点和立场。

延伸阅读

最新文章

【IOTE 深圳秀】高精准定位物联网技术服务商,真源科技将精彩亮相IOTE 2021深圳国际物联网展会 【IOTE 深圳秀】高精准定位物联网技术服务商,真源科技将精彩亮相IOTE 2021深圳国际物联网展会

精彩推荐

产业新闻

“造”个自己去开会!最牛3D人脸建模系统,输入一张照片就行 “造”个自己去开会!最牛3D人脸建模系统,输入一张照片就行

热门推荐

版权所有:物联之家 - 物联观察新视角,国内领先科技门户