4-3 人脸高效率 3D 数字化技术研究.pdf

1、人脸高效率3D数字化技术研究暴林超腾讯AI Lab专家研究员&虚拟人算法组组长|01人脸3D数字化概览02如何评估3D人脸重建03RGBD自拍数字化04Q&A目录CONTENT|01人脸3D数字化概览腾讯AI Lab高保真3D数字人“小志”|腾讯AI Lab高保真3D数字人“小志”|高保真3D数字人的制作管线|光场扫描高模重建高模制作低模重拓扑表情扫描控制器绑定挂件/材质/渲染语音/文本驱动文本腾讯AI Lab数字人制作方案分级|类别数据采集采集设备制作特点方案目标S级光场影棚扫描质量最高，较多人工美术加工，AI技术进行流程加速和成本优化追求真实感和高品质定制3D写实虚拟人的品质上限A级相机阵

2、列扫描质量较高，AI算法生成为主，加轻量人工参与兼顾高品质和高效率高效定制行业3D写实虚拟人形象B级RGB-D（视频）质量中等，全自动AI算法生成兼顾高效率和低成本消费级设备快速创建3D虚拟人形象C级RGB照片（多张/单张）质量一般，全自动AI算法生成，对用户录入的数据要求更低易触达，C端用户友好在用户无法拍摄高质量数据时，提供一种可以快速创建3D虚拟人形象的能力|02RGBD自拍人脸数字化RGBD自拍人脸数字化|RGBD自拍自动选帧几何建模材质建模Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB-D Selfie

3、s”,ACM Trans.Graphics,2021Step 1 自动选帧算法|Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies”,ACM Trans.Graphics,2021Step 2 模型初始拟合|初始形状初始颜色贴图关键点拟合提取脸部区域Unwrap融合参数化拟合Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies”,ACM Trans.Graphics,2021Step 3 基于可微渲染的

4、优化|Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies”,ACM Trans.Graphics,2021Step 4 纹理/法线贴图合成|Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies”,ACM Trans.Graphics,2021Step 5 补头/挂件挂载/渲染|Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB

5、-D Selfies”,ACM Trans.Graphics,2021结果展示结果展示|Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies”,ACM Trans.Graphics,2021Step 6 AutoRigging|Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies”,ACM Trans.Graphics,2021Step 7 文本/语音驱动|Bao et al,“High-Fidelity

6、 3D Digital Human Head Creation from RGB-D Selfies”,ACM Trans.Graphics,2021论文主页|03如何评估3D人脸重建3D人脸重建Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies”,ACM Trans.Graphics,2021传统3D人脸重建评估方法|重建结果GT扫描1.刚性对齐2.最近邻点计算误差传统3D人脸重建评估方法的问题|对齐方法对于局部扰动