3-5 可视化数字人技术在 Soul 的应用.pdf

1、虚拟人技术与Soul的结合Soul 甘启|01背景介绍02关键技术03场景应用04总结与展望目录CONTENT|01背景介绍Soul的社交元宇宙NW引擎介绍背景介绍|背景介绍Soul的场景要求|好看&有趣&参与实时有限的算力轻量级要求复杂的应用场景背景介绍|背景介绍NW架构|02关键技术引擎架构识别&驱动能力渲染能力设计资源关键技术技术路线|头部半身全身位姿估计表情识别捏脸技术BS驱动头部信息手部姿态估计IK系统头部与身体绑定头部信息手部信息身体姿态估计动画信息识别系统渲染系统驱动BS驱动骨骼驱动头部与身体绑定特殊材质BS驱动骨骼驱动关键技术识别&驱动能力（头部）|脸部检测 位置 方向 tra

2、cking人脸重建 位姿 Mesh 光照（可选）精细化表情识别 眼眉瞳 嘴舌脸部识别 脸部位置 头部位姿 表情系数 Mesh 其他关键技术识别&驱动能力（头部）|基础头捏脸头表情头个性头74个捏脸系数56个表情系数配饰/动画/骨骼动画关键技术识别&驱动能力（头部）|Case1 眉毛穿膜Mesh变形迁移蒙皮关键技术识别&驱动能力（头部）|关键技术识别&驱动能力（半身）|手部识别手部检测位置方向tracking手部关键点位姿Mesh 手部位置 3D关键点 拓扑关系关键技术识别&驱动能力（全身）|IK系统关键技术识别&驱动能力（半身）|脸部大小&位置经验曲线肩关节和腕关节相对位置FABRIK肘关节位

3、置手部大小&位置半身方案前置摄像头关注点手势&表情非AR关键技术识别&驱动能力（全身）|2D姿态估计行人检测数据预处理关键点检测关键点矫正关键技术识别&驱动能力（全身）|3D姿态估计2D姿态估计 关键点xy坐标3D姿态估计 Z方向坐标 3D关键点 拓扑关系关键技术识别&驱动能力（全身）|识别点mappingMotion retargetingConstraints of Joints驱动目标模型目标模型Key frames关键技术识别&驱动能力（全身）|关键技术渲染效果|镭射半透明皮革阴影轮廓光动态骨骼关键技术设计资源|03场景应用捏脸&换装视频聊天沉浸场景场景应用捏脸&聊天|场景应用沉浸场景|场景应用沉浸场景|开放式元宇宙场景多元可切换的宇宙|04总结与展望总结与展望|总结l 头部 半身 全身 渐进的技术路线l 图像+图形+设计 协同的开发方式展望l 图像、语音与文字综合驱动l 虚拟形象&资产的格式互通l 虚实结合的落地场景（基于手机 OR AR&VR硬件）非常感谢您的观看|