5-6 火山引擎虚拟数字人应用实践.pdf

1、火山引擎虚拟数字人应用实践陈曦 字节跳动 AI Lab 智能语音团队-“数字人”产品负责人|01虚拟数字人能力介绍02虚拟数字人应用场景03虚拟数字人产品方案目录CONTENT|01虚拟数字人能力介绍|4虚拟数字人-数字社会中为用户提供拟人化、有温度的智能服务基于字节自研的多模态交互技术体系，打造从形象、感知、理解、表达能力都趋近于真人，为行业客户提供拟人化客户服务的AI数字人AI数字人智能大脑智能大脑 对环境敏锐感知和准确响应 超越人类的专业知识储备和更新速度扩展人的边界扩展人的边界 7*24小时在线 跨屏服务（APP、小程序、大屏）外表、肢体语音、交互行为高度拟人化外表、肢体语音、交互行为

2、高度拟人化 自然有风格的形象 丰富细腻的表情动作 人机交互升级为人与人的交互身份型数字人服务型数字人VS|形听说想看 自研关键点检测技术 大幅提升唇形准确度（98.6%）引入style embedding技术，数字人表现力领先行业 实时交互过程动作生成 毫秒级动作切换延迟 语义理解智能预测动作时机 仅需515min动作即可定制专属主播能“听”：丰富的场景积累：支持Pico VR 一体机，抖音 IVR，智能电话外呼等字节跳动语音交互业务场景，平均日调用超千万领先的识别准确率：端到端语音识别模型 RNN-T，泛金融行业广泛数据积累，字准 90%以上，支持 8k/16k 信道，支持川渝、广东、云贵等

3、多口音识别；交互响应延迟1s以内；热词召回快速生效 三种智能感知：环境感知（物体、活体、人脸）、识别动作（表情、情绪、姿势）、文本（手写、证件、签名）构建全矩阵数字人关键能力形形象建模听语音识别说语音合成想意图理解+多轮对话看人脸人体、手势识别、图像理解火山引擎虚拟数字人具备一站式行业领先的全矩阵数字人解决方案语音变声：音色转化、口音转化等功能，更贴合自然人声音复刻：快速、小数据量复刻声音，实现千人千面，效果业界领先语音合成：对话体验真实：真人相似度达到90%以上多风格多感情：对4种基本感情进行精确定义音色矩阵多元：超过80+特色音库支持实时语音对话、智能客服、知识图谱等多个业务系统6火山引擎

4、虚拟数字人形象-2D数字人面部驱动肢体动作 实时交互过程动作生成 毫秒级动作切换延迟 语义理解智能预测动作时机 自研关键点检测技术 大幅提升唇形准确度（98.6%）引入style embedding技术升级数字人表情 基于20+小时数据积累训练通用大模型 仅需5 15min数据即可定制专属主播低成本定制多语种粤语日语东北话英语7火山引擎虚拟数字人形象-2D数字人（单张照片形象定制）形象复刻：仅需上传单张照片，即可将照片中的形象复刻到数字人身上虚拟人脸：支持明星、混血、模特等不同风格的虚拟形象换脸，打造独一无二的数字人IP2D数字人目标人脸千人千面的服务|8火山引擎虚拟数字人形象-2D数字人效果

5、演示火山引擎虚拟数字人形象-3D数字人3D超写实形象3D卡通人物3D卡通IP虚拟偶像、科技展厅、XR场景泛娱乐、大消费等“趣味性真实度”的场景IP属性强、风格化场景|10火山引擎虚拟数字人形象-3D数字人唇形迁移肢体动作 实时交互过程动作生成与渲染 毫秒级动作切换延迟 仅需精修5min以内的数据实现新形象唇形驱动通过高级动作系统支持复杂的分层动画、动画融合、动画无缝切换、全身IK、实时重定向等功能|火山引擎虚拟数字人形象-3D数字人效果演示02虚拟数字人应用场景|视频内容生产：联合司内产品提供数字人内容生产工具体系，助力IP运营场景描述数字人视频生产广泛用于播报、短视频等场景。联合抖音集团生态

6、产品，帮助企业打造专属数字人IP司内版权素材产品（图虫创意、IC photo等）版权素材剪映同款企业级视频创作工具创作工具代运营合作伙伴生态投放端数据分析运营&数据洞察|交互数字人-业务咨询：全链路一体化智能交互技术助力数字人智能服务场景描述在APP、小程序渠道上，以拟人的形象为客户提供业务办理和疑问解答，替代人工，并提供面对面有温度的服务流程欢迎了解XX产品，请问有什么可以帮您？你好，我想问产品的保险期是多少呢？您好，这款产品可以保至106岁呢，还有其他疑问么？好的，首期保费多少钱按您30周岁来计算，本产品首期保