OPPO：小布虚拟人的多场景应用实践报告（22页）.pdf

1、小布虚拟人的多场景应用实践OPPO小布助手首席架构师万玉龙2一小布助手3国内首个月活破亿的手机语音助手OPPO、OnePlus、Realme智能手机和IoT设备的内置AI助手包含语音、建议、指令、识屏和扫一扫5大能力模块“机智”、“有趣”、“温暖”多设备、跨平台、多场景覆盖设备数覆盖设备数2.5亿2.5亿覆盖设备数2.5亿月均交互次数月均交互次数20亿20亿月均交互次数20亿月活跃用户数月活跃用户数1.3亿1.3亿月活跃用户数1.3亿4不断成长中的小布2018.122020.052020.122021.022021.062021.09安全性/可靠性/隐私性多模态交互更名小布助手跨界合作月活破亿

2、营销/媒介创新首次发布3周年IP升级2021.125二虚拟数字人6线上用户需求分析高级基础需求方便、高效、解放双手进阶需求智能、懂我高级需求情感诉求基础工具 查天气，系统设置，播音乐等 更多提高操作效率的功能助手 单指令执行APP二级指令复杂任务 结合对情景智能和用户理解主动建议朋友 形象拟人化，声音、动作、表情丰富自然 对话交流直击用户内心，满足情感需求7虚拟助手行业趋势8虚拟助手行业趋势9智能交互技术发展文字交互自然语言理解知识图谱以文本形式与用户交互依赖用户双手输入文本以文本展示给予用户反馈语音交互自然语言理解知识图谱以语音形式与用户交互释放双手，一语即达通过VUI给予用户反馈语音识别语

3、音合成多模态交互自然语言理解知识图谱以虚拟人形态与用户交互释放双手，一语即达通过语音、表情、手势、动作等给予用户反馈语音识别语音合成多模态驱动计算机视觉触屏交互自然语言理解知识图谱以触屏方式与用户交互依赖用户手部接触通过GUI给予用户反馈触屏10虚拟数字人人外观/行为/智能数字技术驱动虚拟非物理世界 形象：卡通-写实-超写实 行为：动作、表情、声音等 智能：能感知，可交互 设备：显示屏（2D/XR），全息投影 场景：虚拟助手，虚拟主播，数字员工 建模：数字建模（CG）驱动：动捕驱动，AI驱动11三小布虚拟人12首个基于虚拟人多模态交互的手机智能助手13两套技术方案形象设计3D建模动作捕捉参数驱

4、动参数预测设备捕捉AI捕捉虚拟人影像驱动参数训练驱动渲染真人数据采集关键点绑定录音采集语音合成虚拟人变声器真人驱动算法驱动14主体制作形象设计3D建模关键点绑定15真人驱动渲染引擎光学动捕惯性动捕动捕软件16算法驱动音频特征音频波形元辅音识别模型Blendshape虚拟人驱动元/辅音渲染引擎“大家好，我是布美美”语音合成话术文本Word Embedding动作系数动作预测模型文本特征17对话式虚拟人架构人声检测语音唤醒语音识别语义理解对话平台技能平台自然语言生成语音合成知识图谱虚拟人交互服务表情生成唇形生成动作生成3D渲染引擎虚拟人SDK声音播报18四未来可期19两种产品形态代表我服务我元宇宙

5、入口虚拟会议社交游戏数字备份虚拟偶像虚拟助手品牌代言电商主播20三大发展趋势高智能用高精度的语音识别、声纹识别、情绪识别、对话理解、知识图谱等技术赋予虚拟人更强的智能感知力用高表现的语音合成、计算机图形学、唇形生成、动作生成、表情生成等技术赋予虚拟人更好的情感表达力高保真4D高精度扫描&超写实3D建模，塑造高仿真虚拟人外形高精度动捕&深度学习，生成流畅、自然的人物动作4D高精度扫描&丰富面部数据学习，还原多情感生动表情低成本素材标准化+AI算法，降低美术素材制作&绑定成本开放形象定制能力，通过智能AI捏脸等降低开放定制成本从专家定制走向用户定制，实现千人千面个性化21数据驱动体验升级科技为人，以善天下