7-1 虚拟人视觉技术的创新应用.pdf

1、虚拟人视觉技术的创新应用丁彧 网易伏羲 虚拟人首席专家|哇，做得真好，怎么做的啊？美术手工+动作捕捉技术已经这么完美了，还需要做什么呢？非常棒了，但是，时间成本高，经济成本高，数据复用性差，所以人工智能技术的发展至关重要，其决定着虚拟人产业化的规模。|说了这么多，今天人工智能已经做了哪些工作？视觉内容智能创作：语音驱动表情&动作|人人都是导演，只需输入配音，即可自动合成虚拟角色表演动画。表情效果细腻真实，动作表达连贯自然，符合人设全面支持3D、Live2D美术角色表表情情动动作作Live2DLive2DLive2DLive2D3D Animation3D Animation3D Animati

2、on3D Animation视觉内容智能创作：语音驱动表情&动作|视觉内容智能创作：语音驱动表情&动作|那一刻却化作碎片嘴唇动画参数合成落地案例：游戏动画|支持游戏创作者，快速制作游戏剧情动画资源，打造一个鲜活的虚拟世界。目前已落地多项合作项目，其中不乏逆水寒、天谕等知名游戏，大大提高游戏资源生产效率。逆水寒游戏剧情动画无需专业动画人员，毫秒级即可完成动画资源生产落地案例：游戏动画|落地案例：游戏营销视频|视觉内容智能创作：像素级说话人脸视频合成|语音输入女性语音输入合成语音输入|1 Write-a-speaker:Text-based Emotional and Rhythmic Talki

3、ng-head Generation,AAAI 20212 Full-body Animation Generation for Expressive NPCs,Game Developers Conference(GDC)2021（审稿人满分）嘴唇参数合成|1.音素发音器官其实，真人发音时，口型“合成”也很困难相邻音素互相影响音素持续时间情绪状态及情绪强度嘴唇参数合成|1 Write-a-speaker:Text-based Emotional and Rhythmic Talking-head Generation,AAAI 20212 Full-body Animation Genera

4、tion for Expressive NPCs,Game Developers Conference(GDC)2021眉眼表情参数合成|1 Write-a-speaker:Text-based Emotional and Rhythmic Talking-head Generation,AAAI 20212 Full-body Animation Generation for Expressive NPCs,Game Developers Conference(GDC)2021特定人物的视频合成|1 Write-a-speaker:Text-based Emotional and Rhyth

5、mic Talking-head Generation,AAAI 20212 Full-body Animation Generation for Expressive NPCs,Game Developers Conference(GDC)2021特定人物的视频合成|1 Write-a-speaker:Text-based Emotional and Rhythmic Talking-head Generation,AAAI 20212 Full-body Animation Generation for Expressive NPCs,Game Developers Conference(

6、GDC)2021落地案例：虚拟偶像短视频|毫秒级自动合成全脸表情及全身动作落地案例：教育动画动画资源生产从此不是难题，让有道乐读的老师安心制作教案。寓教于乐，打造虚拟伴读IP-可可。在杭创新项目虚拟教师|ICCV2021和CVPR2022举办人脸表情感知国际挑战赛(ABAW)三个赛道中，网易伏羲虚拟人团队蝉联人脸表情动作单元（Action Unit,AU）检测，情绪识别（Categorical Emotions）两个赛道冠军，共获四项冠军一项亚军。该赛事专注于AI在人脸表情分析中的落地价值，全数据集采用真实非实验（