1、|快虚拟世界互动平台及解决案快虚拟世界互动平台及解决案万鹏飞快手Y-tech AI技术中心负责人1|1.1.背景与现状背景与现状2.平台案:快虚拟世界互动平台(KMIP)3.软件案:3.1 快虚拟演播助(KVS)3.2 快捕助(KFC)4.项案例5.总结与展望2|背景与现状Roblox游戏Zepeto具&社交3虚拟世界互动:在虚拟空间中进沉浸式的多(数字or真)互动(社交、游戏、展览等)。|背景与现状Rival Peak开放剧情腾讯乐娱乐4|百度希壤营销背景与现状易瑶台展会5|云蹦迪虚拟世界互动应开始在直播间中涌现,前常的形态有云蹦迪,互动游戏、演唱会等三个特点:户友好,形式灵活,迭代迅速演唱
2、会直播互动游戏背景与现状6|快技术案软件平台快虚拟世界互动平台(KMIP)快虚拟演播助(KVS)快APP快捕助(KFC)7|1.背景与现状2.2.平台案:快虚拟世界互动平台(平台案:快虚拟世界互动平台(KMIPKMIP)3.软件案:3.1 快虚拟演播助(KVS)3.2 快捕助(KFC)4.项案例5.总结与展望8|快虚拟世界互动平台Kuaishou Metaverse Interaction Platform(KMIP)9PC软件/App/H5KMIP SDK主播/观众信令/视频接层计算层智能调度鉴权AI引擎端云协同视觉技术语技术基础层研云平台络CPU/GPU存储三云平台图形引擎物理引擎渲染引擎
3、资产库3D模型动作库交互信号视频RTC实时推流向户的软件KMIP|快虚拟世界互动平台!#$%&()*+,-+./0123456789:;/?ABC&DE+FG+HI+JK:0!2LMNOLMPQLMPRS#QTULM(!2VW&(XYZ_abc?deYefUg&hijk!YUg5lm+lnYopVKuaishou Metaverse Interaction Platform(KMIP)10|1.背景与现状2.平台案:快虚拟世界互动平台(KMIP)3.软件案:3.13.1 快虚拟演播助(快虚拟演播助(KVSKVS)3.2 快捕助(KFC)4.项案例5.总结与展望11|快虚拟演播助(快虚拟演播
4、助(KVSKVS)Kuaishou Virtual Studio12KVS是款向PGC的数字驱动及开播具。集成3D数字和场景的站式能、提供丰富的特效玩法、持多平台推流直播。快虚拟演播助(快虚拟演播助(KVSKVS)架构)架构13直播电商虚拟表情驱动智能娱虚拟拍摄绿幕抠像及光影融合虚拟语驱动业务场景虚拟肢体驱动互动特效能层多机位运镜虚拟世界互动动作捕捉硬件适配消息响应MVC框架UI分层适应交互层中间件及基础层渲染引擎物理引擎AI引擎传感器信号采集及融合视频处理、压缩和传输素材资源管理登陆中台、素材中台、埋点统计中台虚拟摄像头模式|1.背景与现状2.平台案:快虚拟世界互动平台(KMIP)3.软件案
5、:3.1 快虚拟演播助(KVS)3.23.2 快捕助(快捕助(KFCKFC)4.项案例5.总结与展望14|快捕助(快捕助(KFCKFC)Kuaishou Face Catcher15KFC是款向UGC的数字驱动及直播具。仅需个普通的摄像头即可实现部、肢体、部的动作捕捉与驱动;拥有丰富的预置模型,持DIY捏脸,以及Live2D、VRM模型导等。快捕助(快捕助(KFCKFC)架构)架构16虚拟表情驱动虚拟主播(娱乐、游戏等)虚拟拼脸及DIY虚拟语驱动业务场景虚拟肢体驱动互动特效能层中间件及基础层从PSD原画重建虚拟场景及挂件虚拟世界互动消息通知进程间通信MVC框架UI分层适应交互层挂件模式渲染引擎
6、物理引擎AI引擎传感器信号采集及融合视频处理、压缩和传输素材资源管理登陆中台、素材中台、埋点统计中台|1.背景与现状2.平台案:快虚拟世界互动平台(KMIP)3.软件案:3.1 快虚拟演播助(KVS)3.2 快捕助(KFC)4.4.项案例项案例5.总结与展望17|项案例:主播与主播互动场景项案例:主播与主播互动场景多个虚拟主播同屏直播互动18|项案例:主播与观众互动场景项案例:主播与观众互动场景虚拟主播+真主播+观众虚拟化云蹦迪虚拟IP+观众虚拟化 演唱会19真IP+观众虚拟