《创新体验 - 1 - 斐兮_慎思 - 如何在支付宝做亚运数字火炬手.pdf》由会员分享,可在线阅读,更多相关《创新体验 - 1 - 斐兮_慎思 - 如何在支付宝做亚运数字火炬手.pdf(51页珍藏版)》请在三个皮匠报告上搜索。
1、从0到1个亿 聊聊如何在付宝上传递亚运炬斐兮 慎思录1.亚运数字炬的业务场景 2.数字的核能 3.临的技术挑战 4.如何Galacean搞定3D开发亚运时间线炬接传递捏脸换装线上炬传递现场点数字炬愿景欢迎全球的亚运数字炬们共同参与到数字点仪式中来数字炬愿景捏脸换装动作多场景联动欢迎全球的亚运数字炬们共同参与到数字点仪式中来数字炬核能捏脸换装动作多场景联动千千的1套炬服 +10套运动服对应的动作基础能建设捏脸业务诉求个性化的捏脸拓展性强制作成本低捏脸BS骼业内案捏脸骼BS负责表情动画,骼负责捏脸供应商开发成本低,可以复现有DCC具的作流不会引过多的定制逻辑,数据以animations的形式存在g
2、lTF中捏脸功能丰富,但没虽然提供了36种骼可供调整但90%的户都的默认脸型AI捏脸010203获取脸图量脸数据与预设好的五官进匹配训练算法模型做属性预测映射成96个点+结构化数据有限集预测AI捏脸量脸数据与预设好的五官进匹配训练算法模型做属性预测初级阶段属性预测有限集01绕不开的问题:3D-2D02中级阶段属性预测有限集算法差值AI捏脸量脸数据与预设好的五官进匹配训练算法模型做属性预测初级阶段属性预测有限集0102中级阶段属性预测有限集算法差值03级阶段AIGC做格化处理 再属性预测替换节点骼重新绑定替换材质010203换装替换节点骼重新绑定替换材质数字服010203换装替换节点骼重新绑定替
3、换材质010203换装替换节点骼重新绑定替换材质010203换装动画供应商产出动作捕捉骼重定向123动画供应商产出供应商制作FBX件glTF/glb分发&消费Editor交付导配置动画动作捕捉纯视觉算法专业动捕设备+阵列相机动画动作捕捉纯视觉算法适合实时驱动对精度要求不的场景动画动作捕捉离线成对精度要求较的场景专业动捕设备+阵列相机动画骼重定向付宝B端数字开源动作库:mixamoH5 3DH5 2DH5 3D程序 3DH5 3D程序 2D基础能建设这些场景都有个特点:H5 3DH5 2DH5 3D程序 3DH5 3D程序 2D基础能建设这些场景都有个特点:完全不相同H5 3DH5 2DH5 3
4、D程序 3DH5 3D程序 2D基础能建设不限制技术栈:H5、程序不限制机型:端云协同渲染不限制形态:3D场景、2D场景基础能建设能矩阵千千的形象如何维护?怎么覆盖线上所有户?基模户的形象描述件 JSON V1.0 案标准接成本加载必要件千千的形象如何维护?基模的glTF户的形象户的装扮V2.0 案glTF标准接成本低只加载必要资源维护成本更低合成替换千千的形象如何维护?千千的形象如何维护?V2.0 案glTF标准接成本低只加载必要资源维护成本更低V2.0 案glTF标准接成本低只加载必要资源维护成本更低成的时机?千千的形象如何维护?glTF优势更的缓存命中率 单件请求更,成功率更 问题排查效
5、率更劣势增加请求数量 总资源更,对冷启动不友好为什么不glb呢?理论上glbglTF33%左右怎么覆盖线上所有户?3D=耗电、发热、卡顿端渲染低端机不可,云渲染太贵怎么覆盖线上所有户?端渲染云渲染端云协同渲染:低端尾机型云渲染覆盖 95%端渲染+5%云渲染=100%全机型覆盖怎么覆盖线上所有户?成本收益业务层和互动层隔离事件通信对于异步流程控制不友好云端容器开发成本更低更轻量的运时,更的负载不限制技术栈最的挑战对于个未接触过3D业务的前端开发者来说,开发成本太了为什么3D应开发成本?业务接成本素材产成本功能复杂,验证作量业务接成本性能优化可视化跨平台离线具代码编写图形技术资产管理业务接素材产成
6、本材质动画,TTSA骼、BSMesh功能复杂,验证作量材质2D纹理相机光照粒格后处理雾化阴影IBL交互系统PhysX控制器渲染何物理其他骼碰撞器控制器物理约束渲染器BS解决案-Galacean 编辑器基于 Galacean 编辑器制作数字数字编辑功能组件234材质调节数字交互实体-组件系统,可以在任意实体下,绑定动画、物理、粒等各种组件通过材质板或者材质插件,灵活地次编辑材质资产通过脚本和事件系统,在线编写和调试脚本代码,实现数字交互,业务通信光照调节1合理设置直接光、全局光