8 范青 基于多模态算法的智能车舱内容创作新体验.pdf

1、基于多模态算法的智能车舱内容创作新体验The Moment SDKEditable Location1.场景&用户价值&使用流程2.整体架构图3.特效及音乐生成对于车载内容多样性的提升4.画质算法解决基础画质问题5.标签端云协同，理解车载视频内容并加强内容合规性6.算法优化方案及平台适配内容结构社媒洞察&用户价值“为什么不用手机拍呢”“可以解不代表最优解”成片推送高光片段推送自动打标签/脱敏高光主动抓拍画质优化DVR后排摄像头无人机手机车端SOC（实时20fps+20fps+）车机端or手机or云端（非实时/不隔天）多模态模型AIGC特效音乐推荐/生成具体场景User Flow（车机相册）前排

2、摄像头行程开始选模板or自动行驶过程自动拍停车驻车自动剪行程结束成片全量视频管理公域/私域流量100万+模板音乐特效设计师生产工具场景应用模板特效特效&音频引擎基础算法车主营销路书DVR相册节日日常电影出游未来主题活动2D、3D渲染粒子骨骼动画物理引擎光照模拟音乐音效人像人体内容理解画质算法安全合规多模态理解生成音频技术方案整体架构图特效&音乐对于车载内容多样性的提升截止分享日期，线上模板特效共计130万+画质算法解决基础画质问题智能场景感知：感知白天，夜晚，高动态等拍摄环境，控制相机。智能画质分析：分析画质问题自动调度算法，如清晰度，亮度，色彩，噪声。美观度调节：可根据视频的应用场景自动调节

3、效果如流畅度，色调等维度。拍摄控制：包括畸变矫正，防抖，曝光及白平衡控制。基础画质增强：包括HDR增强，夜景暗光增强，超分锐化等细节增强。自动美化处理：包括色彩等一些列维度，使得画面更适合用户观赏，符合喜好。moment场景场景模版风格Tag关联模板城市通勤车外摄像头场景覆盖内容为周边游及通勤，主打文艺简洁“轻松”商业街、商场、街道、汽车、车流、晚会、演唱会、摩天轮、摩托车、自行车、高铁、吉他、火车、飞机、马路、骑行城市通勤标签算法理解内容目的：基于深度学习方法，识别图片/视频中的目标内容，为高光剪辑、快速定位内容、一键成片业务进行原始能力提供。业务场景：高光剪辑、长视频内容定位、一键成片输入

4、：一张RGB图片或者一段RGB视频。输出：单图标签业务难点：车载有价值标签定义、特定场景下精度、端上算法与云上算法分配、纯离线算法sdk备注：该能力上限较高，结合多模态大模型对视频内容的理解，可以通过理解用户情绪，提取更有价值的高光时刻算法优化方案及平台适配端云算法部署选择结合场景需求，选择适合部署在云上的算法适合部署在端上的算法核心更新逻辑 Agame:onUpdate检测图片上传或者点击事件结束之后打开人脸检测，背景分割和角点检测功能算法系统设置输入检测纹理拿到人脸，背景分割，和角点结果关闭端上算法检测构造请求，将请求发送到aigc服务器根据性别等内容更新请求体，一共申请从服务端接受8张图

5、。拿到结果，根据结果开始blend，在这个过程中，增加一些渐变的效果，让切换更加平滑。算法优化方案及平台适配端上实时算法要求理解业务目标，确认必须要实时的算法硬件环境：高通SA8155车机平台系统环境：QNX Hypervisor+Android系统架构算法版本：BD_DM_2.0算法优化方案及平台适配端上算法性能提升建立生态合作关系，优先选择覆盖率高的芯片进行优化。选择适合放在协处理器的算法，或做大模型，获取更高迁移收益，减少数据拷贝及转换cost算法优化方案及平台适配模型精度问题实景采集成本优化、客户反馈多轮打磨不同平台量化适配精度调优未来已来AR HUD智能车舱软件生态定义下的全新场景，比如社交以车为原点扩展影像记录半径，无人机、ar、vr等