牛建伟- 蔚来座舱多模态大模型的应用实践.pdf

1、蔚来座舱多模态大模型的应用实践演讲人：牛建伟蔚来文字建议文字建议为保证文件兼容性，如无特殊情况，请勿使用其他艺术字体字体正文字号：12通常演示文稿业务汇报文件中的文本较多，12号的字体可以展现更多的内容；且演示文稿的使用场景为桌面端、受众年龄适中，为呈现更好的阅读体验，正文应慎重使用更大字号小标题：18字号标题字号：28使用专有的英文字体可以使版面更加美观，可以让强调的英文&数字细节显示更优美，经得起放大细看考虑到工作效率，非重要的文件无需考虑此项，而对文本中的英文数字单独设置字体。中文字体：微软雅黑英文&数字字体Arial善用格式刷，快速出效果TIPS：*可以多使用8为尾数的字号，如：18、

2、28、48、68，方便记忆，统一字号01010202030304040505目录蔚来多模态大模型的价值定位多模态大模型整体方案视觉模态模型技术实践听觉模态模型的技术实践端侧部署方案MLLM在蔚来座舱中的定位 多模态大模型多模态大模型是智能座舱是智能座舱3.0的底层核心技术之一，也是蔚来智能座舱塑造差异化的重要方向的底层核心技术之一，也是蔚来智能座舱塑造差异化的重要方向20152020202020252025V1.0网联化V2.0科技化V3.0智能化 小屏-GUI交互 多媒体内容触达 基础基础语音交互上车语音交互上车 大屏多屏交互 完善的语音交互系统 基础舱内视觉感知能力上车基础舱内视觉感知能力

3、上车OMS/DMS/OMS/DMS/手势手势/守卫模式守卫模式 AR-HUD AR-HUD+后排屏成标配后排屏成标配 基于基于MLLMMLLM的自然人机交互的自然人机交互 联通车内外的多模态感知能力联通车内外的多模态感知能力MLLM在蔚来座舱中的定位 多模态大模型是支撑主动安全、主动个性化交互以及智能数字空间等体系功能的核心深度整合语音、视觉、车身信息，为用户提供更主动和个性化的交互方式，实现贴心自然的交互体验 自然主动交互NoMi基于多模态大模型将多Sensor感知融合，打造集高可靠性和高用户体验的主动安全功能结合用户多维信息和舱内3D空间全感知能力，基于多模态大模型围绕场景感知和决策，构建

4、有关怀的智能座舱空间主动安全保障智能数字空间懂我伴侣DMS/OMS/守卫多模态大模型多模态大模型蔚来MLLM的技术路径 根据团队的技术现状和资源，我们采用了视觉大模型和语音多语言大模型各自推进，最终实现音视觉完全融合的技术路径。从业务角度出发，侧重于车端本地多模态大模型的技术方向，以满足响应速度、复杂路况、用户隐私保护等多方面要求。蔚来MLLM的功能展示 赋予语音助手NOMI感知车舱内外的眼睛，让NOMI看得见、认得出、有记忆、会推理 将哨兵模式记录的各种视频事件总结，生成车辆驻留期间的记录报告，便于车主查询主动感知-打招呼、问候多模交互-语音手势互动情景智能-自适应阅读灯车辆哨兵模式的视频总

5、结：一位穿着橙色反光背心的男士，手持扫帚簸箕在爱车前方打扫卫生。视觉模态技术实践视觉模态模型的技术实践-模型方案 以多元视觉模型为核心，利用大语言模型的通识能力，充分挖掘视觉模态模型的感知和理解潜力：通用视觉编码器-理解通用视觉概念、进行高维语义抽象 OCR视觉编码器-理解视觉文本内容、增强细小物体特征 多尺度特征融合-引入视觉先验知识、多维特征自适应增强 动态Token压缩 -冗余视觉信息消除、挖掘有效视觉上下文 大语言模型-充分利用LLM的理解、推理和涌现能力 模型以不同大小图像、不同长度视频和文本作为输入，以统一的文本形式作为输出。视觉模态模型的技术实践-训练流程 三阶段训练：1）多模态

6、预训练；2）多模态监督微调；3）多模态偏好对齐；Step1:预训练阶段对齐视觉语言模态的隐特征空间。Step2:监督微调阶段利用LLM增强视觉概念的理解和视觉语义的推理。Step3:偏好对齐阶段针对特定场景的输出对齐并消除视觉模态的幻觉。训练模块：多元视觉编码器多尺度特征融合模块动态Token压缩模块训练模块：多元视觉编码器多尺度特征融合模块动态Token压缩模块双语大语言模型训练模块：多尺度特征融合模块动态Token压缩模块双语大语言模型视觉模态模型的技术实践-数据构建 对于不同的训练阶段，需要针对性地构建不同任务、不同配比、不同格式、不同指令的训练数据。以视觉详细描述为例，NIO的构建流程