4、小鹏汽车（姜鸿雷）：面向AI2.0时代的智能座舱开发 - 外发.pdf

《4、小鹏汽车（姜鸿雷）：面向AI2.0时代的智能座舱开发 - 外发.pdf》由会员分享，可在线阅读，更多相关《4、小鹏汽车（姜鸿雷）：面向AI2.0时代的智能座舱开发 - 外发.pdf（47页珍藏版）》请在三个皮匠报告上搜索。

1、面向AI2.0的智能座舱开发2023-8-24 姜鸿雷2AI 进化史3智能座舱化主要交互能力语音能力：语音体验演进的核心准则和方向是直观、迅捷、无缝、灵活和情感化。视觉能力：当前主要应用在驾驶员监控系统、座舱监控系统、手势等人机交互的检测和识别中。音频能力：座舱音频技术的发展主要往拾音降噪、音质声效、主动降噪、空间音频方向演进。多模态交互阶段，方式逐渐拓展丰富，视觉、语音、触觉、生物识别及新上车的嗅觉交互相互结合，成就更精准、更便捷的交互体系，多方联动为用户打造车内覆盖全感官的沉浸式体验。4诸多挑战不同的模态之间可能存在差异和不一致性，如何对多模态数据进行有效融合、提取特征以及理解其含义是一个

2、关键问题。多模态数据的融合与理解由于多模态交互涉及多种输入输出方式，适应性差，开发者需要设计具有良好泛化能力的模型，以适应不同场景和用户需求。模型泛化能力在多模态交互过程中，如何实现不同模态间的同步与协调，以及如何处理同时出现的多个输入信号，是一个重要问题。多模态同步与协调多模态数据的获取和标注往往具有较高的难度和成本，这对构建高质量的训练数据集提出了挑战。无穷无尽的边缘场景。数据标注与获取多模态交互可能涉及用户的隐私信息，如语音、图像等。开发者需要考虑如何在保证交互体验的同时，确保用户的隐私安全。隐私与安全5基础模型(Foundation Models)基础模型可以集中来自各种模态的所有数据

3、的信息，然后这个统一模型可以适配各种下游任务。使用多种模态数据训练出基础模型，然后再微调应用到各种细分应用中去1.语言能力：基础模型可以处理自然语言，例如文本分类、情感分析、机器翻译等任务。2.视觉能力：基础模型可以处理图像和视频数据，例如图像分类、目标检测、人脸识别等任务。3.物理世界交互能力：基础模型可以控制机器人等物理设备与物理世界进行交互。4.推理和搜索能力：基础模型可以进行逻辑推理和搜索，例如问题回答、知识图谱构建等任务。5.人机交互能力：基础模型可以与人类进行自然的对话和交互，例如智能客服、虚拟助手等应用。6.自我监督学习能力：基础模型可以通过自我监督学习的方式从大量未标注数据中学

4、习知识和特征。6大模型+智能汽车ChatGPT的首发“上车”已经拉开了智能汽车领域大模型之争的序幕，但距离大模型带来的交互革命还有一段距离。7智能汽车上应用的挑战8芯片芯片系统级创新系统级创新在ISSCC 2023，AMD 提出系统级创新概念，即从整体设计的上下游多个环节协同设计来完成芯片性能的提升，并给出使用该概念实现数量级的效率提升案例。MI300X是针对大语言模型（LLM）专用的卡，包含12 个 5nm chiplets，1530亿个晶体管，192GB的HBM3内存，内存带宽达到5.2TB/s，Infinity Fabric带宽达到896GB/s。单芯片运行400亿参数大模型。将存算一体

5、、Chiplet（芯粒）、3D封装等技术同步使用，很有可能带来数量级的效率提升，从而突破性能瓶颈。具备了更大的有效算力、放置更多的参数、实现更高的能效比、更好的软件兼容性、从而抬高AI大算力芯片的发展天花板。9芯片级联芯片级联&外挂外挂AIAI芯片芯片芯片的算力需求快速增长和主机厂需求的差异化，将会使得车载芯片迭代周期和芯片开发周期出现失配，车载处理芯片迭代周期不能完全满足算力的需求增长速度和多样性，“芯片级联&外挂AI芯片”形态在未来几年内会是主要的智能座舱形态。10统一开发平台统一开发平台大多数OEM更喜欢用一个SoC平台覆盖从高到低不同的产品配置。车厂不想每个新的软件功能中都要使用不同的

6、开发环境。他们渴望统一的软件平台，在一个平台上设计从座舱到ADAS的各种应用。11AIAI芯片生态芯片生态高通Snapdragon Ride Flex平台。可以使用不同的芯片组合，可同时支持数字座舱、ADAS 和 AD 功能的功能开发。关键的是使用模块化、可编程的通用架构。MediaTek宣布与NVIDIA达成合作，打造集成NVIDIA GPU 芯粒的Dimensity Auto汽车平台，为软件定义汽车提供完整的AI智能座舱方案。提供了从入门到高端的完整解决方案，这对车厂来说真的是一个优势，因为他们可以在单一的堆栈上统一他们的软件开发工作。芯片公司建设AI生态将是非常重要的。高通在移动端领域拥