大语言模型对汽车行业的影响和实践探索_分享版.pdf

《大语言模型对汽车行业的影响和实践探索_分享版.pdf》由会员分享，可在线阅读，更多相关《大语言模型对汽车行业的影响和实践探索_分享版.pdf（28页珍藏版）》请在三个皮匠报告上搜索。

1、DataFunSummitDataFunSummit#20232023大语言模型对汽车行业的大语言模型对汽车行业的影响和实践探索影响和实践探索林琳某汽车集团数据挖掘&人工智能主任专家个人介绍2011年毕业于复旦大学基础数学专业现在某汽车集团担任数据挖掘&人工智能主任专家12年+汽车行业数据分析经验专注于运筹优化、机器学习、大语言模型相关技术的应用落地。大语言模型（大语言模型（LLMLLM）简介）简介LLMLLM对汽车行业的影响对汽车行业的影响LLMLLM的的实践探索实践探索数据分析人员能力要求数据分析人员能力要求目录目录 CONTENTCONTENTDataFunSummitDataFunSu

2、mmit#202320230101大语言模型简介大语言模型简介2012年后人工智能技术发展情况2012AlexNet获得2012年ImageNet图像分类大赛的冠军AlphaGo基于游戏反馈的强化学习Transformer基于注意力机制的自监督学习GPT1/Bert大模型+微调GPT2/GPT3/InstructGPTChatGPTGPT4有监督学习自监督学习+通用大模型+微调自监督学习+通用大模型+提示词20172022T TransformerransformerP Pre-trainedre-trained主要痛点：(自然语言处理场景举例：翻译)长期记忆遗忘长期记忆遗忘：句子很长之后就会

3、出现梯度消失梯度消失的问题无法并行无法并行:这种固有的顺序计算性质导致无法并行化，这在序列长度较长时并行化变得至关重要标注数标注数据获取成本高据获取成本高https:/ Short-Term Memory循环神经网络（RNN）、长短期记忆网络（LSTM）和门控循环神经网已经被确立为序列建模和转化问题中的最先进方法。主流的序列转换模型通常基于复杂的循环神经网络或卷积神经网络，包括编码器和解码器。最好的模型通过注意力机制连接编码器和解码器大语言模型之前 解决NLP问题的痛点Google 2017年提出了一种简单的网络结构Transformer，它仅基于注意力机制注意力机制，完全摒弃了循环和卷积。在

4、两个机器翻译任务上的实验证明，这些模型的质量更高，更可并行化可并行化，并且需要的训练时间显著减少。注意注意力函数力函数可以被描述为将查询向量和一组键值对映射到一个输出向量。输出向量是值向量的加权求和，每个值向量的权重是由查询向量和对应键向量之间的兼容性函数计算得出的。Attention Is All You Needhttps:/arxiv.org/abs/1706.03762v3https:/ 网络结构https:/ 网络结构：并行化、自监督学习2012AlexNet获得2012年ImageNet图像分类大赛的冠军AlphaGo基于游戏反馈的强化学习Transformer基于注意力机制的自监

5、督学习GPT1/Bert大模型+微调GPT2/GPT3/InstructGPTChatGPTGPT4有监督学习自监督学习+通用大模型+微调自监督学习+通用大模型+提示词20172022名词解释：名词解释：G Generativeenerative名词解释：名词解释：P Pre-trainedre-trained名词解释：名词解释：T Transformerransformer2012年后人工智能技术发展情况预训练模型预训练模型是一个通过大量数据上进行训练并被保存下来的网络。通俗理解：前人为了解决类似问题所创造出来的一个模型，有了前人的模型，当我们遇到新的问题时，便不再需要从零开始训练新模型，而

6、可以直接用这个模型入手，进行简单的学习便可解决该新问题。预训练模型Decoder only 预训练模型Encoder only 预训练模型https:/ 预训练模型BART(Bidirectional and Auto-Regressive Transformers)基于transformer 的 Pre-train 预训练模型Harnessing the Power of LLMs in Practice:A Survey on ChatGPT and Beyondhttps:/arxiv.org/pdf/2304.13712.pdfTRANSFORMER MODELS:AN INTRODU

7、CTION AND CATALOGhttps:/arxiv.org/pdf/2302.07730.pdftransformer family有监督学习-无监督学习 可控 多模态GPT系列模型演进图片摘自DataFun公开课 邓亚峰老师的AIGC前沿进展及其在生命科学领域应用展望预训练有监督微调奖励建模强化学习大语言模型的训练范式DataFunSummitDataFunSummit#202320230202大语言模型对汽车行业的影响大语言模型对汽车行业的影响大模型的生态生态一：以OpenAI的ChatGPT为代表闭源、提供API服务GPT3.5、GPT4（多模态大模型）生态二：以Meta的LLa

8、MA为代表开源以LLaMA、LLaMA2为基础模型Alpaca、vicuna、codellama、toolllama等生态三：国内大模型文心一言（百度）、日日新（商汤）、云雀（抖音）、ChatGLM（智谱AI）、Baichuan（百川智能）、ABAB大模型(MiniMax)、紫东太初（中科院）书生通用大模型（上海人工智能实验室）等以上是2023年8月31日首批通过生成式人工智能服务管理暂行办法备案的大模型，可向社会公众开放。2023年7月Meta开源可商用LLaMA2最高700亿参数大模型，引爆国内外大语言模型开源社区。大语言模型所具有的能力理解能力生成能力规划能力评估能力重点应用场景语音助手

9、与车载娱乐销售与市场营销企业内部知识服务客户支持与售后车辆设计与系统研发自动驾驶技术DataFunSummitDataFunSummit#202320230303大语言模型的实践探索大语言模型的实践探索大语言模型的实践探索分类语言理解（情感分类、情绪识别、文章分类、关键词提取等）语言生成（标题生成、摘要生成、相似问改写、智能创作等）机器翻译（文本翻译、自然语言生成代码）类别类别尝试的尝试的AIAI应用应用尝试的尝试的方案方案具备的功能具备的功能问答机器人FAQ问答LLM-13b+RAGFAQ问答长文本问答LLM-13b+RAG长文档问答传统NLP任务文本分类LLM-13b、14b、72b通过f

10、ew-shots、prompt生成文本标签报告总结LLM-13b、14b、72b对报告中的内容总结，生成摘要AI Agent自然语言查询数据库LLM+DBGPT通过自然语言查询数据库各种任务链ASR+LLM+Tools语音或文本输入，进行查询、分析，自动输出结果。FAQ问答机器人的一般方案和难点（方案一）https:/ 通过RAG+LLM结合，可以提升FAQ智能问答场景的准确率 总体效果与召回数据的相关性、大模型的理解能力有关DataFunSummitDataFunSummit#202320230404数据分析人员能力要求数据分析人员能力要求当前大语言模型可在项目实施过程中发挥的作用 提供需求灵感 辅助编写文档 润色需求 提取关键需求信息 设计原型 辅助文档审核DefineDefineConstructConstructTestTest 辅助代码生成 补充代码注释 不同开发语言之间代码翻译 代码审核 开发框架设计和生成 生成test case 测试文档编写 Bug修复对数据分析人员能力的要求问题定义和分解能力对代码质量的辨别能力对代码的测试和诊断能力Prompt工程能力（提要求的能力）对LLM的评估和评价能力算力和资源评估能力特定场景选择合适方案的能力总结 大语言模型的原理 大语言模型的特点 汽车行业的应用场景 大语言模型的实践探索 LLM对数据分析人员的能力要求感谢观看感谢观看