1、从大模型、智能体到复杂AI应用系统的构建以产业大脑为例肖俊肖俊浙江大学计算机学科与技术学院人工智能研究所浙江大学人工智能教育教学研究中心浙江大学计算机学科与技术学院人工智能研究所浙江大学人工智能教育教学研究中心2025.03 杭州杭州浙江大学DeepSeek系列专题线上公开课(第二季)提纲大模型推理能力快速提升大模型推理能力快速提升推理模型和思维链推理模型和思维链(CoT)智能体是什么?智能体是什么?四链融合产业大脑案例四链融合产业大脑案例大模型推理能力快速提升快速回望历史大模型的产生2022年GPT-1GPT-2GPT-3InstructGPTChatGPTT5BARTM2m-100BigB
2、irdBERTRoBERTaXLMALBERTELECTRAMachine Learning基于规则的少量数据处理1950年开始1980年开始1990年开始;2006年获得突破2017年2018年2019年2020年基于模板和规则的前深度学习阶段根据一定范围的数据进行参数分类开始模仿人脑进行大量数据的标记和训练对人脑学习过程进行重点关注进行海量数据学习训练,人类的反馈信息成为模型学习的内容ChatGPT所能实现的人类意图,来自于机器学习、神经网络以及Transformer模型的多种技术模型积累神经网络CNNRNN GANChatGPT经过多类技术积累,最终形成针对人类反馈信息学习的大规模预训练
3、语言模型Transformer里程碑:ChatGPT的成功OpenAI 公司于2022年11月发布ChatGPT,短短三个月内日活跃用户从零增长至超过 3000 万,标志着对话式 AI 进入大众应用阶段三阶段训练技术构建GPT 3.5ChatGPT 日活量(2022.11-2023.02)里程碑:ChatGPT的成功AI 1.0时代AI 2.0时代辨别式AI对现有内容进行分析、分类、判断、预测分类回归聚类图像分类客户分群文本分类信用评估新闻聚类广告定向社区发现客户流失预测专用人工智能一事一模型,每个模型完成特定智能任务解决特定的智能问题生成式AI 自动生成开放的文本、图像、音频、视频等内容文本
4、生成文章报告问答内容视频生成短视频片段广告视频语音生成语音与对话影视与广告代码生成样例代码测试用例图像生成人像写真广告图片多模态生成文生图文生视频相对通用的人工智能一个大模型解决多个问题自适应地应对复杂外界环境的挑战房价预测销量预测大模型能力不断增长大模型在知识问答、数学、编程等能力上达到新的高度,多种任务上的表现超过人类水平。大模型发展迅速,参数量从百亿到万亿规模10 Billion1000 BillionSource:https:/lifearchitect.ai/timeline/大模型能力涌现,多个任务上性能超越人类水平Multi-task Language Understanding
5、 on MMLUSource:https:/ LeCun的批判观点:对纯粹扩大规模方法的根本质疑Mehrdad Farajtabar:LLM本质上是统计模式匹配工具,而非真正的推理系统、下一个词预测框架不足以产生真正的理解Yann LeCun:自回归大型语言模型没有前途Apple提出LLM并非真正的推理系统横空出世:OpenAI o1/o3、DeepSeek-R1等2023-2024年,推理能力突破性进展:OpenAI o1/o3在数学和代码推理任务上的卓越表现开源大模型DeepSeek-R1在MATH基准上达到87.2%的准确率o1在数学和代码问题上的水平大幅提升,超越人类专家开源大模型De
6、epSeek R1匹敌OpenAI o1横空出世:OpenAI o1/o3、DeepSeek-R1等2023-2024年,推理能力突破性进展:OpenAI o1/o3在数学和代码推理任务上的卓越表现开源大模型DeepSeek-R1在MATH基准上达到87.2%的准确率DeepSeek的“aha moment”这种深度推理能力是如何实现的?是单纯的规模扩展结果,还是有其他关键因素?小结一:1.早期的大模型推理能力不足2.OpenAI-o系列模型和DeepSeek-R1等胜在推理能力较强推理模型和思维链(Chain of Thought,CoT)推理大模型的发展2024.112024.092025