【上海交通大学应忍冬】大模型浪潮下的电子信息教学探讨.pdf

《【上海交通大学应忍冬】大模型浪潮下的电子信息教学探讨.pdf》由会员分享，可在线阅读，更多相关《【上海交通大学应忍冬】大模型浪潮下的电子信息教学探讨.pdf（44页珍藏版）》请在三个皮匠报告上搜索。

1、大模型浪潮下的电子信息教学探讨应忍冬上海交通大学类脑智能应用与技术中心内容概要 大模型时代改变了AI认知方法 大模型技术拓展了教学内容 AI神经网络蓬勃发展下的嵌入式系统教学信息领域技术正在经历AI的变革 80486的时代32b总线、100MHz主频 2小时的神经网络训练，如果没有效果，就不再坚持信息领域技术正在经历AI的变革 现代GPU 1秒的训练 过去1小时的训练为期1周的GPU集群训练成为常规AI语言模型1995 ALICEArtificial Linguistic Internet Computer Entity 逻辑结构简单 对话“精炼”容易“聊死”AI语言模型2023 ChatGP

2、T 段落式的对话 有一定逻辑结构 内容的信息量不足AI智能的涌现系统中个体间预设的简单互动行为所造就的无法预知的复杂样态的现象涌现：从混沌到秩序约翰霍兰，“涌现”理论的主要奠基人AI智能的涌现蚂蚁个体头脑简单、没有欲望，没有计划蚁群集体分工协作，多样化的“社会”行为真菌农场、蜜蚜虫“饲养”、蚁巢建设、协作搬运食物、协作捕猎、不同种族蚁群战争对于AI的认知方法改变白盒灰盒黑盒对于AI的认知方法改变白盒灰盒黑盒对于AI的认知方法改变白盒灰盒黑盒局部视野的分析方法面临挑战 面向单一神经元行为的分析 面向低维度代价函数的分析 面向浅层神经网络非线性特性的分析对于AI的认知方法改变白盒灰盒黑盒 端对端的

3、视角神经网络的(损失)代价函数选择和设计成为理论的关注终点 概率/统计/信息论的视角神经网络的节点的统计模型成为分析关注内容对于AI的认知方法改变白盒灰盒黑盒基于神经网络的AI教学挑战精确定量的数学模型方向传播方程、各个算子原理线性化解释宏观的定性的分析海量参数神经网络架构设计训练过程中损失函数的宏观变化规律超参数调整?未知的中间地带AI大模型时代改变了认知方法多样性的大自然观察、归纳、假设、模型验证、数学化推广人造的AI“黑盒”是从源头出发，以逐步推导方式理解他，还是反过来，以认识自然的方式理解它？对于AI的认知方法改变 曾经的重点内容被新加入的信息所“挤压”需要我们思考，如何在培养学生扎实

4、的基本功 和 培养创新探索/尝试未知/快速响应前沿科技 这两方面能力上平衡和取舍内容概要 大模型时代改变了AI认知方法 大模型技术拓展了教学内容 AI神经网络蓬勃发展下的嵌入式系统教学大模型时代拓展了教学内容小模型看结构 大模型看架构训练模式 小模型：数据集中/参数同步/局部小集群计算性能为单一优化指标 大模型：数据分布/参数异步/大规模集群计算训练时间/总能耗/经费预算/性能联合优化推理模式 小模型：单一服务对象/单任务、单一运算流端侧推理、端侧模型参数推理数据和计算模型合并 大模型：多个服务对象/并行多任务、多运算流远程推理、服务端模型参数推理任务和计算模型分离数据科学和管理科学的融合，运

5、筹学和统计优化相互合作工程化的AI大模型GPT4 规模：120层网络、1.5万亿参数、16个“专家”模型，每个111B参数 训练时间：25,000 个 A100 GPU，100 天 训练运算量：2.15 1025FLOPS。推理运算量：560 TFLOP 训练成本：6300万美元（不考虑数据标注成本）大模型时代拓展了教学内容 训练函数设计 融合概率统计的模型解释 优化理论信息处理技术、统计分析技术 极高算力大规模分布式计算 计算可靠性问题 工程规划和优化理论 AI大模型的行为/能力边界分析 AI模型的社会影响/道德伦理分析AI成为人的信息交互、思维交流和陪伴规模化、“工业化”AI系统构建技术A

6、I与社会互动的影响分析AI作为个人的工具的设计开发“工业化”的AI“生产”技术大模型时代改变了教与学的关系AI作为被教学对象，本身也会成为教学资源的贡献者 AI教学可行吗？AI教学的内容可信吗？AI教学对学生认知模式有怎样的影响？学生为成为未来的AI构建者，AI教学间接成为AI构建AI的进化链它的未来走向是怎样的？软件学习AI生成代码例程英语教学AI批改英语作文考卷内容概要 大模型时代改变了AI认知方法 大模型技术拓展了教学内容 AI神经网络蓬勃发展下的嵌入式系统教学嵌入式系统教学传统嵌入式系统是低功耗、低运算量、高可靠性、高实时性嵌入式系统教学 越来越多的嵌入式系统面临AI计算的要求 将AI