中国人工智能学会：中国人工智能系列白皮书大模型技术2023版（121页）.pdf

1、 中国人工智能系列白皮书中国人工智能系列白皮书 大模型技术大模型技术（2023 版版）中国人工智能学会中国人工智能学会 二二二二三三年年九九月月 1 中国人工智能系列白皮书编委会中国人工智能系列白皮书编委会 主 任：戴琼海 执行主任：王国胤 副 主 任：陈 杰 何 友 刘成林 刘 宏 孙富春 王恩东 王文博 赵春江 周志华 委 员：班晓娟 曹 鹏 陈 纯 陈松灿 邓伟文 董振江 杜军平 付宜利 古天龙 桂卫华 何 清 胡国平 黄河燕 季向阳 贾英民 焦李成 李 斌 刘 民 刘庆峰 刘增良 鲁华祥 马华东 苗夺谦 潘 纲 朴松昊 钱 锋 乔俊飞 孙长银 孙茂松 陶建华 王卫宁 王熙照 王 轩 王

2、蕴红 吾守尔斯拉木 吴晓蓓 杨放春 于 剑 岳 东 张小川 张学工 张 毅 章 毅 周国栋 周鸿祎 周建设 周 杰 祝烈煌 庄越挺 中国人工智能系列白皮书中国人工智能系列白皮书-大模型技术编写组大模型技术编写组 陶建华 吴 飞 黄民烈 文继荣 王海峰 刘知远 刘 静 杨小康 聂 帅 2 目录 第 1 章 大模型技术概述.5 1.1 大模型技术的发展历程.5 1.2 大模型技术的生态发展.9 1.3 大模型技术的风险与挑战.11 第 2 章 语言大模型技术.13 2.1 Transformer 架构.13 2.2 语言大模型架构.17 2.2.1 掩码语言建模.17 2.2.2 自回归语言建模.

3、18 2.2.3 序列到序列建模.18 2.3 语言大模型关键技术.19 2.3.1 语言大模型的预训练.19 2.3.2 语言大模型的适配微调.21 2.3.3 语言大模型的提示学习.24 2.3.4 语言大模型的知识增强.26 2.4.5 语言大模型的工具学习.27 第 3 章 多模态大模型技术.29 3.1 多模态大模型的技术体系.29 3.1.1 面向理解任务的多模态大模型.29 3.1.2 面向生成任务的多模态大模型.31 3.1.3 兼顾理解和生成任务的多模态大模型.33 3.1.4 知识增强的多模态大模型.35 3.2 多模态大模型的关键技术.36 3.2.1 多模态大模型的网络

4、结构设计.36 3 3.2.2 多模态大模型的自监督学习优化.37 3.2.3 多模态大模型的下游任务微调适配.39 第 4 章 大模型技术生态.41 4.1 典型大模型平台.41 4.2 典型开源大模型.44 4.2.1 典型开源语言大模型.44 4.2.2 典型开源多模态大模型.53 4.3 典型开源框架与工具.57 4.4 大模型的训练数据.60 4.4.1 大模型的训练数据处理流程和特点.60 4.4.2 大模型常用的公开数据集.63 第 5 章 大模型的开发训练与推理部署.66 5.1 大模型开发与训练.66 5.2 大模型推理部署.68 5.2.1 大模型压缩.69 5.2.2 大

5、模型推理与服务部署.70 5.3 软硬件适配与协同优化.71 5.3.1 大模型的软硬件适配.72 5.3.2 大模型的软硬件协同优化.72 第 6 章 大模型应用.74 6.1 信息检索.74 6.2 新闻媒体.75 6.3 智慧城市.76 6.4 生物科技.76 6.5 智慧办公.77 6.6 影视制作.78 6.7 智能教育.78 4 6.8 智慧金融.79 6.9 智慧医疗.79 6.10 智慧工厂.79 6.11 生活服务.80 6.12 智能机器人.80 6.13 其他应用.80 第 7 章 大模型的安全性.82 7.1 大模型安全风险引发全球广泛关注.82 7.2 大模型安全治理

6、的政策法规和标准规范.83 7.3 大模型安全风险的具体表现.85 7.3.1 大模型自身的安全风险.85 7.3.2 大模型在应用中衍生的安全风险.86 7.4 大模型安全研究关键技术.88 7.4.1 大模型的安全对齐技术.88 7.4.2 大模型安全性评测技术.91 第 8 章 总结与思考.94 8.1 协同多方合作，共同推动大模型发展.95 8.2 建立大模型合规标准和评测平台.96 8.3 应对大模型带来的安全性挑战.97 8.4 开展大模型广泛适配，推动大模型技术栈自主可控.98 名词索引.99 参考文献.101 编写人员贡献.120 5 第 1 章 大模型技术概述 1.1 大模型