《华东政法大学：人工智能通用大模型（ChatGPT）的进展、风险与应对（55页）.pdf》由会员分享，可在线阅读，更多相关《华东政法大学：人工智能通用大模型（ChatGPT）的进展、风险与应对（55页）.pdf（55页珍藏版）》请在三个皮匠报告上搜索。

1、人工智能通用大模型（ChatGPT）的进展、风险与应对发布单位：华东政法大学政治学研究院华东政法大学人工智能与大数据指数研究院01通用大模型的近期进展目录03通用大模型的治理风险评估04通用大模型的风险应对策略02各国通用大模型的能力比较通用大模型的近期进展011通用大模型的近期进展1 通用大模型的近期进展大模型的内涵与特征大模型的发展历程运行机制三大特征预训练模型的发展历程多模态预训练模型“大模型”和“小模型”协进平台化与简易化并进通用化与专用化并行大模型的发展趋势44544/55大模型的内涵与特征1.1大模型是指容量较大，用于深度学习任务的模型，通常具有海量的参数和复杂的架构。大模型具有更

2、好的通用性、精度和效率，可以通过预训练或其他方式在大型数据集上进行学习，再通过微调高效地处理计算机视觉、自然语言处理等复杂任务。预训练模型的运行机制1 通用大模型的近期进展Transformer（主要）、GAN、CNN 以 及 RNN等架构通过海量数据进行预训练（通才）微调以应用不同场景（专家）解决各种复杂任务55545/55大模型的内涵与特征1.11 通用大模型的近期进展涌现性扩展性复合性强化技术的融合解决传统AI的问题增强AI的能力有效集成自然语言处理等多个人工智能核心研究领域的多项技术，实现1+12的融合式涌现。大模型能够有效支撑智能终端、平台、系统等产品应用落地，解决壁垒多、部署难等问

3、题。在海量通用数据上预训练以具备多种基础能力，摆脱传统人工智能能力碎片化、作坊式开发的局限。66546/55大模型的发展历程1.21 通用大模型的近期进展单语言预训练模型多语言预训练模型多模态预训练模型能够处理自然语言，源于早期的词嵌入（wordembedding）的工作。具备多样化的基础语言能力，开始分别处理多种自然语言任务，如机器翻译、问答系统、情感分析等。以多语言训练模型为核心，进行文字、图片、视频的同步转化，实现处理多任务的目标。77547/55多模态预训练模型视觉文本语音理解式任务生成式任务1.2 大模型的发展历程1 通用大模型的近期进展多模态预训练模型：人工智能如何理解世界？处理多

4、任务应用领域进展医疗深度多任务学习能够应用于医学影像分析中金融同一海量数据的多任务处理工业Multi-Task经典模型结构；全空间多任务模型ESMM教育多模态与多任务预训练模型的结合应用8/551 通用大模型的近期进展发展趋势：“大模型”和“小模型”协进1.算力要求过高2.显存占用过大1.推理增速有限2.训练时长增加1.经济成本激增2.能源消耗剧增模型量化模型剪枝知识蒸馏减少信息泄露风险降低运行碳排放量参数共享低秩分解增强模型抗攻击性大模型的限度模型压缩技术小模型的好处1.39/551 通用大模型的近期进展发展趋势：“大模型”和“小模型”协进大模型小模型借助知识蒸馏等技术，大模型的能力可以传给

5、小模型改进知识蒸馏等技术，大模型一次可以产出多个小模型利用小模型作为 Teacher，可以帮助大模型快速收敛如何实现大模型和小模型的联动和互助作为样本价值判断模型，小模型可以帮助大模型快速学习1.310/551 通用大模型的近期进展发展趋势：通用化与专用化并行表征学习单模态多模态迁移学习多任务处理多模态编码统一模型框架1.从算法只能处理一种模态到可以处理多种模态2.从算法仅能基于一种模态学习并只能应用于该模态到可以学习并应用于多种模态1.311/551 通用大模型的近期进展发展趋势：通用化与专用化并行 统一架构：使用统一的模型架构，并采用相同的学习模式 统一模态：构建可以适用于多种模态的通用词

6、表 统一任务：将所有任务统一成序列到序列任务通用预训练专用领域预训练业务场景应用应用需求基础框架技术落地反哺技术1.312/551 通用大模型的近期进展发展趋势：平台化与简易化并进模型开发场景适配推理部署全能、简易开发服务平台开发工具微调工具部署工具大模型和小模型无缝联动能力自适应分布式推理能力自动化压缩能力加密部署能力便捷微调能力低参数调优能力数据增强和清洗能力并行计算能力存储优化能力自适应分布式训练能力弹性容错训练能力1.313/55各国通用大模型的能力比较022各国通用大模型的能力比较2 各国通用大模型的能力比较美国目前通用大模型的发展现状中国对大模型相关领域的布局情况其他国家大模型技术