腾讯：腾讯云教育行业大模型（48页）.pdf

1、腾讯云教育业模型、模型发展历程回到热点，ChatGPT演进过程20212021年底年底-至今至今演进动力演进动力:从人类反馈中学习从人类反馈中学习ChatGPTChatGPT的关键技术点的关键技术点1 1：千亿参数大模型以及对应的海量训练数据：千亿参数大模型以及对应的海量训练数据2016苹果Siri2016发布Gym强化学习强化学习平台&Universe训练工具包深度学习框架TensorFlow发布分布式版本2017.62017.6TransformeTransformer r65006500万参数万参数2018.6GPTGPT-1 11.171.17亿参数亿参数无监督预训练+有监督微调201

2、8.10BERT3 3亿参数亿参数2020GPTGPT-3 317501750亿参亿参数数超大模型超大模型2021Switch Transformer1.6万亿参数（人类大脑皮层参数（人类大脑皮层参数1010万亿）万亿）2022年初InstructGPT13亿参数人类反馈强化学习2022年12月ChatGPTChatGPT基于GPTGPT-3.53.5微调微调后用来改进GPT语言模型的聊天机器人20232023年年Q1Q1GPTGPT-4 4提升性能提升性能，更贴近人类实际思维2019T5110110亿参数亿参数2014微软小冰20192019GPT-215亿参数半监督语言模半监督语言模型效果

3、验证型效果验证2019年投资OpenAI；2021年Github与OpenAI联合发布Copilot；20232023年年Q1Q1，微软系产品领航，微软系产品领航ChatGPTChatGPT化化20172017-20222022年初年初演进动力演进动力:训练语料训练语料&模型容量更大模型容量更大第一阶段：模型规模增大，融合的任务更多第一阶段：模型规模增大，融合的任务更多第二阶段：利用人工标注引导生成第二阶段：利用人工标注引导生成从“量变”到“质变”，AI进入“大模型”时代从“量变”到“质变”，AI进“模型”时代算法计算智能认知智能感知智能文本内容识别、图像识别、语音识别知识数据双驱动、认知智能

4、、决策智能表示、计算、存储与人机输入、输出数据算力prompt意识智能“涌现”能力思维链大模型Ref.清华大学：人工智能发展报告清华大学：人工智能发展报告2020 智能问答智能问答语音助手、企业客服、呼叫中心、专家咨询、智能语音助手、企业客服、呼叫中心、专家咨询、智能助教、智能导诊、销售助手、培训辅导助教、智能导诊、销售助手、培训辅导内容创作内容创作营销文案、模版写作、剧本创作、编曲填词、访谈营销文案、模版写作、剧本创作、编曲填词、访谈提纲、论文综述、课程设计、广告创意提纲、论文综述、课程设计、广告创意推荐系统推荐系统商品推荐、广告投放、搜索引擎、商户运营、用户商品推荐、广告投放、搜索引擎、商

5、户运营、用户运营、内容运营、视频标签、服务匹配运营、内容运营、视频标签、服务匹配风控模型风控模型信用评估、欺诈检测、订单评估、账号安全、支付信用评估、欺诈检测、订单评估、账号安全、支付风险、内容审核、工业质检、舆情分析风险、内容审核、工业质检、舆情分析应应用用场场景景国内模型“百花齐放”，产业落地已过“尝鲜期”营销方案营销方案购物推荐购物推荐图片生成图片生成聊天对话聊天对话文案创作文案创作视频生成视频生成广告营销广告营销商业客服商业客服旅行攻略旅行攻略购物推荐购物推荐文档摘要文档摘要文本翻译文本翻译文字识别文字识别更多更多场景场景我国我国1010亿参数规模以上的大模型已发布亿参数规模以上的大模

6、型已发布7979个个产业落地实效产业落地实效成大模型价值重要评估维度成大模型价值重要评估维度传媒传媒媒资管理媒资管理内容生产内容生产媒体传播媒体传播金融金融客户服务客户服务风险管理风险管理分析决策分析决策工业工业研发设计研发设计生产制造生产制造管理服务管理服务政务政务流程管理流程管理决策支持决策支持社会保障社会保障交通交通智能调度智能调度运行监测运行监测模拟预测模拟预测能源能源自动监测自动监测报警诊断报警诊断运维管理运维管理模型催“效率命”，为产业提质增效场景更“广”百行千模满足更多行业需求应用更“深”大模型+AI原生应用推动业务全链条智能能力更“强”专业知识+推理能力特定领域表现及适应性效率