《2023AI算力租赁市场需求空间、发展趋势、竞争格局和要素分析报告(32页).pdf》由会员分享,可在线阅读,更多相关《2023AI算力租赁市场需求空间、发展趋势、竞争格局和要素分析报告(32页).pdf(32页珍藏版)》请在三个皮匠报告上搜索。
1、2 0 2 3 年深度行业分析研究报告2WiXnXkZdYlXtPqMtO6MaOaQmOnNoMpMlOmNqQjMoPmNbRmNqQuOrMqRNZsQqRCONTENTS目录CONTENTS目目录录发展趋势竞争格局和要素重点公司算力布局情况02030401AIAI算力需求空间测算算力需求空间测算请仔细阅读尾部的免责声明资料来源:迎接大模型时代:大模型发展简史及攻略、云布道师公众号,西部证券研发中心4AIGC浪潮汹涌浪潮汹涌,大模型开启新一轮大模型开启新一轮AI技术革命技术革命2023.4阿里云通义千问发布面向企业用户开放阿里全系业务将接入连续对话能力主动承认错误理解上下文捕捉用户意图C
2、hatGPT人类人类意图意图算法算法屏蔽屏蔽连续连续对话对话GPT4InstructGPT/GPT3.5/ChatGPTGPT3Transfor-merPyTorch微软云Azure算力资源算力资源OpenAI的独家云提供商深度学习框架深度学习框架易使用、API迭代更稳定模型框架模型框架Attention机制参数少、速度快、效果好大模型大模型Transformer的Decoder分支1750亿个参数、小样本学习能力模型调优模型调优人类反馈强化学习RLHF 202320222021202020192018201720152011谷歌大脑部门成立谷歌大脑推出Transformer,深度学习模型参数
3、突破1亿亿OpenAI成立谷歌推出3亿参数的BERTOpenAI推出1.17亿参数的GPT-1OpenAI推出15亿参数的GPT-2OpenAI推出1750亿参数的GPT-3微软和英伟达发布5300亿参数的MT-NLG谷歌推出1.6万亿参数的Switch TransformerOpenAI推出InstructGPT与ChatGPTStability AI推出Stable DiffusionOpenAI推出GPT-4谷歌推出PaLM2请仔细阅读尾部的免责声明资料来源:Emergent Abilities of Large Language Models、Large Language Models
4、:A New Moores Law?、云布道师公众号、西部证券研发中心训练规模突破临界值训练规模突破临界值,大模型大模型“智慧涌现智慧涌现”5图:近年来超大规模预训练模型参数增长趋势图:近年来超大规模预训练模型参数增长趋势图:训练规模超过阈值时效果显著提升图:训练规模超过阈值时效果显著提升大模型训练规模与参数量、数据量及训练轮数等紧密相关。当模型规模突破阙值,即出现“智慧涌现”。大模型训练规模与参数量、数据量及训练轮数等紧密相关。当模型规模突破阙值,即出现“智慧涌现”。左图横坐标为模型训练的预训练规模,用FLOPs综合表示;纵轴为精确性等评判模型效果的指标。当模型规模在一定范围内时,模型能力并
5、未随着规模提升而提高;当规模超过此临界值时,模型效果显著提升,出现“智慧涌现”。1212层层参数:参数:1.21.2亿亿数据:数据:5GB5GB4848层层参数:参数:1515亿亿数据:数据:40GB40GB9696层层参数:参数:2.7B/6.7B/13B/175B2.7B/6.7B/13B/175B数据数据 45TB45TB9696层层参数参数 1.3B/6B/175B1.3B/6B/175B参数量可能突破参数量可能突破万亿万亿GPT-1(2018.6)GPT-2(2019.2)GPT-3(2020.5)ChatGPT/GPT3.5(2022)GPT-4(2023)请仔细阅读尾部的免责声明
6、资料来源:云布道师公众号、西部证券研发中心迈入迈入AI智能时代智能时代,计算芯片依赖已从计算芯片依赖已从CPU转向转向GPU62003201020172019应用应用互联网时代互联网时代(信息获取)移动互联网移动互联网(信息交换)大数据大数据/短视频短视频(信息感知/交互)AI智能时代智能时代(认知/决策)端端PC(Windows)手机手机/IoT设备手机/汽车/机器人智能硬件.服务器服务器应用应用应用应用OS/平台平台UNIX/SolarisLinux/OpenStackK8S/SparkTensorFlow/Caffe/Torch芯片芯片PowerPC/SparkIntel/AMDInte