《甲子光年：2023年中国AIGC产业算力发展报告（57页）.pdf》由会员分享，可在线阅读，更多相关《甲子光年：2023年中国AIGC产业算力发展报告（57页）.pdf（57页珍藏版）》请在三个皮匠报告上搜索。

1、出品机构：甲子光年智库报告指导：宋涛报告撰写：刘瑶发布时间：2023.08前言伴随着ChatGPT的爆红，AIGC产业链受到广泛关注，大模型的发展正推动AI算力市场进入新的发展阶段，强大的AIGC算力基础设施正在构建当中。大模型训练是复杂系统工程，AIGC产业的算力也对应是系统化的建设，基于此，甲子光年智库特此展开AIGC的算力研究，输出中国AIGC产业算力发展报告，在瞬息万变的AIGC产业发展过程中，试图捕捉到AIGC产业算力的发展变化。AIGCAIGC的爆发会重新改变负载AIAI技术的算力发展本次报告探讨的问题明晰概念：从需求出发，探究决定AIGC产业基础设施（infrastructure

2、）算力，包括哪些关键决定因素？产业分析：AIGC的算力产业链剖析，从芯片发展到云服务方案，”云边端“算力供应商的角色作用是什么？需求探讨：中国AIGC产业发展是否缺乏算力，还是缺乏针对企业的“高性价比”及“可落地”的AIGC算力解决方案？实践指南：针对当下国内的“百模大战”与企业对于AIGC应用落地的需求，目前AI算力领域有哪些解决路径及方案？趋势可能：AIGC的算力爆发是否可持续？未来对AIGC的算力提出哪些层面的要求？AIGC时代已来，算力作为推动产业发展的关键资源，决定了产业的发展速度及AI算力不止于训练，同时支持AI多场景应用，在多细分场景上具有潜力AI技术（算法、模型）与算力的融合催

3、生更多产品及服务模式甲子光年重点关注企业AIGC产业算力领域的领航者“基于大模型自身实践与服务客户的专业经验，浪潮信息发布大模型智算软件栈OGAI（Open GenAI Infra）元脑生智，OGAI以大模型为核心技术的生成式AI开发与应用场景，提供从集群系统环境部署到算力调度保障和大模型开发管理的全栈全流程的软件，从而降低大模型算力系统的使用门槛、优化大模型的研发效率，保障大模型的生产与应用。”“应用产生数据、数据训练算法、算法定义芯片、芯片赋能应用”是云天励飞一直坚持的人工智能发展之路。基于此，云天励飞构建了业界领先的算法、芯片、大数据全栈式AI能力，同时拥有大量创新应用和落地场景，横跨人

4、工智能基础层、技术层和应用层。”“UCloudUCloud优刻得是中立、安全的云厂商，拥有超10年的公有云技术沉淀并积累了全面的系统工程能力，具备从数据中心、计算平台，到管理平台、网络服务、应用服务、生态接口等一站式产品和解决方案。凭借技术及工程能力沉淀，UCloud优刻得可在AIGC领域构筑强大的算力底座，通过优化网络和存储带宽提升大模型训练效率，并持续提供快速、高效、可控及安全的AI推理环境。”“凭借存储与计算物理融合的架构优势，存内计算能够为神经网络模型指数级增长的算力需求提供强大基石。知存科技凭借率先量产商用存内计算芯片的产业积累，将继续推进存内计算架构创新，由3D存内计算架构向高速互

5、联存内计算架构演进，实现产品“端-边-云”侧算力全面覆盖。”“BoCloudBoCloud博云形成了系列产品以创新云技术支撑企业核心业务，构建数字化高效IT系统。公司自主研发的多项软件产品，包括边缘计算平台、企业级容器平台、统一云管平台、虚拟化产品等，已在金融、电力、石油、政务、IDC、航空等行业领域的生产系统中落地实施，为国有电力公司、股份制银行、大型支付机构等标杆行业客户的重要生产系统提供服务。”“亿铸科技在全球率先利用ReRAM（RRAM）的特性着手使用先进异构封装的方式来实现系统级的芯片优化方案，并且在2023年3月，亿铸科技正式公布了存算一体超异构芯片的创新理念以存算一体(CIM)A

6、I加速计算单元为核心，同时将不同的计算单元进行异构集成，以实现更大的AI算力以及更高的能效比，同时提供更为通用的软件生态，开创大模型时代的AI算力发展新方向。目 录Part 01产业基石，算力是AIGC产业的催化剂Part 02软硬兼得，AI新世代呼唤工程化导向的算力支撑Part 04实践真知，AIGC产业算力实践的新范式Part 05来日正长，AI技术的翻涌带来无限可能Part 03层见叠出，商业浪潮下的算力选择思考AI的新时代，生成式AI技术重新塑造AI技术的开发及应用AIGCAI的新时代：更关注如何利用生成式AI技术在涉及数字内容的诸多领域实现改变及突破，生成式AI实际上扩大了“内容”的

7、含义，凡是可以数字化的内容形式均为生成对象，而非传统意义下媒体环境的内容。随着2023年大模型的热潮，AIGC早已超越内容生产的概念，而突出生成式AI（Generative AI）的概念，即如何通过生成式AI的技术思路解决以往决策式AI难以完成的问题，尤其在数据或者内容生成上实现“质的突破”。新的AI时代则是AIGC产业全面进击的时代，随着生成式对抗网络（Generative Adversarial Network，GAN）等的演进及迭代，生成式AI可以延展到流程、策略、代码、蛋白质结构等多种形式，即意味着凡是可以使用数字内容形式的产业，生成式AI均可以涉及。递归神经网络（RNN）蒙特卡洛树搜

8、索（MCTS）卷积神经网络（CNN）受限玻尔兹曼机（RBM）多层感知机（MLP）反向传播（BP）概率模型高维词向量长短期记忆（LSTM）非线性激活深度玻尔兹曼机(DBM）生成对抗网络（GAN）注意力机制（Attention）RNN改进AlexNet&Dropout深度强化学习（DQN）Attention&Transformer生成预训练变压器（GPT）双向编码表示（BERT）GPT3残差网络（ResNet)AlphaFold2AlphaFoldchatGPT(GPT3.5)MT-NLG代表具有里程碑的关键创新1900年-1980年1980年-1990年1990年-2000年2000年-2010

9、年2010-2020年2020年-至今AIGC产业：新一代AI技术和理念，以“生成式AI”为代表技术的开发及应用产业，即如何利用资源发挥新的AI技术的应用，通过商业价值推动AI第三次浪潮的发展。第二次浪潮第三次浪潮第一次浪潮技术资源应用“应用”&“技术”&“资源”实现飞轮增长纵观AI发展，算法的发展及迭代极大地拉动了算力的需求训练算力（FLOPS）需求与人工智能发展关系图（1952-2022年）N=121训练算力需求FLOPS2010前深度学习时期之前，训练计算算力需求缓慢增长，算力翻倍需要21.3个月2010-2022深度学习不断取得进展，算力翻倍仅需要5.7个月，所需算力量级由 TFLOP

10、s增至EFLOPs训练算力需求FLOPS训练算力（FLOPS）需求与深度学习发展关系图（2000-2022年）2016-20222015年开始逐渐出现大规模（更大参数量）模型，算力需求直接提升约两个数量级。大模型机器学习的训练计算大概可以分为三个时期，2015-2016 年左右开启了大模型时代，整体的训练计算量较之前的时期大2到3个数量级。从2022年底，随着ChatGPT成功带来大规模参数通用大模型相继发布。这些大模型的训练需要千亿、甚至万亿级参数，以及上千GB的高质量数据，大模型的训练迭代将极大地拉动了智能算力的需求。深究AI开发，“量变”的算法、数据可以带来“质变”算力：提供底层动力源泉

11、调参过程实际上类似于“实验”：“调参”的结果与以往人工智能方式相比，具有更多的不确定性，需要进行多次的反复训练，模型训练中，模型即是训练结果，中间的过程则无法完全复制。参数规模数据质量数学理论分布式计算效率充足的能耗模型训练涉及的基础资源提升在方向上（理论上）能够决定模型训练的效率和结果实际上可以看作“必要不充分条件”：难以明确的直接因果关系训练的过程呈现“黑盒”性质“量变”收集数据及数据准备特征工程模型选择模型训练模型评估模型调优模型部署和应用模型封装后，导入环境进行推理包括数据收集、预处理、存储；数据的质量和梳理对算法效果至关重要从原始数据提取有代表性、可解释的特征自开发实现模型使用现成的

12、框架无监督学习监督学习强化学习根据分类、回归、聚类等各种问题有相应评估指标网络搜索、随机搜索、贝叶斯优化、梯度优化、集成方法等选取最优参数组合，提高模型性能API部署边缘部署集成部署批处理部署容器化部署模型调参“质变”资源“三剑客”中，算力承接算法及数据，成为AIGC产业发展基石AIGC数据数据巨量化跨模态融合算法算力内容创造力数据层面核心技术突破多模态认知计算数字孪生虚拟现实全息立体应用场景算法层面感知+交互大数据语料库高精度训练集标注训练计算任务投喂算力层面硬件算力智能交互实时算力边缘计算云计算本地化当下的时代机遇：大规模模型的摩尔定律-单模型参数量每年增长1010倍“海洋之光”超级计算机

13、（国产超算）512块GPU大算力腾讯太极机器学习平台昇腾AI基础软硬件平台16块GPU大数据量1.9TB 图像292GB 文本中文多模态数据集M6-Corpus五大跨模态视频检索数据集基于万条小规模数据集数百 G 级别不同领域的高质量语料模型类型多模态预训练模型图、文、音三模态“八卦炉”（脑级AI模型）M6大模型“混元”HunYuan_tvr紫东太初孟子大参数174万亿（与人脑中突触数量媲美）10 万亿万亿千亿10亿商汤AIDC，峰值算力3740Petaflops3-计算机视觉模型计算机视觉模型书生(INTERN+)某视觉模型100亿300亿商汤科技商汤科技等企业清华大学等1阿里腾讯280 块

14、 GPU鹏城云脑（2048 块CPU）和百度飞桨4095（Pflops-day）/2128 张GPU3390 亿条文本数据纯文本和知识图谱的4TB 语料库5000GB 高质量中文数据集NLP 大模型NLP 大模型NLP 大模型Megatron-TuringERNIW 3.0 Titan源 1.05300亿2600 亿2457 亿微软和英伟达百度和鹏程实验室浪潮信息鹏城云脑和全场景 AI 计算框架 MindSpore，2048 块GPU40TB 训练数据盘古系列大模型千亿3640（Pflops-day3）/上万块V100 GPU 组成 gao 带宽集群算力超过万亿单词的人类语言数据集GPT3.5

15、1750 亿OpenAI华为云中科院自动化所澜舟多模态预训练模型结合人类参与强化学习复旦大学超算中心-对话式大型语言模型MOSS百亿复旦大学在现代人工智能领域，算力扮演着推动创新、实现突破的核心驱动力。算力、算法、数据和系统架构等多个方面的综合优化对于大规模模型训练的成功至关重要。从技术层面看，在大模型的研发过程中，预训练、微调和模型推理等环节是核心关键因素和主要计算特征。AIGC的突破依赖于算力的“暴力美学”，应用依赖于算力在场景中的释放AI技术在实际应用中包括两个环节：训练（Training）和推理（Inference），AIGC的算力需要考虑训练及推理两个方面。训练是指通过数据开发出AI

16、模型，使其能够满足相应的需求，一般为AI技术的研发。因此参数量的升级对算力的需求影响大。推理是指利用训练好的模型进行计算，利用输入的数据获得正确结论的过程，一般为AI技术的应用。推理部署的算力主要在于每个应用场景日数据的吞吐量。训练推理算力模型数量参数量训练数据量训练算力核心影响因素训练次数微调阶段训练阶段模型数量应用场景单用户数据量推理算力核心影响因素用户日活应用时间当下模型参数量大规模提升，同时影响训练数据量及训练次数，推动训练阶段算力及对应的微调阶段算力提升模型参数数值基本确定，随着应用场景、适用人群数量增加，导致推理数据量及模型数量增多，进而使推理算力需求井喷发展训练完的模型参数量也会

17、影响推理端算力AIGC算力具备软硬件的复杂性，并且以不同产品/服务/方案为应用赋能从模型到应用闭源闭源模型应用基于公共网络平台的应用，单一平台应用网络平台应用提供基于本地边缘或端侧交互的应用边缘或端侧应用数据中心工具与模型部署和调用API数据中心与模型API基于预训练模型的场景/产品适配Prompt优化与模型微调商业化的预训练模型，通过API调用非开源预训练模型开源模型共享平台模型Hub代码及权重开源的预训练模型，一般可免费试用开源模型用于训练或云部署的深度学习框架和中间件等，包括PyTorch、TensorFlow深度学习框架与中间件等应用层中间层（接口层）模型层框架层算力层数据层数据资源（

18、数据采集、清洗、标注等）芯片、存储、网卡、PCB、BMC、电源等基础硬件服务器、路由器、交换机、光模块等IT设备及机架其他非IT设备基础设备通用算力中心、智算中心、超算中型数据中心通用算力中心、智算中心、超算中心云服务一体机基于AIGC的技术栈，算力层作为上层模型集应用的重要支撑AIGC产业的算力是工程化结果，是从芯片到资源服务的多层次构造云服务智算中心（数据中心）服务器多卡单卡边缘计算终端未来大模型的产业化发展是一套复杂的系统工程，构建高效稳定的算力平台是核心要义，成熟的算法、数据产业链，配套工具链及丰富的生态链是关键因素，亟需以系统的方式寻找最优解。算力设备软硬件兼容性和性能调教上的Kno

19、w-How，可以保证AI算力的适配性和稳定性，并非单一因素的参数能简单决定。一体机可能影响整体算力的因素代表不同硬件层级之间需要完成的网络通信及资源管理（包括硬件及资源化层面）单元数量芯片架构卡间通信并行管理生态工具芯片稳定性网路通信资源调度作业管理系统部署环境配置性能优化门户管理配额管理运营管理安全保障资源纳管算力调度网络性能云边协同智能运维及监控AIGCAIGC产业算力的资源组成部分算力资源利用率取决与多层工程的利用率Transformer结构解锁新AI时代的iPhone时刻，实现资源及应用的飞轮增长Transformer的应用标志着基础模型时代的开始（基础模型的庞大规模和应用范围突飞猛进

20、），模型参数量指数级增长，带动算力超过摩尔定律，可以称为AI技术的iPhone时刻。技术层面上，基础模型通过迁移学习（Transfer Learning）和规模（scale）得以实现；深度学习中，预训练又是迁移学习的主要方法：在替代任务上训练模型（通常只是达到目的的一种手段），然后通过微调来适应感兴趣的下游任务。迁移学习（Transfer Learning）使基础模型成为可能。PFLOPs1e+021e+091e+081e+071e+061e+051e+041e+031e+021e+091e+081e+071e+061e+051e+041e+03TransformerPFLOPs3.713.1

21、24.947.593135.8153.4192.6231.5215.2215.8206.3195.6201.1237.90%2%4%6%8%10%12%14%16%18%20%0501001502002502007200820092010201120122013201420152016201720182019202020212007-2021年苹果iPhone出货量（百万台）及市占率基于Transformer结构算法训练所需算力短时间内激增，远超摩尔定律基于Transformer结构算法与时间的关系摩尔定律与时间的关系训练算力与iPhone时刻的阶段具有类似性：实现革命，快速增长Transfo

22、rmer结构对于基础模型训练算力需求的推动作用数字经济时代，人工智能相关产业必然迎来广阔发展，AI算力正当时16.9%29.0%26.6%27.9%26.3%10.6%16.9%17.6%17.0%16.2%-3.3%5.7%2.9%3.0%3.0%-5.0%5.0%15.0%25.0%20202021202220232024人工智能支出增幅数字化转型支出增幅GDP增幅全球人工智能支出、数字化转型支出及GDP增长趋势预测，2020-2024企业数字化转型推动人工智能领域支出，人工智能支出已经成为支持企业数字化转型支出的主力之一。IDC数据统计，全球范围内，企业在包括硬件、软件和服务在内的人工智

23、能（AI）市场的技术投资从2019年的612亿美元增长至2021年的924亿美元，预计将在2022年（同比）增长26.6%至1170亿美元，有望到2025年突破2000亿美元，增幅高于企业数字化转型支出整体增幅。从国家到地方，关注通用人工智能的系统建设，探索通用人工智能新路径，推动创新场景应用成为思想共识、政策共识、发展共识。2023年4月中央重视通用人工智能发展中央政治局召开会议，指出要重视通用人工智能发展，营造创新生态，重视防范风险。为贯彻落实国家相关决策部署。2023年5月发改委：加快发展数字经济，重视通用人工智能发展把握数字化、网络化、智能化方向，大力推进数字产业化和产业数字化，重视通

24、用人工智能发展，支持平台企业在引领发展、创造就业、国际竞争中大显身手。2023年5月北京市：北京市促进通用人工智能创新发展的若干措施提出系统构建大模型等通用人工智能技术体系，开展大模型创新算法及关键技术研究，加强大模型训练数据采集及治理工具研发，建设大模型评测开放服务平台，构建大模型基础软硬件体系，发展面向通用人工智能的基础理论体系。同时北京正在加快推进国家新一代人工智能创新发展试验区和国家人工智能创新应用先导区建设，打造具有全球影响力的人工智能创新策源地北京市经信局联合市科委中关村管委会、市发改委等共同发布北京市通用人工智能产业创新伙伴计划，旨在搭建人工智能大模型的开放合作平台，建立协同合作

25、机制，通过持续优化产业链布局，大幅提升优质算力、高质量数据供给支撑能力，培养一批应用大模型技术实现突破性成长的标杆企业。从中央到地方，出台相应政策推动通用人工智能发展模型的训练及推理离不开智能算力，AI应用催生智能算力需求通用大模型、垂直行业大模型的训练及微调，及基于大模型推理的行业应用需要大量的AI算力实现支撑。AI渗透千行百业，拉动智能算力规模高速增长。2022年，各行各业的AI应用渗透度都呈不断加深的态势，尤其是在金融、电信、制造以及医疗领域。31.775.0155.2268.0427.0640.7922.81271.40.0200.0400.0600.0800.01000.01200.

26、01400.020192020202120222023E2024E2025E2026E百亿亿次浮点运算/秒（EFLOPS）中国智能算力规模及预测，2019-2026时间发文部门文件名称主要内容2023.2十三届全国人大常委会第三十七次会议关于数字经济发展情况的报告应统筹通信和算力基础设施建设，适度超前部署5G基站.推进“东数西算”工程。加快建设空天地海一体化网络。2023.2中共中央国务院数字中国建设整体布局规划系统优化算力基础设施布局，促进东西部算力高效互补协同联动，引导通用数据中心、超算中心、智能计算中心、边缘数据中心等合理梯次布局。2022.8科技部等六部门关于加快场景创新以人工智能高水

27、平应用促进经济高质量发展的指导意见鼓励算力平台、共性技术平台、行业训练数据集、仿真训练平台等人工智能基础设施资源开放共享，为人工智能企业开展场景创新提供算力、算法资源。鼓励地方通过共享开放、服务购买，创新券等方式，降低人工智能企业基础设施使用成本，提升人工智能场景创新的算力支撑。2022.8科技部财政部企业技术创新能力提升行动方案（2022-2023年）推动国家超算中心、智能计算中心等面向企业提供低成本算力服务。2022.1国务院关于印发“十四五”数字经济发展规划的通知推进云网协同和算网融合发展。加快构建算力、算法、数据、应用资源协同的全国一体化大数据中心体系。推动智能计算中心有序发展，打造智

28、能算力、通用算法和开发平台一体化的新型智能基础设施，面向政务服务、智慧城市、智能制造。自动驾驶、语言智能等重点新兴领域，提供体系化的人工智能服务。2022.1国家知识产权局关于印发知识产权公共服务“十四五”规划的通知加强国家知识产权大数据中心建设。依托全国一体化大数据中心体系，建设国家知识产权大数据中心，强化算力统筹和智能调度。2021.8工业和信息化部新型数据中心发展三年行动计划（2021-2023年）需求牵引，深化协同。坚持市场需求导向，建用并举。推动新型数据中心与网络协同建设，推进新型数据中心集群与边缘数据中心协同联动。促进算力资源协同利用，加强国际国内数据中心协同发展。2021.5国家

29、发改委全国一体化大数据中心协同创新体系算力枢纽实施方案方案明确国家算力枢纽建设方案，加快建设全国一体化算力枢纽体系，提出布局全国算力网络国家枢纽节点，启动实施“东数西算”工程构建国家算力网络体系。进动微提中贪理局，供给平衡，绿色集约及互联互场国内重要的算力政策文件内容，2021-2023多地重视人工智能及算力产业发展，相继出台相关政策省市时间文件名称主要内容上海2023.5上海市加大力度支持民间投资发展若干政策措施充分发挥人工智能创新发展专项等引导作用，支持民营企业广泛参与数据、算力等人工智能基础设施建设北京2023.5北京市促进通用人工智能创新发展的若干措施将新增算力建设项目纳入算力伙伴计划

30、，加快推动海淀区、朝阳区建设北京人工智能公共算力中心、北京数字经济算力中心，形成规模化先进算力供给能力，支撑千亿级参数量的大型语言模型、大型视觉模型、多模态大模型、科学计算大模型、大规模精细神经网络模拟仿真模型、脑启发神经网络等研发。北京2023.2关于北京市推动先进制造业和现代服务业深度融合发展的实施意见支持园区加快计算中心、算力中心工业互联网、物联网等基础设施建设,建设园区大脑、数字孪生园区。成都2023.1成都市围绕超穿智算加快算力产业发展的政策措施建立以“算力券”为核心的算力中心运营统筹结算分担机制，结合区块链等新技术实现“算力券”有效监管。每年发放总额不超过1000万元的“算力券”，

31、用于支持算力中介服务机构、科技型中小微企业和创客、科研机构、高校等使用国家超算成都中心、成都智算中心算力资源。黑龙江2022.10黑龙江省现代信息服务业振兴行动方案(2022-2026年)的通知完善新型基础设施布局,增强数字化转型支撑低能能力。不断增强骨干网承载能力,构建算力产业体系，建设区块链等新技术基础设施，助力构筑哈大齐协同一体科创走廊和工业走廊，促进网络基础设施广泛融入生产生活，有力支撑政务服务、公共服务、民生保障和社会治理。河南2022.9河南省元宇宙产业发展行动计划(2022-2025年)的通知构建多层次算力设施体系。统筹布局算力基础设施构建“超算+智算+边缘计算+存储“多元协同、

32、数智胜合多层次算力体系。上海2022.7上海市数字经济发展“十四五”规划推动建设绿色数据中心,强化算力统筹和智能调度,提升数据中心跨网络、跨地域数据交互能力,推动数据中心供电、冷却、网络、服务器等智能协同,实现数据中心自动化能效调优,提升数据中心能效密度河北2021.11河北省建设全国级产业转型升级试验区“十四五“规划的通知建设全国一体化算力网络京津冀国家枢纽节点,加快向建工业互联网网络体系,改造升级省级北斗导航系统,规划建设低轨卫星互联网地面信关站。天津2021.3天津市新型基础设施建设三年行动方案(2021-2023年)的通知打造超算资源算力供给体系。依托国家超级计算天津中心,推动超算与人

33、工智能深度融合。加快与量子计算、区块链技术融合发展,提供多层次智能算力服务打造各类创新平台协同创新算力载体。北京2021.2数字经济领域“两区建设工作方案以支持数字经济发展的新基建为契机,推动形成5G网络、卫星网络、新型算力、新型数据中心、车联网等集聚、协同联动的数字经济基础建设体系国内典型城市大力发展算力的相关政策汇总产业趋势叠加时代趋势，专用智能走向通用智能产业角度：大模型的产业发展仍处于起跑阶段，相关技术的行业应用和场景化落地存在无限可能。IDC预测，到2026年，全球AI计算市场规模将增长到346.6亿美元，生成式AI计算占比从2022年4.2%增长到31.7%。时代趋势：随着LLM大

34、规模语言模型技术的不断突破，以ChatGPT为代表的生成式人工智能引发广泛关注，人工智能正在从专用智能迈向以大模型为基座的通用智能，逐渐走向“开领域，走向通用”。186.84218.08231.52235.9236.748.1929.4654.6682.03109.8805010015020025030035040020222023E2024E2025E2026E其他AI计算生成式AI计算全球生成式AI计算的规模及预测（亿美元），2022-2026逻辑能力迭代升级千亿级别具备涌现能力和泛化能力的通用大模型，涌现能力是指隐含知识和推理归纳，带来创新灵感的出现；泛化能力是为多任务泛化提供统一强大的

35、算法支撑。基于泛化能力及涌现能力的人工智能已经能够拥有人的逻辑理解能力、使用工具能力、像人一样可以跨领域工作，是通用人工智能的跨时代能力价值。通用智能迎来曙光大模型的逻辑推理能力得益于其强大的表示能力和学习能力。大模型可以学习到更多的特征和规律，从而更好地表示输入数据。同时，大模型可以通过更多的数据和更复杂的训练方式进行训练，从而提高其学习能力和泛化能力。这些优势使得大模型在逻辑推理能力方面具有极大的潜力。发展通用人工智能，关注通用大模型的逻辑推理能力提升目 录Part 01产业基石，算力是AIGC产业的催化剂Part 02软硬兼得，AI新世代呼唤工程化导向的算力支撑Part 04实践真知，A

36、IGC产业算力实践的新范式Part 05来日正长，AI技术的翻涌带来无限可能Part 03层见叠出，商业浪潮下的算力选择思考MaaS是AI新时代云服务模式的破与立，构建新的“算力+算法”服务模式MaaS（Model as a service）模型即服务，是指将大模型作为一项服务提供给用户使用的新业态，MaaS中模型训练（主要指微调）及推理的技术路线成立必须依赖云计算的算力支撑，同时算力及其他资源通过MaaS模型实现AI层面上更好的价值释放。从模型到应用闭源闭源模型应用基于公共网络平台的应用，单一平台应用网络平台应用提供基于本地边缘或端侧交互的应用边缘或端侧应用数据中心工具与模型部署和调用API

37、数据中心与模型API基于预训练模型的场景/产品适配Prompt优化与模型微调商业化的预训练模型，通过API调用非开源预训练模型开源模型共享平台模型Hub代码及权重开源的预训练模型，一般可免费试用开源模型用于训练或云部署的深度学习框架和中间件等，包括PyTorch、TensorFlow深度学习框架与中间件等应用层中间层（接口层）模型层框架层数据层数据资源（数据采集、清洗、标注等）硬件基础设施服务算力层云服务IaaSPaaS用户IaaSPaaS（aPaaS、IPaaS、FPaaS）(也可提供AI技术能力）SaaS用户基础设施服务商MaaS模式基于传统云服务的升级：基于传统模式的IaaS及PaaS支

38、撑的AI能力释放无大模型云服务模式MaaS是以大模型为核心的AI服务：数据处理特征工程模型训练模型调优推理部署模型托管模型存储MaaS的底层资源是算力及数据，算力及数据通过MaaS模式直接输出了AI应用能力，而非简单的计算能力，具有更多的商业价值MaaS模式对于算力的直接拉动：最终提供给用户的服务为建立在算力基础上的模型服务代表MaaS可以提供的服务MaaS可以基于模型能力直接提供应用：企业级解决方案，直接提供企业定制化产品开发嵌入产品，如Azure OpenAI实现大模型的工具性嵌入基于AI时代的训练及推理需求，MaaS模式是当下云服务厂商新的机会点2025年，根据中国信通院数据，我国云计算

39、规模将超万亿云，其中重要的增长点是AIGC行业发展，MaaS服务契合当下AIGC产业发展，提供云服务商业应用价值，带动整体云计算增长。209132294550619283151105557%54%36%34%54%33%0%10%20%30%40%50%60%0200040006000800010000120002020202120222023E2024E2025E中国云计算市场规模及预测（亿元），2020-2025市场规模（亿元）市场增长率MaaSMaaS模式的云服务模式分析下游场景急需AIAI模型能力进行商业突破，云服务价值提升1文字生成音频生成图像生成虚拟生成策略生成代码生成视频生成生物

40、结构生成多模态技术多行业及多业务营销游戏影视金融工业传媒教育心理法律医疗以MaaS服务为核心MaaSMaaS提供了新的云服务商业范式2行业模型场景模型通用模型开源模型闭源模型资源（时间）付费调用产品付费微调调优部署迭代模型类型付费模式嵌入产品付费使用场景直接应用MaaSMaaS源于云服务，高于云服务，可结合数据资源实现模型迭代3数据维度的治理、标注、数据库资源及模型维度配合用户的业务积累、数据回流等，可形成模型迭代，实现长期稳定服务及增量服务。MaaS服务未来将带动云服务市场的第二增长曲线2022年，IaaS市场收入稳定，规模依然保持在2442亿元，并且是 PaaS+SaaS 的三倍，增速依然

41、可以达到50%以上；引人注意的PaaS市场在容器、微服务等云原生应用带来的刺激增长，总收入已达到342亿元，并且增长率达到74%。PaaS模式在技术架构上，易结合AI技术应用，并且可以与MaaS服务作为增值服务提供，目前多家云服务厂商已经推出自研大模型、接入开源大模型，基于模型提供新的云服务增长点。根据微软财报数据，微软23Q3（相当于2023年第一季度）Azure Open AI服务客户数目达到2500+个，微软23Q4（相当于2023年第二季度）Azure Open AI服务客户数目继续增长至11000+个，环比增加340%，且本季度每天新增近100名新客户。中国云计算细分市场规模（亿元）

42、，2019-202097.6%80.5%51.0%145.2%90.3%74.5%42.6%33.0%27.6%0.0%50.0%100.0%150.0%200.0%202020212022IaaS市场增速PaaS市场增速SaaS市场增速中国云计算细分市场增速，2019-2020453 895 1615 2442 42 183 196 342 195 278 370 472 010002000300040002019202020212022IaaS市场规模PaaS市场规模SaaS市场规模云边协同，从计算、通信、安全、时效等方面提升AI应用落地可能性Edge Computing Edge Com

43、puting PaaSPaaS端边云Edge Computing Edge Computing SaaSSaaSEdge Computing Edge Computing IaaSIaaSSaaSSaaSPaaSPaaSIaaSIaaS应用实例应用部署软硬件环境分布式智能/推理数据采集与分析基础设施资源及调度管理边缘ICT基础设置业务编排应用生命周期管理集中式训练数据分析边缘节点基础设施/设备/终端的生命周期管理云ICT基础设施服务协同业务管理协同应用管理协同智能协同数据协同资源协同云边系统实现资源协同，可最大程度实现的算力资源的合理分配在实体场景（例如物联网，工厂互联下），可以节省数据向中心

44、端的传输时间，从而提高数据的实时处理能力时效面对物联网中长距离数据传输，边缘计算解决大量数据回传云端时网络带宽压力、性能瓶颈以及网络吞吐量传输解决云、端割裂，边缘计算为末端设备提供服务协同、资源协同、应用协同能力协同直接在边缘计算，实现在断网、断点情况保持稳定性、安全性安全减轻终端、云端的数据压力，边缘计算仅对需要的、必要的数据提取计算，解决云端承受海量数据压力，实现终端的算力灵活边缘计算可负责范围内的数据计算和存储工作。同时，负责将连续数据汇总至计算层，最终由云计算层完成分析挖掘、数据共享工作，下发结果或模型至边缘和终端层，形成云-边-端协同。边缘计算的核心价值：边缘侧完成数据的计算，并且实

45、现云、端间的数据及计算结果的协同。边缘云及边缘芯片的发展将推动AIGC的更快落地。边缘计算的核心在于避免数据多次传输，从而打破完全中心的计算困境预测维护能效优化质量提升智能算力持续增长，未来需求增加，进一步加快智算中心建设及相关设备增长据中国信通院，2016年，智能算力在我国算力中的占比仅为3%，而2021年，我国智能算力占比已经超过基础算力，达到51%，成为算力快速增长的驱动力。IDC预测2021年到2026年期间中国智能算力规模年复合增长率为52.3%，远高于同期预测的基础算力的增长率。中国各类算力类型占比，2016VS2020主要指标基础算力中心智算中心超算中心来源一般为基于CPU芯片的

46、服务器一般为基于AI芯片的加速计算平台超级计算机等高性能计算集群建设目的帮助用户降本增效或提升盈利水平促进AI产业化、产业AI化、政府治理智能化面向科研人员和科学计算场景提供支撑服务技术标准标准不一、重复建设CSP内部互联、跨CSP隔离安全水平不一致统一标准、统筹规划、开放建设、互联互通互操作、高安全标准采用并行架构，标准不一，存在多个技术路线，互联互通难度较大具体功能能以更低成本承载企业、政府等用户个性化、规模化业务应用需求算力生产供应平台、数据开放共享平台、智能生态建设平台、产业创新聚集平台以提升国家及地方自主科研创新能力为目的，重点支持各种大规模科学计算和工程计算任务应用领域面向众多应用

47、场景应用领域和应用层级不断扩张，支撑构造不同类型的应用面向AI典型应用场景，如知识图谱、自然语言处理、智能制造、自动驾驶、智慧农业、防洪减灾等基础学科研究、工业制造、生命医疗，模拟仿真、气象环境、天文地理等基础算力占比智能算力占比超算算力占比基础算力占比智能算力占比超算算力占比20162021智算中心的建设蓬勃发展，将成为AIGC算力的坚实基础序号智算中心名称运营状态算力1北京昇腾人工智能计算中心2023年2月13日上线一期100P;短期500P;远期1000P2天津人工智能计算中心2022年12月30日一期完工300P3河北人工智能计算中心2022年2月14日揭牌计划100P4济南人工智能计

48、算中心已接入中国算力网-5青岛人工智能计算中心已接入中国算力网100P6南京鲲鹏昇腾人工智能计算中心2021年7月6日上线800P7南京智能计算中心2021年7月16日投入运营800P8太湖量子智算中心2023年1月1日揭牌-9腾讯长三角人工智能超算中心在建预计1400P10商汤人工智能计算中心2022年1月24日投产同时接入850万路视频;单日处理时长23600年的视频11杭州人工智能计算中心2022年5月20日40P12淮海智算中心在建300P13中国-东盟人工智能计算中心2022年9月23日揭牌一期40P训练/1.4P推理14福建人工智能计算中心2023年4月26日揭牌一期规划105P:

49、总体400P15深圳人工智能融合赋能中心2019年打造人工智能融合赋能平台-16广州人工智能公共算力中心2022年9月15日上线运营一期100P，五年内1000P17浙江“乌镇之光”超算中心2021年9月25日正式启用181.9P18宁波人工智能超算中心2023年1月10日上线一期100P(FP16)/5P(FP64)二期300P(FP16)/15P(FP64)19昆山智算中心2021年12月1日寒武纪中标峰值500P(FP16)20阿里云张北超级智算中心2022年8月30日上线12000P序号智算中心名称运营状态算力21浙江省青田县元宇宙智算中心2022年11月17日投产100P22上海有孚

50、临港云计算数据中心-23中国电信京津冀大数据智算中心2021年底投入运营1-10P24北京数字经济算力中心(规划)2022年4月落户规划超过1000P25阿里云华东智算中心2020年开工，2025年达产-26上海市人工智能公共服务算力平台2023年2月20日揭牌-27山西先进计算中心2018年10月运行2.0528百度阳泉智算中心2022年12月27日开机上线计划100P29中原人工智能计算中心2021年10月21日计划100P30长沙人工智能计算中心2022年11月4日200P;2025年1000P31武汉人工智能计算中心2021年5月31日100P32横琴人工智能超算中心2019年12月成

51、立1.16E(2019年);4E(完全建成)33合肥人工智能计算中心在建100P34成都人工智能计算中心2022年5月10日300P35未来人工智能计算中心2021年9月9日一期300P36重庆人工智能计算中心在建一期400P37甘肃庆阳智算中心预计2023年8月建成使用-38大连人工智能计算中心在建计划100P39哈尔滨人工智能先进计算中心2020年底运营-40沈阳人工智能计算中心2022年8月9日上线100P;后期300P2021年至2023年，国内各地实现多家智算中心的完工、揭牌、上线，支撑AIGC产业的研发及多行业应用。作为核心的智算硬件，AI服务器全球及中国的市场规模持续提升14.7

52、623.335.259.2123.457.90%51.06%68.20%0%10%20%30%40%50%60%70%80%02040608010012014020182019202020212026E中国AI服务器市场规模，2018-2026中国AI服务器市场规模（亿美元）增长率76.8699112.37156.3347.128.81%13.50%39.10%0%5%10%15%20%25%30%35%40%45%05010015020025030035040020182019202020212026E全球AI服务器市场规模，2018-2026全球AI服务器市场规模（亿美元）增长率AI服务器

53、一般是异构服务器，可以根据应用范围采用不同的组合方式，提供AI技术所需的算力。可以针对不同的需求进行硬件的选型及组合。AI服务器可用于智算中心、私有化部署、云服务等方面，AIGC的产业发展要求算力层各供应商产业升级，加快AI服务器的产品迭代及扩大规模。AIGC的产业发展极大地推动了AI芯片市场的未来增长速度及产品丰富性生成式AI的发展和各种基于AI的应用在数据中心、边缘基础设施和端点设备中的广泛使用，将推动AI芯片的生产和部署。到2027年，AI芯片规模预计将比2023年的市场规模增长一倍以上，达到1194亿美元。4425346711194020040060080010001200140020

54、222023E2024E2027E全球AI芯片市场规模及预测（亿美元）,2022-2027，Gartner规模增长2倍2022-2027CAGR：22%传统芯片：主要运行非人工智能算法，CPU（Center processing unit，中央处理器）DSP（Digital Signal Processing，数字信号处理）ISP（Image Signal Processing Unit，图像信号处理）AI芯片传统芯片数据存储单元AI芯片与其他关键组件的关系数据存储单元：进行数据实时的存储调用AI训练对内存需求较高*箭头代表数据的存储及调用广义的AI芯片，可指运算AI算法的芯片，可包括深度学习

55、，也可以包括其他机器算法，AIGC对AI芯片的推动不仅在于对单卡芯片算力的需求，同时也包括对多卡芯片的管理、AI芯片的架构升级、算法与芯片在设计层面的融合，通过算法调整解决解决芯片硬件瓶颈等大模型参数量呈爆炸式，短期内训练侧GPU集群化运算成为必须狭义的AI芯片指针对人工智能算法做了特殊加速设计的芯片，目前来讲，由于深度学习算法在人工智能领域认可度及应用程度不断上升，AI芯片一般指针对大量数据进行数据训练（training）与推断（inference）设计的芯片。分类典型特征GPU图形处理器（Graphics processing unit），在计算方面具有高效的并行性。用于图像处理的GPU芯

56、片因海量数据并行运算能力，被最先引入深度学习。FPGA现场可编程门阵列（Field programmable gate array），是一种集成大量基本门电路及存储器的芯片，最大特点为可编程。具有能耗优势明显、低延时和高吞吐的特性。ASIC专用集成电路（Application specific integrated circuit，特定应用集成电路），是专用定制芯片，为实现特定要求而定制的芯片。除不能扩展应用以外，在功耗、可靠性、体积方面都有优势。类脑芯片“类脑芯片”是指参考人脑神经元结构和人脑感知认知方式来设计的芯片。目前仍然处于探索阶段。量子计算(量子芯片)基于量子力学的新型半导体芯片，它

57、利用量子力学的特性来实现信息的存储、处理和传输，实现多量子比特的耦合，实现更高的计算能力和更复杂的逻辑运算。具有高迁移率，即量子芯片可以同时处理多个任务;同时具备强稳定性。制造和维护成本高，研发和生产成本也非常高。目前仍然处于探索阶段。光子芯片利用量子力学原理来制造的特殊芯片，它可以实现对光子信息的操作和处理，光子芯片具有高计算速度、低功耗、低时延等特点，且不易受到温度、电磁场和噪声变化的影响，光子器件很难做成芯片，后面需要很长的基础物理学研究，解决大量工程学问题。目前仍然处于探索阶段。英伟达通过对硬件单元的改进与显存升级增强了单张GPU算力的释放，及形成护城河的网络通信、AI生态工具，并且全

58、球内具有成功案例，短期内是大模型训练最适用的AI芯片。随着 Transformer 模型的大规模发展和应用，模型参数量呈爆炸式增长，单卡无法完成相应训练，大模型参数量的指数级增长带来的诸多问题使GPU集群化运算成为必须。短期内，大模型训练端需要GPUGPU多卡集群完成，时间压力下用户倾向选择成熟方案长期看，FPGA、ASIC依然在推理侧具有一席之地，但需要明确场景需求DADL TRAINDL INFFERENCEMLGRAPHCUDA-X AICUDAWorkstationServerCloudFRAMEWORKCLOUD ML SERVICESDEPLOYMENTCUDA-X AI 是软件加

59、速库的集合，建立在CUDA之上，提供对于深度学习、机器学习和高性能计算的优化功能。库与NVIDIA Tensor Core GPU 配合工作，能够将机器学习和数据科学工作负载加速至高达50倍。CUDA-X AI的软件加速库集成到所有深度学习框架和常用的数据科学软件中，且可以部署到多种设备内的NVIDIA GPU上英伟达的CUDA生态在AIGC领域已经逐步养成客户习惯，短期内具有竞争力AIGC时代，内存对算力的整体利用率影响提升，需要新的内存解决思路Transformer模型中的参数数量呈现出2年240倍的超指数增长，而单个GPU内存仅以每2年2倍的速度扩大。而训练AI模型的内存需求，通常是参数

60、数量的几倍，AI训练不可避免地撞上了“内存上限”，“内存上限”不仅是指内存容量，也包括内存传输带宽。同时通信成为算力的瓶颈。无论是芯片内部、芯片间，还是AI加速器之间的通信，都已成为AI训练的瓶颈。过去20年间，运算设备的算力提高了9万倍，虽然存储器从DDR发展到GDDR6x，接口标准从PCIe1.0a升级到NVLink3.0，但是通讯带宽的增长只有30倍。长期看，无法实现堆积显存解决问题。普通需求145GB普通需求36GBAI训练2.5TB0100020003000CY-17CY-21CY-21以AI训练服务器为例，AI训练需要更高的内存容量18%82%计算存储Cadence数据显示，在自然

61、语言类AI负载中，存储消耗的能量占比达到82%存算一体随存储器介质的多样性逐步走向应用成熟，解决AGI时代的存储墙问题目前，主流芯片如CPU、GPU以及DPU均按照冯诺依曼架构设计，由于冯诺依曼架构的局限性，数据的处理遇到了存储墙和功耗墙两大问题。存储器的访问速度远远小于处理器的运算速度，系统整体会受到传输带宽的限制，导致处理器的实际算力远低于理论算力，难以满足大数据应用的快、准响应需求，数据在存储器与处理器之间的频繁迁移带来巨大的传输功耗。存算一体有Flash、SRAM、DRAM等成熟存储介质，同时ReRAM、MRAM等新型存储介质也在快速发展，ReRAM存内计算技术未来具有非常大的应用潜力

62、，尤其是实现大算力的方面，虽然目前工艺成熟度相对不足，但有待突破。标准SRAMDRAMFlashReRAMPCMFeFETMRAM非易失性否否是是是是是多比特存储能力否否是是是是否面积效率低一般高高高高高功耗效率低低高高高高高工艺微缩性好好较差好较好好好成本高较高低低较低低低存储墙和功耗墙的解决思路存内计算近存计算通过高速接口、光互联、3维堆叠、增加片上缓存等方法来提高数据带宽，并把存储器和处理器之间的数据传输距离缩短，以减小功耗。其中，产业界应用较多的是3维堆叠技术与增加片上缓存等方法。存算一体缩短存储器和处理器之间传输基于不同存储器介质的存算一体芯片之间的性能模拟式存内计算是指存储单元内部

63、或阵列周边的信号以模拟信号的方式进行操作。数字式存内计算是指在实际运算过程中，存储单元内部或阵列周边的信号以数字信号的方式进行操作。仍是存算分离，存储器不进行计算存内计算技术革命性解决存储墙问题，高效适配Transformer结构算法在冯诺依曼架构中，数据从存储单元外的存储器获取，处理完毕后再写回存储器，计算核心与存储器之间有限的总带宽直接限制了交换数据的速度，带来存储墙和功耗墙问题。由于带宽导致的实际算力往往低于处理器的理论算力。存内计算，作为一种新型计算架构，直接利用存储器本身进行数据处理，从根本上消除数据搬运，实现存储与计算融合一体化，可突破冯诺依曼架构带来的带宽墙和功耗墙问题。典型的冯

64、诺依曼架构示意图控制单元运算单元片上缓存数字接口外围电路存储阵列大量待处理数据，而总带宽限制交换数据速度处理器存储器控制单元运算单元片上缓存数字接口外围电路存算阵列指令处理器存内计算计算任务计算任务主处理器-存内计算具备接口基于主处理器-存内计算芯片的异构计算架构示意图存内计算不仅可打破数据搬运产生的“存储墙”，并且适用于AIAI算法解决处理器与内存间数据传输即可直接提升实际算力此外，存内计算及存内逻辑非常适合人工智能/深度学习的算法计算，人工智能/深度学习的算法中有大量的矩阵乘法计算，其本质是乘累加（Multiply-Accumulate，MAC）运算，存算架构可以将计算直接映射到存储结构中

65、，具有高能效比和低延迟性。生成式AI中大量算法所依赖的Transformer结构同样可以适合存内计算完成。例如，Mythic已于2021年推出基于NOR Flash 的存内计算量产芯片M1076，可支持80MB神经网络权重，单个芯片算力达到25TOPS。常用的向量矩阵乘法在深度学习计算中，如果转化到存算一体中，只需要1次存储器的读取操作，就可以完成百万级参数的乘法和加法计算。如果用传统的GPU架构，百万级的乘法加法计算，光是存储器的读取次数就要超过5万次。我认为未来几年都是存算一体飞速发展的黄金时代，这就像以前90年代摩尔定律一样，每年都有几倍的算力提升。存算一体在未来3-5年内可能提升速度更

66、快，每年可能都超过8倍的算力提升。“”知存科技创始人兼CEO CEO 王绍迪目 录Part 01产业基石，算力是AIGC产业的催化剂Part 02软硬兼得，AI新世代呼唤工程化导向的算力支撑Part 04实践真知，AIGC产业算力实践的新范式Part 05来日正长，AI技术的翻涌带来无限可能Part 03层见叠出，商业浪潮下的算力选择思考AIGC产业算力理念：需要基于目标与资源的分配去达成工程学平衡AIGC产业落地的算力选择，更应该强调最优解，而非最大解。在实现AIGC的技术落地过程中，模型的参数量及涌现结果固然重要，但模型在运行过程中所需的算力成本、能耗成本、运营成本等是否能匹配AIGC技术

67、提供的效果及价值突破更为重要。以终为始，贴合行业需求，实现目标与资源平衡，是AIAI新世代下的算力选择依据训练需求（一次开发）核心目标：基于行业Know-How需要实现的AIGC技术功能拆分，实现精准的需求分析其他成本制约因素行业Know-How不仅仅表现在丰富的行业实践经历，而是深入理解客户的业务需求，并且通过管理项目开发的流程完成，在细化需求中寻找到主要矛盾并解决。Why（用户分析）How（项目执行）基于用户的细分行业属性，熟悉细分行业的需求价值基于用户的业务流程细节，对用户的需求矛盾分析基于用户的资源能力，明确用户的负担上限在不同阶段和层面对项目的工作内容从主项、分项、子项甚至单体的各个

68、部分进行拆分（例如采用WBS），实现项目关键节点的管理，完成项目人员的协同、管理、分工及时间资源调配对风险的预知、判断及合理控制预训练基于需求进行fine-tune训练数据量技术实现路径考虑到模型训练“黑盒”机制与多次调优，所需算力与开发过程强相关时间成本(是否尽快抢到实践化的落地）能耗成本(云服务或者算力的使用成本）人员成本(工程化协作的团队）推理需求（长期运营）资源分配：通过选择合适的技术路径实现算力的成本优化参数量规模算法结构模型种类（算力需求系数相关安全性与稳定性网络通信模型规模（参数稀疏程度）时延数据吞吐量模型推理阶段的算力主要为运行模型和数据处理，并且需要考虑产品的使用体验功能需求

69、决定推理能力，推理能力取决训练水平，有限算力资源要进行主次的优先选择AIGC的算力资源选择，需要结合自身部署能力及应用需求综合考量云服务智算中心智算硬件芯片影响算力资源利用的维度（算力提供方在AI算力领域的Know-How及经验）算力直接使用者所需技术要求 芯片的选择及适配 智算硬件的选择及适配 智算中心的选择及适配 接入方式、算力调度、需求分配、弹性扩展、高效稳定、算法优化、通讯传输、第三方生态、故障排查、大模型相关数据及训练工具包（生态）、模型的纳管及生态合作、云边端协同 芯片的选择及适配 智算硬件的选择及适配 租户管理、配额管理、运维管理、资源及作业调度管理、系统监控、安全及稳定 芯片的

70、选择及适配 硬件选型及适配（如内存）、异构算力的调度及配合、网络传输、软件优化、集群架构、环境优化 内存/显存、片内互联及片间互联、AI适配生态工具（包括适配算法及其他硬件）、物理环境支撑、折旧速率 核心计算单元的算力参数 对应的运算精度 单元数量需要从芯片层面解决工程问题，包括芯片互联、构建网络、适配从应用到硬件的环境，工作量大且繁杂，需要具备从0到1的经验丰富的技术团队支持通过服务器等硬件完成自有算力的部署，环境调试，完成大量不同硬件设备的选型、优化及稳定性保障，需要具备成熟的项目案例经验按需取用、灵活扩展、无需各IT系统的复杂运维，直接在完成优化的环境下进行开发可按需适配资源及弹性适配，

71、部署时间更快，可以选择适配AIGC产品/服务的算力资源，减少对于AI算力环境优化的时间及人力成本算力资源的维度不仅包括算力规模大小，要考虑算力部署及运营过程中可以利用的程度。算力是工程化结果，是从芯片到资源服务的多层次构造，需要算力服务方自身在自身专业能力及经验案例上的实际Know-How作为基础。不同需求程度的用户不能唯算力的参数而论，而是要结合自身对于算力部署的能力进行进一步探究。算力作为逻辑资源，场景的复杂性导致算力的评价指标不唯一算力作为逻辑资源，与水电等标准化资源相比就更加复杂、具备更多维度，而技术的发展催生了丰富的计算场景，不同的行业、应用场景对算力更提出了不同的需求。带宽需求时延

72、需求100G10G1G100M10M1M10ms100ms1000ms超算和大型数据处理视觉类（训练）视觉类（推理）视频渲染实时决策工控物联网采集超大型算力（P级）大型算力（TP级）中型算力（GT级）小型算力（24Tops算力，12-bit运算精度，4核存算MPU，支持linux，支持AI超分、插帧、HDR、识别和检测。边WTM-C系列云侧AI芯片基于大容量存储的原位计算，实现数据通信需求10倍降低，大幅度提高计算效率。云知存科技自主研发的边缘侧算力芯片WTM-8系列即将量产。该系列芯片能够提供至少24Tops算力，而功耗仅为市场同类方案的5%，将助力移动设备实现更高性能的图像处理和空间计算致

73、力于推动存算一体产业化链条建设：率先搭建并不断强韧存内计算芯片产业化链条。不仅与国内外主流芯片生产厂家建立了长期稳定的合作关系，还共研实现了存内计算芯片从0到1的工艺突破，成功流片多款芯片，量产两款产品。关注客户需求及技术结合：知存科技与智能终端集成与应用领军企业、智能语音应用领军企业等产业客户建立了密切的协同开发与合作关系。团队深耕存算一体技术：知存科技创始团队自2012年开始存算一体芯片开发，2016年研发出全球第一个支持多层神经网络的存内计算芯片，首次验证了存内计算在深度学习应用中的优势。企业优势：深耕技术，关注产业链生态建设产品路线：逐步提高算力，扩大场景不断完善技术生态合作：与北京大

74、学、清华大学、中科院、南京大学等高校联合承担了多个国家级和省部级科研项目，2023年与北京大学深圳研究生院成立“存算一体联合实验室“。存内计算芯片创新性融入智能穿戴产品功能革新，实现多场景商业落地 背景信息：可穿戴设备将会以更多元化的方式更深入到人们的生活，根据市场调研机构IDC数据预测，2023年可穿戴设备的出货量将同比增长4.6%，达到5.39亿部，全球可穿戴设备市场将以5.1%的五年复合年增长率增长，到2026年底出货量将达到6.284亿部。市场痛点商业价值产品亮点智能穿戴产品的革命需要算力升级部分替代方案难以实现严苛的低功耗、低时延和低成本，需要新的算力方案提供较传统产品实现革命性突破

75、，并且产品成功通过Fonix、盐雾等医规测试，即将批量生产防啸叫：完成助听领域首个NN啸叫抑制应用，能够做到40dB增益下无啸叫，而过往助听器的增益超过30dB SPL就可能引起回声啸叫。人声增强：同时实现8ms NN人声增强，而其他市场方案通常在数百毫秒到数秒之间。功耗显著降低：运行功耗低至1.8mA，而其他市场方案在数mA到数十mA之间。WTM2101基于知存科技存内计算平台，可使用sub-mW级功耗完成大规模深度学习运算，提供智能语音、智能健康解决方案可实现：AI降噪（环境降噪+极致人声保留）实时健康监测（心率/血压/血氧/身体状态）、离线语音识别、AI啸叫抑制、AI人声增强、脑电+肌电

76、监测（情绪识别/指令识别/手势识别）等1.基于存算一体技术，实现NN VAD和上百条语音命令词识别2.超低功耗实现NN环境降噪算法、健康监测与分析算法3.典型应用场景下，工作功耗均在微瓦级别4.采用极小封装尺寸WTM2101芯片产品特点算力升级实现产品的功能智能化进阶智能穿戴易出现产品形态、功能趋同等问题，为占据市场份额，企业需要从细节革新、功能深入，进一步提升产品市场竞争力，例如TWS耳机开始向多功能化、智能化方向发展智能手表提供更加“精准”的健康管理功能VR/AR作为虚拟世界的入口，向成为下一代移动硬件终端演进魅蓝Blus K耳机INMO Air2 AR智能眼镜智能手表助听器解决了混音、低

77、延迟返听和K歌音效三大难题作为魅蓝秋季发布的专业K歌耳机，Blus K搭载WTM2101芯片实现了耳返功能，通过神经网络AI算法真正做到人声与伴奏完美融合、KTV混响和回声效果低功耗下实现更轻量化、更高性能的用户体验迭代INMO Air2通过WTM2101在低于1mA的功耗下实现了免唤醒命令词功能，可以更快速打开应用/操控设备，反应更及时，实现更智能的语音控制、更轻松的操控体验低功耗下突破算力限制，实现实时健康监测过往产品血压、运动心率、疾病风险预测等AI算法必须运行在移动端（需要装APP）或者云端，无法实时监控数据。通过WTM2101健康监测方案，客户实现了PPG实时健康监测（心率/血氧等）

78、，运行功耗极低，测试数据更精准 实时数据处理：可以将物联网产生的大量数据的处理和分析推向设备的边缘，实现实时的数据处理和决策，可减少数据传输的延迟和带宽需求，提高系统的响应速度和效率。数据过滤和筛选：在设备的边缘对数据进行过滤和筛选，只将有用的数据传输到云端进行进一步处理和分析，可减少数据传输的量，降低网络带宽的需求。边缘智能和决策：将一些简单的数据处理和决策逻辑放在设备的边缘，减少对云端的依赖，可以提高系统的可靠性和稳定性，同时减少对云端计算资源的需求。数据安全和隐私保护：将一些敏感的数据处理和存储在设备的边缘，减少对云端的数据传输。这样可以提高数据的安全性和隐私保护，降低数据泄露的风险。重

79、点厂商产品及服务能力分析博云自主研发的一体化边缘计算平台，充分释放物联网场景下的AI算力 公司简介：博云成立于2012年，坐落于苏州工业园区，是一家集科研创新于一体的国家高新技术企业公司。专注为企业级客户提供自主可控，以容器和云资源调度技术为基础的云操作系统相关的基础软件、解决方案与技术服务，包括容器云产品族、云资源管理系统、开发支撑软件DevOps三大系列产品与服务。公司为企业的数字化转型提供有力支撑，包含传统应用、新型云原生应用、边缘计算应用和高性能计算应用等广泛异构应用的运行承载与调度，同时通过开发支撑软件DevOps大幅提升应用开发效率。通过多云资源管理、应用承载调度和开发支撑三位一体

80、的软件工具助力企业IT架构革新和业务敏捷创新。发现与注册告警中心终端设备模型终端设备管理镜像管理OTA管理边缘监控租户管理负载均衡集群管理算力调度工业设备消费电子专用设备中心云端模型下发应用下发数据同步网络管理安全管理配置管理容灾多活数字报表数据采集控制输出边缘端设备端远程运维边缘网络工业协议处理时序数据库消息通道物联网协议处理视频协议处理设备监控故障自愈终端侧设备接入访问授权设备发现设备驱动设备模型设备元数据设备孪生云边协同训练推理支持模型管理样本管理标注管理联邦学习增量训练协同推理应用监控边缘轻量化容器运行时服务注册服务发布OTA升级中间件应用GPU集群池化管理连通性与协议管理算力与应用环

81、境管理设备管理AI云边协同管理日志中心消息路由博云边缘计算平台架构 解决延迟问题，提高数据处理实时性：实现近距离的数据处理，从而大大降低延迟，可应用于实时性要求较高的应用场景。减少网络依赖，解决带宽问题：仅需重要价值的数据传输到云端，从而减少数据传输量，降低对网络带宽的需求。注重敏感数据，解决数据安全隐患：将敏感的数据处理和存储在设备的边缘，提高数据的安全性和隐私保护，避免数据泄露和隐私问题。避免网络不可靠：减少对云端的依赖，提高系统的可靠性和稳定性，即便网络出现故障或断连，也可保证系统部分正常工作。利用边缘智能，提升数据分析效率：减少对云端计算资源的需求，提高数据分析的效率。边缘计算技术优势

82、边缘计算解决传统物联网计算难题云边协同解决方案，实现大规模核心的调度、运维及管理项目难点实践效果 自动调度：实现自动化的任务排序和调度管理 简化运维：自动对异常中止的任务和中间过程信息进行清理 简单管理：实现了任务可视化状态管理，降低新用户使用成本 数据安全：数据加密存储在后端，保障了任务结果的数据安全 信息可视：实现对用户进行资源和任务执行过程限定和分析 系统兼容：实现了兼容Linux和Windows计算节点执行亮点大量windowswindows应用无法敏捷迭代隔离差运维繁原有高性能软件调度极限仅300核，无法满足现有业务所需的成千上万核调度能力由于每天都会调整算法，原有模式部署需要一周完

83、成，急需流水线提高部署效率客户领域内的高性能应用大量采用windows计算环境性能难以满足原有平台经常遇到资源占用高、作业缺乏隔离、删除作业需后台手动操作等问题AI任务管理AI任务协调模型管理数据集管理协同推理服务增量训练服务联邦学习服务终身学习服务算法模型数据集状态服务AI算法平台云边缘推理训练参数聚合LibModel推理训练参数聚合LibModel云、边协同结果反馈控制调度边缘集群算力调度与应用运行支撑说明图TensorFlowPytorchPaddle-PaddleMindSporeAI训练框架Jetson集群-Master（Jetson nano/TX2）Work作业节点-1（Jets

84、on nano）AI运行环境AI任务调度引擎作业管理算法模型管理算法参数管理数据集管理作业自动化(CICD)Work作业节点-2（Jetson nano）Work作业节点-3（Jetson nano）Work作业节点-N（Jetson nano）AI应用视觉类应用图像类应用MPI类应用NLP类应用项目初期完成对3套业务的7种作业类型支持，覆盖200+计算节点（每台cpu72C、men1TB），超240块GPU卡，验证核心数规模在5000+云边协同AI应用协同管理解决方案说明图项目简介：某技术研究所仿真平台项目需要完成千核规模级别的调度满足算力需求，并且需要在windows环境下完成相应的算法迭

85、代、繁琐运维，博云采用自身研发的云边协同解决方案完成客户需求。重点厂商产品及服务能力分析亿铸科技技术创新+学术实力，致力于打造新一代AI大算力芯片 公司简介：亿铸科技成立于2020年6月，是全球首家基于存算一体这一创新架构，面向数据中心、云计算、中心侧服务器、自动驾驶及边缘计算等场景的AI大算力芯片公司。亿铸科技首次将新型存储器ReRAM及存算一体计算架构相结合，通过全数字化的芯片设计思路，致力于实现数倍性价比、更高能效比、更大算力发展空间的新一代AI大算力芯片。初代产品基于传统工艺制程，可实现1000T（1P）以上的单卡算力。“强”：团队阵容实力强劲“新”：技术全方面创新存算一体架构创新Re

86、RAM新型忆阻器应用创新全数字化技术路径应用创新存算一体超异构系统级创新创始人，董事长及CEO熊大鹏博士在中美有近30年的芯片行业经验，涉及从研发、产品定义、产品销售，到企业的整体管理层面的多方面经历，对中国市场的客户需求与产品有着深刻的理解。亿铸科技具备“四新一强”的优势，并且基于长远市场考虑及技术战略定力，专注国产存算一体大算力研发消除存储墙减少能耗墙降低编译墙非易失性读写速度快稳定性强功耗低CMOS工艺兼容密度极大高低阻值差异大成本优势微缩化发展工艺成熟，可量产出货高精度大算力超高能效比将存算一体架构在大算力真正落地有效算力更大放置参数更多能效比更高软件兼容性好发展天花板更高“ReRAM

87、是业内普遍认为最适合做存算一体大算力的存储介质，未来具有无限潜力”“在满足大算力的同时支持高精度，使得存算一体架构真正在AI大算力方向落地”“AI大算力芯片的系统级创新概念，从整体设计角度结合存算一体和异构计算优势，为大模型时代AI大算力芯片换道发展提供了全新思路”其核心研发团队成员均为来自国内芯片大厂的资深专家，毕业于斯坦福大学、德克萨斯大学奥斯汀分校、哈佛大学、上海交通大学、复旦大学和中国科学技术大学等。研发能力覆盖从ReRAM器件、全数字存算一体计算架构、AI芯片设计、编译器、算子库、应用开发平台等全链条。颗SoC芯片的设计、量产及销售经验年高端集成电路设计和量产经验（工程团队成员平均）

88、篇顶会论文发表（研究团队合计）10+位世界知名院校博士及以上学位的专家教授20+25+40+创始人具有深刻的行业战略及产品理解团队具备丰富的科研级工程落地能力具备云计算、边缘推理计算颠覆性的国产新型芯片的解决方案产品在场景应用当中的优势典型应用场景国内少数基于传统工艺制程落地AI大算力芯片的项目，可满足各类中心侧、边缘侧大算力、低能耗等需求。原型验证芯片(POC)已成功回片点亮。大模型自动驾驶金融教育数据中心特种车辆无人机智转数改工业检测安防超分辨率智慧交通中心侧边缘侧高时延确定性、高精度基于ReRAM的存算一体设计，外围物理环境改变不会降低精度，保证了芯片在应用场景下的高稳定性；另一方面，全

89、数字化设计让芯片保证大算力的同时还能做到支持高精度，可实现AI大算力的多场景应用大算力利用ReRAM新型忆阻器作为介质，充分发挥存算一体架构的优势，完全可以满足数据中心对于单位面积的算力产出、满足边缘侧（如自动驾驶）等升级换代所带来的算力提升需求高算力密度由于解决了存储墙的问题，无需数据搬运，同等算力下，能耗更小，面积更小，适配更多边缘侧场景的物理要求（温度、体积等），并且可以充分利用成熟的工艺制程完成先进制程芯片达到的算力，并且能效比达到10倍以上易部署软件调优简单，易于客户工程落地，可以打破对于国外GPU生态的强依赖目 录Part 01产业基石，算力是AIGC产业的催化剂Part 02软硬

90、兼得，AI新世代呼唤工程化导向的算力支撑Part 04实践真知，AIGC产业算力实践的新范式Part 05来日正长，AI技术的翻涌带来无限可能Part 03层见叠出，商业浪潮下的算力选择思考基于模型的复杂技术栈将形成产业更多生态组合，推动算力层能力下移AIGC的时代仍在快速发展，短期内算力服务商、AI技术服务商、AI应用企业将相互合作，探索可能场景及模式。模型仍需要进化及迭代，并且训练模型的工程化暂无唯一确定的答案，模型的工程化能力还需要探索。闭源模型应用网络平台应用边缘或端侧应用数据中心与模型APIPrompt优化与模型微调非开源预训练模型模型Hub开源模型深度学习框架与中间件等云计算边缘或

91、端侧计算平台计算机硬件与芯片应用层中间层模型层框架层资源层数据MaaS(Model as a Service)应用A中间APIPrompt优化行业模型A大模型B大模型A行业模型B应用B应用C大模型C模型微调训练平台算法框架数据平台AAI云原生平台IaaS服务器芯片层次复杂的技术栈“MaaS”模式形成“算力结合模型”的服务理念更多的生态合作模式亟待解锁，尤其是算力层AIGC会出现大量的长尾场景，算力层需要根据应用寻找细分赛道随着大模型技术的出现，并且多个开源模型进入市场，AIGC的商业价值更多来自于“长尾”而非“头部”场景。在大模型出现之前，AI技术在长尾场景中的落地困难在于AI技术实现效果所需

92、要的成本，大量专业细分的场景可以实现小成本实现，即来自于大模型基础上进行模型能力迁移而生成的中小模型。云服务算力层模型层中间层应用层芯片智算硬件多点开花，在典型/行业场景内出现集中多点开花，在典型行业/场景内出现集中模型数量及参数量不断升级，支持上层应用云服务厂商不断向上拓宽AIGC服务能力，实现尽量去适配多场景的能力实现芯片算力的最大适配及利用率，满足多行业的硬件选型与网络适配推理端的机会可能更多，针对成本有限的中小客户及细分赛道进行专业性优化产业各层商业逻辑项目体量长尾短头中小企业大企业/政府个人大量长尾场景可以重新被AI技术实现AI算力层并非去追求大算力，而是关注大量未发掘场景的可能性A

93、IGC的应用落地是一次演化过程，技术及垂直应用尚无定势AIGC的热度疯狂生长冷静对待理性繁荣应用丰富性AIGC热度及应用丰富性分析，AIGC时代才刚刚开启SimilarWebSimilarWeb数据：周（20232023年7 7月9 9日-20232023年）7 7月1515日访问量同比增长Tome（教育辅助NovelAI（小说生成工具）Midjourney（图像生成）CodeWhisperer（编程辅助）CharacterAI（互动聊天）Shopify（商家客服咨询）18.73%18.73%16.00%16.00%10.24%10.24%5.60%5.60%5.58%5.58%5.58%5.

94、58%部分应用垂类应用已经引发用户长期关注当下阶段示意AIGC的大量应用还未落地，商业模式尚未稳定，目前大量的资源及企业在进行路线探索。算力企业将面临一次场景丰富选择的机遇，国产算力服务厂商有望在国内应用探索期实现突破。终端算力的可能性，智能驾驶与AIGC的结合建立算力新赛道与格局65.5%31.0%10.5%6.0%1.5%8.0%6.0%7.0%10.0%5.0%33.0%60.0%74.0%55.0%40.0%25.0%8.0%24.0%30.0%35.0%1.5%8.0%20.0%35.0%0%20%40%60%80%100%10万元以下10-15万元15-20万元20-25万元25-

95、35万元35万元以上2025E分价格段智能驾驶分级别渗透率预测L0L1L2L2+L392%83%77%69%63%56%48%24%2%4%7%7%6%6%6%6%6%12%16%24%28%33%38%50%1%3%5%8%12%0%20%40%60%80%100%2017201820192020202120222023E2025E2017-2050E分智能辅助驾驶渗透率L0L1L2L2+L3自动驾驶场景的重建和数据生成测车端模型的性能上限数据自动标注数据挖掘车道拓扑预测物体检测合并用于检测不同任务的小模型AIGC在智能驾驶中的作用示例自动驾驶仿真辅助驾驶是重要的AI应用场景，也是AI云端算

96、力及终端算力的结合点，随着AI需求的增加，AI算力需求增加，如AI芯片厂商需要担起研发和整合的责任，其角色不断向整车厂靠近，将逐步整合Tier1和Tier2厂商的能力，和整车厂合作去打造整体的智能驾驶解决方案，重塑传统供应链的界限。大模型可推动现有机器人智能程度的突破，同时需要机器人端侧的算力支撑制造业农业建筑能源商贸物流商业社区医疗健康养老服务教育安全应急焊接、装配、喷涂、搬运、磨抛等机器人耕整地、育种育苗、播种、灌溉、植保、采摘、分选、巡检、挤奶等作业机器人测量、材料配送、钢筋加工、混凝土浇筑、楼面墙面装饰装修、构部件安装和焊接、机电安装等机器人能源基础设施建设、巡检、操作、维护、应急处置

97、等机器人自动引导车、自主移动机器人、配送机器人、自动码垛机、智能分拣机、物流无人机等产品餐饮、配送、迎宾、导览、咨询、清洁、代步等商用机器人、以及烹饪、清洗、监护、陪伴等家用机器人手术、辅助检查、辅助巡检、重症护理、急救、生命支持、康复、检验采样、消毒清洁等医疗机器人残障辅助、助浴、康复训练、家务、情感配合、娱乐休闲、安防监控等助老助残机器人交互、教学、竞赛等教育机器人产品机编程系统，分类建设机器人矿山、民爆、社会安全、应急救援、极限环境等机器人机器人应用场景逐渐泛化，“自动”向真正地“智能”演进能力突破是关键。未来的智能机器人可拥有更丰富的传感器，不仅能获取并处理外部综合信息，甚至能据此自己

98、制定行动目标，其智能主要体现在感知交互、独立决策、自我优化三个方面。其自主性的技术能力突破是当下关键，AIGC技术可成为当下机器人智能的突破关键点。L0L1L2L3L4L5人类智能拖拽录制回放运动控制控制算法行为设计任务设计观察者监督者非结构化环境自主决策与行动执行复杂任务任务推理知识图谱语义地图感控一体环境感知定位导航算法驱动执行规划关节驱动结构驱动结构层关节层运动层感知层认知层全自主自动自主机器人的智能程度分级，L3-L4需要大模型的突破机器人的应用场景人类作用机器人作用智库院长宋涛微信stgg_6406分析师刘瑶微信18401669467北京甲子光年科技服务有限公司是一家科技智库，包含智库、媒体、社群、企业服务版块，立足于中国科技创新前沿阵地，动态跟踪头部科技企业发展和传统产业技术升级案例，致力于推动人工智能、大数据、物联网、云计算、AR/VR交互技术、信息安全、金融科技、大健康等科技创新在产业之中的应用与落地扫码联系商务合作关注甲子光年公众号