《量子位:2023 AIGC算力全景与趋势报告(41页).pdf》由会员分享,可在线阅读,更多相关《量子位:2023 AIGC算力全景与趋势报告(41页).pdf(41页珍藏版)》请在三个皮匠报告上搜索。
1、Q童子位InsightsAIGC算力全景与趋势报告分析师:丁乔量子位智库QbitAlInsights#page#nsights2023年无疑是AIGC元年,ChatGPT引发的各类大模型竞赛中,行业内绕不开的一个话题便是算序言力从何而来。算力目前已经在AIGC产业内形成新共识一算力成为AIGC发展的关键基石。随着英伟达今年一系列不断推陈出新的产品动作,可以看到国际上最先进的算力厂商如今已迈向由超级芯片组成的算力集群阶段。此外,算力厂商也无疑成为AIGC产业下的率先受益方。然而,随着大模型参数的不断增长,OpenAl近期表明算力成为其发展的挑战之一。在AIGC产业繁荣的当下,可以预见的是未来对算
2、力的需求会越来越大。那么,在这场AIGC盛宴中,应该如何应对当下面临的算力危机呢?在AIGC算力全景与超势报告中,量子位智库将从我国算力产业现状、算力产业变革、超势预判等角度出发,通过广泛调研与深度分析,全面立体描绘我国当前AIGC算力产业全景与趋势。我们期待,能够与众多投入、关注、期待中国AIGC算力产业的伙伴一起,共同见证并打造中国AIGC算力产业的蓬勃未来。#page#page#oghtsAIGC驱动,算力产业机遇空前01insights#page#AIGC潮起,算力产业挑战巨大,机遇空前insightsOpenAI发布ChatGPT属于GPT系列中的聊天机器人模型。GPT系列中,GPT
3、3是由1750亿参数组成的语言模型,而GPT4的参数更是达万亿级别。国内目前公布的大模型参数规模也普遍在百亿至千亿级别。如此庞大的参数规模,对于芯片提供商、云服务厂商以及服务器厂商都产生了新需求。全球范围内,GPT具备从底层改变各行业规则的能力,作为AIGC产业的基建,算力产业在未来有望成为一项公共服务渗透入各行各业。基于此,智算中心作为公共算力基础设施,成为AIGC基建中的关键环节。大模型参数量变化游戏规则被改写,MaaS能力成为竞争的关键变量云计算厂商在算力需求暴涨、数据和模型资源稀缺、AI技术广泛智算中心落地背景下,智算中心成为地区AI新基建大模型训练驱动AI服务器需求暴涨,并且正在催生
4、新服务器厂商物种:AI模型一体机GPU为核心的AI训练芯片供不应求,是AIGC算力产业芯片最大挑战和最大机遇ionisBeautiful来源:Inforn#page#芯片:大模型训练需求暴涨,GPU供不应求nsights需求当前大模型参数量在百亿至千亿参数规模,在训练阶段,对芯片的需求从CPU+加速器转变为以GPU主导的大规模并行计算。未来,当多数大模型参数规模到达万亿级别,将产生更大的算力需求。在单芯片性能之上,智算中心能够通过算力的生产-调度-聚合-释放,支持AI产业化发展。缺口目前市场对于英伟达芯片的需求远大于供给。经测算,一万枚英伟达A100芯片是做好AI大模型的算力门槛。国内具备此量
5、级的公司最多只有1家,而GPU芯片持有量超过一万枚的企业不超过5家。算力需求微调阶段推理阶段(日常运营)训练阶段(单次成本)单次GPT-3Small(1.25亿)计算量2.6PFlops/天预计算力ChatGPT2023年2月官网总访问量11亿次;1350.4PFlops/天单次GPT-3XL计算量为27.5PFlops/天用户每次与ChatGPT互动的云计算成本成为约0.01美元;单次GPT-3(175B)计算量3640PFLops/天保守预估,假设用户每次访问网站只进行一次互动芯片需求芯片需求芯片需求GPT3(175B)3640PFLops:35000块A100/113000块A100/1
6、天或433块A100跑1个月采用A100或V100设备天或1024块A100跑1个月成本成本成本成本:920万月单次训练成本:1200万美元运营的算力成本:1100万美元/月来源:阿里公开资料,量子位智库整理#page#nsights服务器:业务增长显著,高端芯片AI服务器火爆。现状AIGC产业的发展将加剧AI服务器行业的增长速度,国产服务器厂商普遍业务增量在30%以上;国内市场中,服务器重新进入洗牌期。需求超势由于AIGC对于高性能计算的需求,云厂商在服务器的选择上以AI服务器为主。据IDC数据,2025年全球AI服务器市场规模将达317.9亿美元,年复合增长率为19%。英伟达GPU短期内面
7、临产能不足问题,或将一定程度上限制AI服务器生产,从而影响出货量。2022年中国服务器市场份额占比2021-2025中国AI服务器市场规模预测800017.009680928.10%50965006.10%400AS4.90%405.109620017.2095.30%1006.20%10.100202120258市场规模(亿元)中兴通讯戴尔联想动海变数据来源:IDC,量子位智库整理#page#page#智算中心:基建级AI算力供应,打造地区经济增长新引擎nsights智能计算中心创新发展指南指出,在智算中心实现80%应用水平的情况下,城市/地区对智算中心的投资可带动人工智能核心产业增长约2.
8、9-3.4倍,带动相关产业增长约36-42倍;未来80%的场景都将基于人工智能,所占据的算力资源主要由智算中心提供,智算中心将成为经济增长的新动力引擎。企业方公共基建中国智能算力发展情况及预测全国超30座城市落地智算中心:阿里云张北超级智算中心、乌兰察布智算中心百亿亿次浮点运算/秒(EFLOPS)北京、天津、河北、南京、无锡、宁波、商汤科技人工智能计算中心杭州、武汉、沈阳、成都、哈尔滨、许昌、1500百度智能云-昆仑芯(盐城)智算中心1271.4广州、宿州、乌镇、昆山、甘肃、长沙百度智能云(济南)智算中心922.8腾讯长三角(上海)人工智能先进计算中心1000640.7腾讯智慧产业长三角(合肥
9、)智算中心曙光5A级智算中心427500268克拉玛依浪潮智算中心155.25317中国电信京津冀大数据智能算力中心0中国联通广东AI智算中心9Z0Z SZOZ tzOz EZOZ ZZOZ TZOZ OZOZ6TOZinsights来源:国家信息中心智能计算中心创新发展指南IDC,量子位智库整#page#ssghtsAIGC算力产业全景02insightsinsights#page#sigsAIGC算力现状链路:芯片一服务器一云平台一模型应用以微软为例芯片资源外部:Azure云服务为ChatGPT构建了超过1万枚英伟达A100GPU芯片的AI计算集群内部:微软正在自研AI芯片一一雅典娜(At
10、hena),将由台积电代工,采用5nm制程首个目标:为OpenAI提供算力引擎,以替代英伟达A100/H100云基础设施平台Azure微软是OpenAI唯一云服务提供商,为GPT训练提供计算资源、存储资源、自动化部署和管理等支持Microsoft模型即应用(MaaS)1)AzureOpenAI服务:企业级解决方案:借助AzureOpenAl,用户可以汇总文本、获取代码建议、为网站生成图像等2)Microsoft 365Copilot使用了GPT-4作为其核心的LLM,将用户的自然语言输入转化为高效的生产力工具,集成在Word、Excel、PowerPoint、Outlook、Teams等多个应
11、用中insiights#page#芯片层现状:AIGC算力2大路线,GPU通用路线和AISC专用路线insightsAI芯片目前有两大路线,一种是英伟达代表的GPU路线,更适合当前AIGC产业对大算力的需求,与AIGC大模型的训练及推理适配度极高。另一种路线则是以国内华为(主力产品)、寒武纪厂商为代表的专用AI芯片路线,此路线下的芯片更适用于垂类小模型,为其提供能效比更高的芯片。此外互联网云厂商的自研芯片也是专用路线,芯片主要服务于自家产品,为自身产品打造性能更优的算力底座。专用芯片路线(Application-specificintegrated通用芯片路线(Graphicsprocessi
12、ngunit)circuit)用来执行专门/定制化任务能够完成多样化算力任务优势局限优势局限擅长大规模并行在厂商被迫重复造专用场景中能够做,研发周期长、计算轮子的前提下,追到更优的能效比商业风险较大,赶上英伟达的难度极兼容英伟达生态,跳出当前的已有生产品易受市场高是最快也是最适态,长期来看有可变化影响用于当下的解决,芯片总体功耗高能实现真正超越不易扩展,难方案以满足后续增加功能的需求#page#服务器层现状:AI服务器成主要增长点,采购占比互联网客户为主insights服务器作为算力的载体,是AIGC基础设施的核心硬件。由于AIGC对于高性能计算的需求,云厂商在服务器的选择上以A服务器为主。据
13、IDC数据,2025年全球AI服务器市场规模将达317.9亿美元,年复合增长率为19%。AIGC产业的发展将加剧AI服务器行业的增长速度,国产服务器厂商普遍业务增量在30%以上;TrendForce日前发布预测,指出随着AI服务器与AI芯片需求同步看涨,预计2023年A服务器(包含搭载GPU、FPGA、ASIC等主芯片)出货量将接近120万台,年塔38.4%,并将2022-2026年AI服务器出货量年复合增长率上调至22%。2022年,国内互联网大厂成为AI服务器的最大买家;2023年,随着AIGC的爆发,根据业内消息,互联网厂商依旧是AI服务器的最大买方。2023AI服务器出货量预测2022
14、年AI服务器采购量占比15.51519%14.522.70915091413961.508617%613.52913145168612.512字节跳动口腾讯ZZ0Z2023TFS#page#云计算现状:MaaS重塑服务模式,新老玩家重构竞争力nsights大模型成为MaaS的基座,MaaS所打造的商业模式也是大模型厂商的主要变现模式一一基于大模型产生有实际应用价值的产品。MaaS模式最早由阿里提出,随后互联网大厂、人工智能企业(如商汤)均已引入MaaS模式。此外,互联网大厂、华为等企业已经将自研芯片用于MaaS底座构建中。云厂商是MaaS的提出者,也是主要参与方。MaaS模式基于大模型,能够最
15、大限度消除大型企业数字化过程中规模化、标准化壁垒,降低企业部署难度;对于C端用户来讲,MaaS可在不同层级里产生价值,有望为云计算厂商带来新增长曲线。云计算厂商承担训练和微调成本,提供MaaS服务大模型训练和通过MaaS赋能MaaS服务提供商分时微调成本高,垂直领域模型52AI渗透率较低分次计费,按照用户的下游用户开发的行业需求量核算投入产出难度高API或模型压缩行业模型L1行业数据基础大模型LOinsightsAtsnsig#page#智算中心现状:地域发展差异明显,东数西算成算力调度关键nsights智算中心是对原有数据中心的升级,其提供的首要是AI算力。具体来讲,智算中心提供包括算力、框
16、架、模型,以及支持应用场景具体的基础设施,将不同层级进行打包,通过本地化部署完成智算中心建设。相比于数据中心,智算中心更贴近应用和产业方东数西算整体规划从计算设备分布来看从供给角度来看北京、广东、浙江、上海、江苏在服目前智算中心多分布在东部和中部内蒙古框纽京津翼框纽务器和A服务器市场中居前五,市场省份,而AIGC业务需要处理海量数和林格尔集群张家口集群份额总计分别达到75%和90%据导致东部算力资源成本过高。将宁夏框纽(2021年数据)。大模型训练等对计算要求高的任务中卫集群芜湖集群移至西部地区,形成“东数西训”,长三角框纽从需求角度看能够有效降低成本,实现算网资源长三角综合成本最优。生态绿甘
17、肃框纽色一体AIGC算力需求主要来源为京津翼具体来讲,针对算力需求供需不平庆阳集群化发展地区、长三角及大湾区。衡等问题,需要通过算力调度将东示范区粤港澳框纽集群天府集群部的算力和数据处理需求转移至成成渝松纽韶关集群本较低的西部地区。其中,优化东重庆集群西部之间互联网络和框纽节点间直贵州枢纽连网络是提升算力调度水平的关键。贵安集群#page#AIGC算力产业全景图insightsMaaS层腾讯云上火山引华阿里云华为云超20京东云O百度智能云从容8M通义千问混元盘古日日新火山方舟言屎云计算平台阿里云百度智能云S腾讯云山火山引家华为云线C天翼云收菜兴购C5首云UCLOUD优刻得紫光云?金山云HUAy
18、UN华云出服务器厂商E.8inspur浪洲号H3CZTE中兴SugonNettrix宁畅SHUAWEILenovo联想计算类芯片存储类芯片通用芯片专用芯片DRAMEEPROMNANDNor FlashCPUASICQ54cxmtNetoc朗科RHYGONSe HUAWEIphytium飞Se HUAWEI阿里巴巴Puya龙芯中科美兆芯修阿里巴巴华容5FPGAQGPU剪级服黄尚菜菜吧羽绒口光用路BHYGON3MOOGOIN意云ALOCIC3D NANDposilicon店ANnARDSAAZURDosiliconM长江存销5种X活天下8城#page#ssghtsAIGC算力产业五新超势03ins
19、ightsinsights#page#背景:算力供给超于复杂,大规模运算需要系统级工程支撑nsights芯片在AIGC算力产业中是最底层也是最关键的硬件产品。AIGC爆发,既是芯片厂商的一个重要分水岭,也将芯片厂商的目标重新聚焦于大算力方向。芯片作为算力直接来源,其发展逻辑是从应用端的需求出发,根据应用端所需要的算力特点提供相应的算力服务。在ChatGPT相关大模型爆发之前,国内芯片厂商一方面在做GPU布局,另一方面更多在满足垂直行业中的特定需求,且后者在国内市场更常见。此外,国产GPU厂商的设计初表也多是按照推理芯片设计。在AIGC爆发后,对芯片的需求集中在训练侧,并且对于训练芯片的算力要求
20、极高,目前只有英伟达能够满足。然而,OpenAl表示目前英伟达的产能已无法满足其更高的算力需求。未来,随着大模型参数量不断攀升,以及芯片制程走到尽头等问题,对于算力的定义将从单芯片性能逐渐转向超算/智算集群的计算能力。国产处理器厂商的挑战与机遇挑战机遇硬件市场将给予国产GPU厂商更多机会。目前在高端AI芯片中,英伟达占据绝对优势,而英伟达的高端国产GPU厂商可选择成熟制程+先进封装的方案来达到与英伟系列在中国只有存量没有增量。达近似的性能指标。在服务器集群层面,通过高速互联技术实,在芯片代工层面,目前优于7nm制程工艺没有对应的国产代现高性能计算。工厂可以承接。目前国产芯片厂商采用两种路径:软
21、件1)兼容CUDA生态;2)构建自身生态业内普遍认为国产芯片在10年内很难突破英伟达的CUDA生态。短期来看,兼容CUDA生态的厂商更适合为通用大模型提供算力对于构建自身生态的厂商来说,其产品更适用于垂类小模型。#page#超势01新机遇:芯片竞逐高性能大算力,引入新计算架构fnsights大模型不同阶段对应不同的芯片需求需求方变化大模型训练阶段大模型推理阶段芯片类型:GPU为主芯片类型:ASIC/FPGA/NPU与GPU均可对芯片模型需,芯片需求:执行大量矩阵运算和计算芯片需求:低延退、低功耗(专用芯片回归到要大算密集任务更符合)最原始力支持GPU优势:高并发和浮点计算能力,专用芯片优势:更
22、高的能源效率和计算的需求密度可大幅提升训练速度GPU劣势:功耗高、成本高专用芯片劣势:缺乏通用性供给方变化技术超势亿铸科技、后摩智能、存算一体架构通过减少/消除数据路运,降低功耗AI芯片厂知存科技等硬件层面海光信息、烧原科技GPU+片间互联实现大规膜并行计算中突破芯片算力性能AI芯片厂商稀疏计算通过减少计算量,降低成本星芯人工智能软件/算法层面高性能网RDMA互联腾讯云星脉网络高带宽接入,提升通信性,缩短训练时长#page#page#超势03新游戏规则:MaaS重塑云服务范式,AIGC商业模式闭环insightsMaas(模型即服务):在算力、算法和应用层中嵌入大模型,以智能底座集成应用并统一
23、对外输出。MaaS的本质是将行业内通用的基础技术提炼整合成服务,满足各类应用场景需求;云计算服务能力的判别式从算力水平转向云智一体能力,在算力基础设施之外,核心竞争力变为把算力、模型和场景应用打造成标准化产品的能力。insic商业化路径AI开发者AI研究者AI使用者AI爱好者多样化应用开发,更多面向C端市场C端市场商业模式:软件订阅付费使用接口,直接调用基模型定制模型体验模型使用云端模型部署础模型,基于不通过行业的B端市场数据进行fine-tune,形成垂直大模型,更多面向B端市场盈利模式:按需计费,根据实际计算量收费算力平台数据仓库模型仓库大模型基础能力#page#超势04一新物种:AI模型
24、一体机呼之欲出,传统产业开箱即用hsighs传统行业构建AIGC产品的痛点云服务厂商在硬件和软件层面完成系内外部数据流通中难数据以确权确保算法模型部统级工程、调试测试环节,最后在用署到服务器上并户侧可以直接使用的AI模型一体机。能高效运行对于数据安全性敏感的行业,通过A模型构建自身模型难度大AI模型一体机用户开箱即用模型一体机,完成模型+服务器的一体化部署,能够保证数据的安全。算力算力资源紧缺百度智能云飞奖一体机-产品架构主要参与方安全能力飞奖深度学习平台硬件类(服务器)云厂商互联网云厂商模型加密统信售华開解中科方德CentosLoongni优势优势国内外主流操作系统硬件部署能力,如何让模型在
25、具备通用大模型能力代码加固昆仑寒武纪英特尔申威英伟达飞膜国内外主流国内外主流服务器上运行效率达到最高分势AI加速芯片CPU芯片比特大陆海光海光龙芯场兆芯劣势硬件能力可售授权飞腾通用版飞脚版通用版软件算法能力以及大模型研发能力主机防护2U机型40机型#page#超势05-新基建:智算中心护航AIGC运营,算力租赁模式成新解nsights算力租赁模式可以有效降低大模型研发门槛,对于研发垂类行业的小模型企业来说,没有购买足够AI服务器的实力,公共算力基础平台将帮助中小型企业搭建其自身所需模型。企业无需购买服务器,通过浏览器便可访问算力中心,并使用算力服务。对于中小企业来讲,无需依赖云厂商所构建的大模
26、型底座进行二次开发,而是通过租用公有算力平台的算力资源,研发垂类行业小模型。国外:以英伟达为代表的超级计算机,目前已建成5座A工厂大模型训练推理过程消耗算力平台向B端用户中小企业有模型研发需求,国内:大量算力资源,成本高昂但无法承担高昂的算力成本直接销售算力1)在建及投入使用的智算中心2)云厂商单独租赁国内:智算中心完成系统级工程国外:英伟达DGXCloud模式NVLink-C2CAI算力一体化交付流程900GB/sGraceHopper生产算力聚合算力调度算力释放算力superchipCPUGPU8个AmpereA100或算力租赁平台HopperH100旗舰算力供需失衡的前提下,算力租赁有望
27、成为行业内供每月3.7万美元HPC加速器,每个节DGXCloud给侧的最优解点共有640GB显存#page#ssghtsAIGC算力产业周期预测OAinsightsinsights#page#个周期三个阶段:基建期、开发期,商业期nsightsAIGC基建期AIGC开发期AIGC商业期率先受益方:算力基础服务提供方大模型厂商制胜点技术创新型公司迎来红利大模型持续国内国外存算一体光子芯片送代的能力5类脑芯片算法、算力、数据、知识仁服务器厂商GPU厂商更具竞争力的企业具备两项能力优势功耗好餐计算效率自研芯片集成创新竞,高性能芯片数量算力大小能力能力,计算集群建设能力带宽大小素0-2年3-5年5年以
28、上#page#AIGC基建期:2023年2025年nsights全球范围内,OpenAI的GPT初步实现智能涌现,其背后的算力支撑是英伟达高性能GPU。在追赶GPT的过程中,需要大模型企业在短时间内完成模型的训练过程。因此,在AIGC初期阶段,大模型研发企业不会考虑除英伟达之外的芯片作为训练阶段的芯片。需求端气泡大小代表规模训练速度英伟达掌握行业绝对话语权英伟达拉动下游代工厂业务,二者为王成为AIGC基建期的关键莫基者英伟达芯片核心点高性能计算集群A服务器需求保持持续、稳定增长,国智算中心内服务器厂商率先受益加快建设,算力网络建设是智算中心运营的关键,算力网络算网运营商在算力网络建设中为主导方
29、在初期阶段,高性能GPU厂商将成为最大收益方;同时,AI服务器厂商是此阶段的强势供给方。目前,AI服务器领域已经出现供不应求的局面供给端短缺充足insightsinsights#page#AIGC开发期:2026年2028年insights在中期阶段(5年内),推理芯片将成为主要需求方。相比于GPU的高算力高功耗以及对应的算力浪费,推理芯片更注重芯片的算效比,对于功耗和成本有更优的把控。此外,这个阶段也会是创新型芯片的机会。分析师预计存算一体芯片、类脑芯片、硅光芯片将有更多市场机会。中期阶段AIGC市场将呈现收敛超势,从百花齐放到逐步淘达,此阶段主要是模型层公司之间的淘汰战。在此阶段,AI服务
30、器厂商的红利期逐渐见顶,智算中心与超算中心走向融合;芯片也从GPU转向NPU/ASIC/FPGA/CPU等多种形式并存。创新型芯片路线中,看好存算一体架构的发展。大模型由训练阶段过渡到需求成熟度气态大小代表规模HST0推理阶段,企业更加注重推理类芯片占比上升,降低算力成本,对于功耗芯片需求超于多元化高的GPU集群,企业趋向稀疏计算寻求替代方案核心点能效比更高的芯片将迎来存算一体机会点芯片智算中心在满足人工智能硅光芯片智算超算中心融合,业务的基础上,为了覆盖类脑满足多样需求更多业务需求,将逐步与芯片超算中心走向融合中期阶段,具备底层创新能力的芯片厂商有望成为最大获益方技术成熟度#page#AIG
31、C商业期:2028年后insights后期阶段(10年内)将在应用端呈现出百花齐放的趋势;届时,AIGC应用将呈现出类app模式,出现各类细分领域的应用程序,通过模型层提供的API接口来发展各自的应用程序。此阶段,大众层面几乎不会感知到算力问题。需求成熟度气泡大小代表规膜AIGC算力层的新商业AIGC应用爆发,模式超于成熟,业务算力感知弱化,量与下游应用需求成核心点正比算力租赁AIGC算力成为公垂类模型使得算力租MaaS共资源赁和MaaS具备更优模型一体的商业前景机后期阶段,算力租赁有望成为算力平台最具规模的盈利模式商业模式成熟度insights#page#ssghtsAIGC算力行业案例集0
32、5insightsinsights#page#阿里云阿里巴巴sights2022年,阿里云在国内首侣MaaS(ModelasaService,模型即服务)理念,提出以AI模型为核心的开发范式,并搭建了一套以AI模型为核心的云计算技术和服务架构,积累了丰富的大模型研发经验、工具和平台,这套能力将全部向大模型初创企业和开发者开放,提供包括模型训练、推理、部署、精调、测评、产品化落地等的全方位服务。以模型为中心,打造MaaS平台服务模型社区模型开发平台模型服务PAI机器学习平台Modelscope国内最活跃的模型社区,提供,交互式建模与可视化建模提供灵活、易用的模型API接口与提供模型不依托于云,丰
33、富的预训练SOTA模型、多元SDK支持万亿参数级模型训练提供高效可同阶段需要数据集和模型知识库。单任务集群规模可达万卡GPU自适应推理优化与高效微调训练的平台服务靠的服务开源Pythonpackage,统一模基于云底座的多区域弹性伸缩能力型接入接口阿里云底座insights10#page#百度智能云百度insights国内首个全栈自研的A基础设施:百度智能云跨越芯片层、框架层、模型层、应用层四层,实现端到端的云智一体全栈AI设施,其中包含自研AI芯片昆仑,自研的深度学习框架和平台,自研的AI大底座,自研的大模型和深入千行百业的垂直行业应用。端到端优化带来实际效果的显著提升:云智一体四层结构互相
34、反馈和相互适配,全栈且深度融合带来的端到端优化,在大模型的训练和推理上均带来了更多的效果提升,具有显著优势。行业与应用智慧能源智能制造智慧金融智慧城市智慧交通+906千卡加速比网盘AI数字人AI质检智能客服文心大模型能源媒体沉淀增强金融航天支100%+资源利用率撑飞浆提AI大底座数据标注知识管理部署运行模型开发模型管理知识生产效709+开发效率提升昆仑芯高速互联加速套件AI服务器AI作业调度弹性训练GPU虚拟化基础云#page#signt腾讯云腾讯腾讯云新一代HCC(High-PerformanceComputingCluster)高性能计算集群,采用腾讯云星海自研服务器,搭载英伟达最新代次H
35、800GPU,服务器之间采用业界最高的3.2T超高互联带宽,为大模型训练、自动驾驶、科学计算等提供高性能、高带宽和低延退的集群算力。腾讯高性能计算集群为MaaS提供充沛算力。腾讯云MaaS全景图MaaS高性能计算集群应用平台智能应用客户专属大模型细分领域模型训练平台高性能计算集群(TencentHigh-媒体A中台TI-OCR训练平台数智人Performance Computing Cluster行业大模型精调解决方案THCC)以高性能云服务器为节点,通过AI语音助手TI-AOI训练平台智能视频分析平台RDMA(Remote Direct Memory Access)(车载/家居)互联,提供了
36、高带宽和极低延迟的网络TI平台服务,大幅提升网络性能,能满足大规平台&工具模高性能计算、人工智能、大数据推荐等应用的并行计算需求。TI-DataTruth数据标平台TI-ONE训练平台TI-Matrix应用平台太极Angel加速组件应用场景技术底座科研生命行业大模型科学教育金融大模型政务大模型文旅大模型传媒大模型教育大模型工业大规模基础设施仿真AI训练高性能计算集群HCC向量数据库高性能网络:自研星脉计算网络架构#page#华为云华为insights算力是训练大模型的基础。华为在最底层构建了以鹏和异腾为基础的AI算力云平台,以及异构计算架构CANN、全场景AI框架异思MindSpore,AI开
37、发生产线ModelArts等,为大模型开发和运行提供分布式并行加速、算子和编译优化、集群级通信优化等关键能力。基于华为的AI根技术,大模型训练效能可以调优到业界主流GPU的1.1倍。异腾AI云服务除了支持华为全场景AI框架异思Mindspore外,还支持Pytorch、TensorFlow等主流AI框架。异腾聚焦AI基础软硬件,分层开放,促进行业智能升级行业解决方案插件化Adapter框架适配能力演进版本快速适配昇腾训练解决方案异腾推理解决方案3个月1个月支持PyTorch、TensorFlow飞浆等业界框架讯飞火石平台招行A平台深度学习平台星河AI平台联通AI平台动态Shape算子满足度动态
38、Shape能力二进制算子库Mindx异腾应用使能深度学习使能|智能边缘使能优选模型库|行业SDK70%695%消除算子编译时间提升整网性能,并在CV、NLP等1书飞浆M思O PyTorch性能满足场景需求典型场景性能领先A框架算子开发周期算子开发能力AscendC编程语言CANN异构计算架构AscendC编程语言|1400+高性能算子|6大算子库|基础加速库一2人月2人周C/C+编程规范已支持运营商、互联网等客户多个结构化核函数编程方式AI基础硬件昇腾AI系列硬件自定义大Keme开发#page#中科曙光nsightsSugon中科曙光基于在智能计算领域的深耕,构建了完备的异构智能算力技术体系,
39、实现了包含核心部件、整机、计算系统在内的诸多突破,打造了开放通用的算力底座。此外,还积极协同产学研用,孵化场景化解决方案,推动Al技术的实际应用和落地。0Q鱼O3带录利华行业大模型目前已完成医疗源通信交通创淮互30+计算机视觉Alfor Science国内外主流大模型自然语言处理跨模态多模态大模型适配及解化国古我京我正家包含GPT系列LLaMA系列GLM系列全精度算力供络生态开放包容全国算力服务深度优化服务ERNIE系列牛预区城调区硬件组优化政省模拟兼容主消软件生素A博兼客国内外各类芯片多任务区运行提优化5A级智算中心算力服务平台AI算力集群A维理8编泽级优化计养源存储历代码量优化网络资同等条
40、件下用资算法螺优化大模型训练效率及训练稳定性人工智能算力基础设施显著提升#page#MOFFETTA墨芯人工智能nsighs全面赋能大模型行业落地与AIGC等应用墨芯人工智能稀疏计算引领者随着A大模型参数的日益攀升,稀疏计算已成为公认的AI发展必然趋势,从根本上解决大0加速水aR网模型发展与算力的矛盾。音频生成AIGC应用文本生成图生成跨模态生成代码生成墨芯人工智能通过核心的稀疏计算技术建立起深厚优势,成为AIGC时代具有代表性的算力企业:率先基于原创的双稀疏算法,推出新一代A计算平台,在算力、功耗、能效比等方印在好小e支撑大模型面实现大幅优化,缓解大模型的高算力需求、高功耗、高费用等痛点,带
41、来“多赢”的效行业落地百联网物联网智慧城市运营商生命科我牌制造果;并且在大模型算力的相关技术、产品、商业落地等方面,均已取得积极进展。京.5OO支持模型200年多模态视觉自然语言处理语音技术:独创双稀疏算法,井率先将稀疏化算法与硬件结合落地适用于各类型CUP推出全球首颗高倍率稀疏芯片Antoum,支持高达32倍稀疏:将此前的业界纪录提AI任务与模型支持算子100+算子涵盖大部分常见模型,并支持客户定制算子升16倍。产品:展获MLPerf冠军,性能位居行业领先飞浆主流框架ONNXoPyiord基于Antoum芯片的墨芯AI计算卡产品,在国际权威基准测评MLPerf中连续两届支持UbuntuCen
42、tOS等主流版本欧拉、龙断、麒麟等国产操作系统全方位生态兼容操作系统获得冠军,并在MLPerf3.0中获得双料冠军。适配浪湖、新华三等主流服务器厂商X86服务器平台,飞病为代表的Arm应用:支持千亿参数大模型,实现高吞吐、低延时,表现优异服务器平台在1300亿参数的GLM-130B大模型上,仅用8张墨芯S30计算卡,吞吐达432token/s,为AIGC大幅加速。NeworkSparseSparseOPT应用范围广:支持BLOOM、OPT、GPT-X、LLaMA、StableDiffusion等主流大模型。MOFFETTA高算力,低功耗,助力降本增效:有效缓解A企业的算力基础设施与运营成本高昂
43、CodecSOLA RuntirmeSparseRTSDK芯人工智能SOLAContaineVirtualizatio等难题,为企业拓展AIGC应用和业务提供强大算力支持。DriverSEALKMD&UMDToolkitToolbox商业落地:实现量产,多领域落地软硬协同产品已在互联网、交通、生命科学领域成单落地:同时适用于运营商、金融、制造、AI计算平台AI计算卡系列Antoum芯片医疗、能源、自动驾驶等众多行业与场景,获得市场认可。#page#am天数智芯insights天数智芯是中国领先的通用GPU高端芯片及超级算力系统提供商。作为国内拥有云边协同、训推组合的完整通用算力系统全方案提供商
44、,其系统架构、指令集、核心算子、软件栈均为自主研发,可独立发展演进。天数智芯已与国内重要行业合作伙伴携手,从源头对设计进行定义,率先实现大规模商业化量产,产品开发和商业应用进度领先国内同行。天数智芯软件栈通用GPU训练产品天坡应用层AI深度学习FFT高性能数字李生港化层适配主流K9SOpenStack应用广开发易支持200余种CPU/服务器泛注移如退展iXStream人工智能模型厂商框架层IGIE推理高PTigch国产架构性能分析加速库BASDNNFFT设备管理本地团队根据全楼可性能可基于通用编译器指令集优化加速支持多种开发语言预期定制客户需求提供GPU架构驱动层UserMade Driver
45、Kernel Mode Driver定制化服务处理器X86ARM通用GPU推理产品一一智铠生态兼容与市场主流产品相云平台灵雀云、DAOClooud、联想云计算、iStation、天翼云、时速云、观测云计算性应用程使用成算法框架PyTorch、Tensorflow、计图、ONNX比,实现2-3倍能高超产本低50Centos、ubuntu、银河麟、统信、OpenEuler、OpenAnolis实际使用性能提升招5理市场主流服务器CPU芯片5aU馄州婚托#page#星尔摩尔线程insights摩尔线程是一家以全功能GPU芯片设计为主的国家高新技术企业,能够为科技生态合作伙伴提供强大的计算加速能力,致
46、力于打造为下一代互联网提供多元算力的元计算平台。摩尔线程基于图形计算、人工智能计算,打造了第一款AIGC内容生成平台摩笔马良支持中英双语,以及支持在简笔画、照片、真实画作、AI画作等多种模式输入下的图文生成、图文编辑,为用户提供零门槛的创作平台,促进用户自由创新表达。基于AI+Graphics的智能内容创作(AIGC)平台简单易用丰富功能软硬一体中英文图文生成、图文编辑、图像零创作门槛和MUSA架构深度集成优化超分、简笔画创作、视频生成等画作赏析#page#insights视拓云SAutoDL视拓云团队的前身是中科院计算所山世光老师创建的中科视拓SeeTaaS部门,从2017年开始专注C端云计
47、算市场和算法社区的研发和运营,面向“大AI圈”内的科研工作者和科技企业,运营AI算力服务平台AutoDL.com和算法社区CodeWithGPU.como产品介绍AutoDL.com是一个算力互联网平台,面向“大AI圈”内的科研工作者和科技企业,提供弹性、省钱、好用的普惠A云算力服务。AutoDL整合了来自全国各地的不同IDC、运营商和云计算厂商的高性价比算力,共有超10个型号的7000多片GPU和国产A加速芯片。自2021年10月公测至今,伴随着生成式AI和东数西算的红利温回“果长Y+HOTKX“不00“是型OO是一TTS86OT7aony“+解能生票以“上降7aony力节点)。特点案例1.
48、弹性弹性充分发挥容器相比虚拟机高效、性能损失小的优势,结合灵活弹性的按量计费方式等成本升降配置等产品设定,使得AutoDL在架构本身、计费方式功能上都极具弹性。2.省钱省钱基于GPU算力应用场景的特点,以高配置主机、独占算力提升核心体验,精筒非必曾服务某AI生成LOGO用户,在短短三天内提供了800+卡3090+A5000的混合GPU资要件、共享高成本资源降低服务成本使AutoDL成为好用不贵的GPU云算力平台。源池,帮助用户成功应对了社区裂变带来的流量高峰,保证了终端客户的用户体验3.好用站在科研工作者和科技企业的角度提供好用的功能,比如:打通CodewithGP使得便利的分享或使用镜像和模
49、型;团队子账号管理;接口调用AIGC弹性部署等。在弹性、省钱的同时,还有很好的用户体验。#page#亿锡科技亿铸科技insights亿铸科技致力于基于新型存储器ReRAM研发存算一体AI大算力芯片,是全球首家基于存算一体超异构创新架构,面向数据中心、云计算、自动驾驶、中心侧服务器等场景的AI大算力芯片公司。初代产品基于传统工艺制程,可实现500-1000T单卡算力。亿铸科技存算全数字化技术路径应用创新消除存储墙高精度C存算一体架构创新有效算力更大非易失性一读写速度快一稳定性强一体超异构系统级创新放置参数更多功耗低一CMOS工艺兼容一密度极大型忆阻父减少能耗墙大算力能效比更高高低阻值差异大一成本
50、优势一微缩化发展器应软件兼容性好工艺成熟,可量产出货超高能效比降低编译墙发展天花板更高用创新将存算一体在大算力真正落地应用场景(部分)金融无人机智能独政#page#德盛熊清微智能Tinsights清微智能是可重构计算(CGRA)领导企业,全球首家也是出货量最大的可重构计算芯片商用企业。核心团队来自于清华大学以及海思、英伟达、苹果、AMD等知名企业,专注于可重构计算芯片的创新研发和产业应用,面向云端训推一体,边端自动驾驶,安防监控等智能计算场景,提供高性能算力支持,致力于打造自主可控的可重构通用计算生态。TX5系列TX8系列TX2系列产品产品产品中算力CGRA大算力CGRA小算力CGRA简介简介
51、简介高性能端侧/边缘AI芯片高性能AIOT芯片高性能云端训推一体芯片CGRA可重构网络引擎,CGRA通用计算引擎以国内相对成熟工艺实现国外CGRA可重构计算引擎,超低功耗产品产品产品高能效比,图像处理性能超海思可穿戴,能效比为传统音频先进工艺下顶级性能亮点亮点亮点等同类芯片2-6倍,面积效率较同算力下功耗价格有数倍优势DSP2-5倍以上国际顶级IP产品1.4-4倍可重构ISP、CV、GPU、DSP多核拓展技术,可重构编译技术时空域数据流拓展技术可重构技可重构技可重构技术验证术验证高能效通用处理跨芯片边界互联高能效AI处理术验证#page#Q量子位insights关于量子位智库:量子位旗下科技创新产业链接平台。致力于提供前和技术创新领域产学研体系化研究。面向前沿AI&计算机,生物计算,量子技术及健康医疗等领域最新技术创新进展,提供系统化报告和认知。通过媒体、社群和线下活动,基于专题技术报道及报告、专项交流会等形式,帮助决策者更早掌握创新风向。关于量子位:能领域及前沿科技领域的产业服务平台。微信号:Qbitbot020今日头条、知乎、百家号及各大科技信息平台量子位排名均为科技领域TOP10,内容每天可覆盖数百万人工智能量子位智库小助手全网订阅科技领域从业者#page#