用时:76ms

5G产业报告-PDF版

您的当前位置:首页 > 信息科技
  • 网易数帆&DataFun:网易数据标准实践白皮书(2024版)(47页).pdf

    网易数据标准实践2024版2024版现实生活中,标准与我们息息相关,我们吃的食品需要满足国家标准才能给我们食用,汽车排放达标才能够上路行驶,电脑接口得满足统一的标准才能够与外设对接等等。在数据的世界,数据标准也同等重要。我们期望将数据标准真正应用到实践中去,帮助企业解决资产化不足、数据质量难以提升、数据开发效率低等问题,于是网易开始了数据标准的建设。在本手册中,网易将基于对数据标准的理解,阐述标准的建立并依据标准的建立内容和流程来设计的标准管理产品的介绍以及标准在数据治理过程中的具体实践,希望与大家碰撞出新的认识!导读introduction目录CONTENTSData standard数据标准是什么010102value数据标准价值0303Set up如何建立数据标准053.1 数据标准规划05?收集现行标准05?从局部标准到全局标准06?发现更多数据标准063.2 数据标准制定07?元数据标准07?基础数据标准10?技术标准制定143.3 数据标准发布143.4 数据标准执行153.5 数据标准检查163.6 数据标准维护16Product introduction数据标准产品介绍17044.1 产品总体架构174.2 产品功能模块18?标准概览18?数据标准文件管理19?数据项标准管理19?元数据标准管理22?技术标准管理23?标准流程管理24?标准配置2705practice数据标准和数据中台的结合实践285.1 数据传输295.2 元数据29?表元模型设计30?字段元模型设计31?指标元模型设计32?标签元模型设计325.3 模型设计33?分层规划33?分类规划33?表结构及数据项标准设计345.4 数据开发355.5 数据质量355.6 数据安全36Sum up总结370638-41About us关于我们在实际的工作生产中,我们一般会参照国家标准、地方标准、行业标准等来进行具体的活动,来确保我们生成过程符合监管要求、便于上下游协同等,于是我们会见到如下的标准指导文件:同样,数据标准也会以文件的形式存在,在除了国标、行标定义的标准外,企业内部为了便于各部门采取同样的数据建设规范,通常会使用文件来定义数据标准,以供各部门达成统一的共识。然而文件固然是标准的一种体现形式,但文件是非结构化的,在实际应用中,我们只有理解、提取文件里的内容,将标准应用于产品设计及流程活动当中去,标准才能起到真正的规范约束作用。01 数据标准是什么?01Data standard毫无疑问,这是正确的。但我们还需要将标准践行,以建设数据中台为例,我们知道数据中台强调的是资源整合,在数据层面就是整合多源异构系统中分散在各个孤岛的数据,形成统一的数据服务能力,这是一项艰巨的任务,很难通过互相约定以及默认信任相关方来保障数据的价值发掘,形成真正的数据资产。于是,基于此点将数据标准进行扩充,一是对管理范围的扩充,从狭义的数据标准(指对基础数据本身的规范性约束,如数据格式、类型、值域等)扩充到整个数据中台层面的标准(包含治理各阶段的规范性约束);二是对管理手段的扩充,数据标准不再是指一系列的数据标准化文档,而是一套由规范要求、流程制度、技术工具共同组成的体系,通过这套体系完成标准的规划、制定、发布、执行、检查、维护等行为,来完成数据的标准化以及标准的沉淀。根据信通院发布的数据标准管理实践白皮书定义:数据标准(Data Standards)是指保障数据的内外部使用和交换的一致性和准确性的规范性约束。02免费试用在线咨询在说价值之前,我们先聊聊让我们头疼的问题。人人都在谈论数据标准,但数据标准真的被应用起来了么,我们拿着一堆标准文件,期望企业内部宣贯大家要按照这个标准来,但执行的结果如何?数据集成多源异构数据时,数据工程师真的能快速理解这些数据的实际业务含义么?如果理解成本很高,开发人员可能就会出现认识偏差。终于数据集成进来了,可以开始进行数据建设了,如何保证每一层的数据都是符合质量要求的,靠开发的个人素质么?比如我们一般在dwd层做数据标准化,那么不同主题域的由不同的负责人进行开发,怎么保证标准化的结果似乎满足规范的?dws的数据可信度还能保证么?还能被叫做公共模型层么?再后,数据工程师开发完成后需要对外开放,我们其实开发的不光是其数据,还需要开发它的元数据信息,帮助数据使用方快速的找到需要的数据,如果只是把数据堆在一起,只有研发人员自己知道这个数据是什么、在哪、怎么使用,那是不能够被称为数据资产的。还有很多问题,这里只列举了些典型。当然这些问题,是可以解决的,解决的方式就是数据标准。解决的的过程可能需要的时间比较长,因为标准从管理到落地执行推进并不是一件容易的事,需要从思想上进行转变,但我们总要正确的做事。03下面列举了一些价值,但在实际的应用过程能够发现更多的可能性价值一:建立统一的数据视图建立通用的元模型规范,支持用户自定义扩展,对多源异构数据表进行信息抽象提取,形成统一的元数据层。所有的数据开发完成后发布到数据标准维护的统一的数据目录,通过不同维度的数据目数据标准的价值02value04价值二:建立统一的数据认知首先利用标准完成对多源异构数据的标准化描述,虽然数据在不同系统中的称呼千奇百怪,但只要进入我们的平台都将赋予统一的名姓,使得管理方、开发方、使用方建立统一认知。对于仓外表将数据标准与表字段进行关联,旨在统一含义以及告知未来数据处理的方向;对于仓内表,模型设计之初就需要引用标准,我们知道将数据项进行组合即可得到模型,数据元即为标准数据项池,模型设计时仅需从池子里选取需要的字段进行组合即可组装成想要的模型。价值三:建立质量稽核体系现有的质量稽核一般是由用户根据业务需求手动设置,不同人员的认知偏差将导致数据质量难以控制。数据标准通过数据元的表示类属性,根据其格式、类型等要求自动生成质量稽核规则,当某张表的字段绑定了数据元时,即可根据数据元的质量信息要求自动生成稽核任务,且保证了源头定义的一致性。价值四:面向未来的数据治理我们知道,工具的终极目的都是为了降本提效。效率提升是要靠流程规范的,流程足够规范,在某种程度上可实现流程自动流转。因此,未来的数据治理趋势应当侧重于流程自动化以及阶段智能化,而这两点都需要数据标准的支撑。阶段智能化期望在流程各阶段提供智能识别能力,比如字段的真实含义(挂载数据标准)、资源所属分类、字段枚举值等,减少人工参与。从短期来看,用户从处理者变为审核者,从长期来看,用户干预的行为反哺识别模型,增加识别准确性,可降低人力成本;流程自动化依赖阶段智能化以及人工干预的结果,将各阶段进行串联,上下游尽可能完美对接,当上游阶段达到下游准入条件时,可自动触发流程运作,当然该过程也需要统一上下游语言(即数据标准),在实际实践中,可通过试运行进行验证。标准的价值还有很多,限于篇幅不过多赘述,大家可以不断发现标准的应用场景。说完标准的价值了,那么我们该如何建立数据标准呢?录进行多维筛选,满足各类用户的检索需要,达到资产的可管、可用、可查的目标。05在早期的业务发展过程中,企业为了解决当下的业务问题,各业务条线已建设自己个性化的业务系统,在建设的过程中为了保证内部通信,或多或少都已存在局部的数据标准。因此,建设统一的数据标准很大程度上是对局部标准进行收口,一般来说,可收集现行的国家标准或行业标准,将现有标准与国标或行标进行对标,此过程一是可以满足监管需要,二是可大大节省标准制定的人力;另一方面则是考虑所在行业的特点并结合企业的实际需要,逐步构建标准进行推行。具体可参考数据标准的建立的6个步骤,分别是:数据标准规划、数据标准制定、数据标准发布、数据标准执行、数据标准检查、数据标准维护。如何建立数据标准?03Set up数据标准规划标准的规划首先需对企业业务和数据进行调研和分析,结合实际的数据标准需求,明确数据标准的范围。再根据实际情况的不同,逐步推进。收集现行标准可从业务流程出发,圈定参与业务流程的业务实体,通用的业务实体如人,可收集对应现行的国家标准,如对于公民身份证号码应当遵循强制性标准GB 11643,对于性别的代码应当参考推荐性标准GB/T 2261.1的规定,行政区划应当参考GB/T 2260的规定等。具备行业属性的业务实体如商业银行担保物,可参考JR/T 0170.1以及JR/T 0170.2的规定等。06从局部标准到全局标准对于企业各业务条线(部门)已建立的局部标准且不适用于引用现行标准或不存在于现行标准的需要进行收集,对同一业务含义但不同标准描述的项进行评审,在企业内部达成一致,得到最终统一的数据标准。此过程可包含基础类数据标准统一、参照类标准统一、指标类数据标准统一。发现更多数据标准发现更多标准主要应用于以下情况,一是局部标准不明确也无现行标准适用时,二是企业各业务条线垂直系统较多,数据体量较大,缺乏足够的人力及技术手段,但从总体战略的角度期望制定标准时。应对这种情况可依赖(第3节将详细介绍)进行标准的识别及拾取。标准的识别及拾取一般存在两种方式:第一种有明确制定某项标准的需求,则通过定义(第3.2.2.2节详细介绍),确定该项数据标准描述的对象类及特性,再通过关键词扫描及智能识别技术,扫描存量数据,识别与该数据元概念一致的数据项集合,对该集合进行探查获取字段类型分布、长度范围、值域分布等,从而构建数据元的表示描述,形成完整的数据标准。第二种是暂无明确制定某项标准的需求,去探索是否需要对某些数据项制定标准。系统对存量数据进行扫描,遍历所选择的数据源类型中的所有字段名,提取达到重复阈值的字段名,对其制定数据标准。数据标准管理平台数据元概念免费试用在线咨询07元数据标准数据标准制定元数据标准主要规范了平台对于各类元数据及资产的表示方式和组织方式。元模型的制定数据中台是企业数字化转型的基础和中枢系统,将企业全域海量、多源、异构的数据整合资产化,但多源异构数据差异化明显,如何保证数据管理者、使用者、开发者对数据具备统一的认知是亟需解决的问题。良好元模型设计,主旨在于屏蔽底层多源异构系统的复杂度,用统一的语言来描述来自不同应用系统、存储在不同种类数据库的各类数据。我们知道元数据是描述数据的数据,而元模型则是关于模型的数据描述,根据OMG(对象管理组织)提出的四层元模型结构,可以清晰的表达出四层的关系:信息层模型层元模型层元元模型层基础数据由元数据组成,用于描述信息层的数据由元 元数据组成,用于定义元数据的结构和语义由元 元数据结构和语义的,描述所组成,用于描述元模型08可以看出,元数据是个相对的概念,元模型即为元数据的元数据,为了更方便大家理解,这里提供一个实例解释:元模型不仅限于表元模型、字段元模型,还包含指标元模型、标签元模型等,虽然所描述的元数据种类不同,但管理方法上都是一致的,在实践的过程中,可全部纳入数据标准进行管理,也可在对应的子系统中各自维护。免费试用在线咨询09命名及编码规则制定命名规则主要用于规范表名、字段名、任务名称、指标名称、标签名称等,指定某个名称应当使用哪些命名要素组成以及以何种排列顺序组成。编码规则主要用于资产编码、数据元内部标识符、标签编码、指标编码等,指定某个编码应当使用何种编码方式。因此需要指定命名及编码要素范围,一是选取平台已存在的枚举值,如数据分层、主题域或其他已存在的分类枚举;二是用户可自定义常量、自定义枚举值;三是平台提供的可变位序列。通过上述的命名要素,进行排序组合,形成命名及编码规则。以数据元为例子:第一种编码方式可以为“指定标识(常量) 7位自增序列”,可以编码为DE0000001;第二种编码方式可以按照所在分类进行统一编码,类似于“一级分类编码 二级分类编码 三位自增序列”,比如公民身份号码数据元归属分了为”人员类(01)/信息标识类(001)“,那么可以编码为01001001,其他以此类推。数据目录规范制定数据目录提供灵活的数据组织方式,比如数仓开发人员使用数据分层、主题域来组织数据,对于数据管理者,可能更关注于资产盘点,希望能够按照来源系统、管理部门以及安全分类等多种方案进行管理。我们在制定数据目录时,需要分析用户的需求场景,在不同场景下为用户提供更合适的数据视角,便于用户取数用数。一般来说,会先提供数据来源分类、数仓设计分类、数据安全分类,分类的描述信息至少要包含分类名称、英文名称、内部编码,以便于在平台其他模块的应用。且分类方案支持用户在后期的管理过程中进行自定义扩充。10词根的制定词根是为了标准的命名更加规范统一,最终将被应用到字段命名或其他资产的命名上。企业可根据自身积累,对词根进行收集,形成自己的词根库,在制定数据元及字典时,可根据输入的中文名称自动根据词根翻译英文名称。一个完整的词根信息包含英文简称、英文全称、中文全称三个部分,其中文全称支持多个,保证用户在使用词根翻译时相同含义字段能够获取相同的英文简称。另外,为了便于统一管理,需对词根的编码及词根来源进行指定。数据元是基础类数据标准的具象化体现,也是数据标准管理的核心。根据数据标准规划,制定数据元第一种方式是对现行标准进行结构化提取,使用平台进行管理,第二种则是根据自身需要建立企业自己的专业数据元。完整的数据元应当由三部分组成,对象类、特性及表示,如下图所示,只有当对象类及其特性绑定了表示时,才能由数据元概念转变为真正的数据元。对象类:现实世界中的想法、抽象概念或事物的集合,有清楚的边界和含义,并且特性和其行为遵循同样的规则而能够加以标识;,如:车、人、订单等;特性:对象类的所有个体所共有的某种性质,如颜色、性别、年龄、价格等;表示:值域、数据类型的组合,必要时也包括度量单位或字符集,如:格式、值域、长度等;其中,值域可通过名称或码值直接给出、也可通过参考资料给出、也可通过绑定数据字典给出。数据元的制定基础数据标准11因此完整的数据元名称应当为:“对象类词 特性词 表示词”,如人性别代码。在理解了数据元的含义后,如何去制定数据元呢?我们可参考GB/T 18391标准的第16部分,有兴趣的朋友可以去了解下,这里结合我们的理解给出数据元的结构化描述。在制定数据元时,我们通常会从6个方面描述数据元的基本属性:标识类属性、定义类属性、关系类属性、表示类属性、管理类属性、附加类属性,如下表,这是一个综合的较为通用的数据元描述模板,在应用过程中需要根据企业实际需要,进行删减补全。免费试用在线咨询12类别标识类中文名称赋予数据元的单个或多个中文字词的指称英文名称赋予数据元的单个或多个英文字词的指称中文全拼数据元中文名称的汉语拼音内部标识符在一个注册机构内,由注册机构分配的、与语言无关的数据元唯一标识符版本在一个注册机构内的一系列逐渐完善的数据元规范中,某个数据元规范发布的标识注册机构经标准化主管部门授权对数据元实施注册、维护和管理的功能组织同义名称一个数据元在应用环境下的不同称谓语境产生或试用数据元的应用环境或应用规程的说明,一个语境可以时一个业务领域、信息系统、数据库、文件或数据模型等,也可以是他们的组合定义表达一个数据元的本质特性并使其区别于所有其他数据元的陈述对象类词数据元名称成分之一,表达了该数据元所属事物或概念的集合特性词数据元名称成分之一,表达了该数据元所属的对象类的某个显著的、有区别的特征应用约束数据元在实际应用中的相关约束分类方案根据对象的共性如:来源、构成、结构、应用、功能等将其排列或分组分类方案值一个分类方案中的某一分类的代码关系当前数据元与其他相关的数据元之间关系的一种描述关联项与【关系】连用,选择关联的数据元表示词数据元名称成分之一,表达了该数据元值域的表示形式数据类型用于表示数据元的符号、字符或其他表示的类型数据格式从业务的角度规定的数据元值的格式需求,包括所允许的最大和/或最小字符长度,数据 元值的表示格式等值域根据相应属性中所规定的数据类型、数据格式而决定的数据元的允许值的集合计量单位属于数值型的数据元值的计量单位状态数据元在其注册的全生存期内所处状态的标示提交机构提出对数据元进行增加、变更(导致版本变更)或废止的组织或组织内的部门提交人实际添加此数据元到系统的人提交日期添加数据元的日期审核人数据元生命周期流转的最新审核人批准日期数据元进入“标准”阶段的日期备注数据元的附加注释定义类关系类表示类管理类附加类属性名称属性描述13数据字典是参照类数据标准的具象体现,一般分为原始字典及标准字典,原始字典指源系统或生产系统中某个原始项数据内容的枚举集合,标准字典一般用于作为数据元值域而存在,在数据处理过程中需要完成原始字典到标准字典的映射,完成字典标准化工作。数据字典核心是其码值列表,码值列表至少要包含两项信息:代码、代码描述,必要时可增加说明字段进行补充。获得码表的两种方式:原始字典:数据库逆向采集、元数据注册时填写字段枚举值、数据探查时值域分布计算、手动录入;标准字典:现行标准的结构化提取、标准识别结果分析、手动录入。数据字典的制定数据项分类规范制定数据项分类与数据目录类似,也是为了满足在不同场景下,对不同对象的分类需求。数据项分类即是对字段级进行分类。在制定数据目录时,需要分析用户的需求场景,在不同场景下为用户提供不同的分类方案。如从管理角度,可以按照描述对象、来源文件进行划分;从数据安全角度可以按照敏感级别、安全级别进行划分等,且分类方案支持用户在后期的管理过程中进行自定义扩充。序号10未知性别21男性22女性499未说明的性别代码代码描述14技术标准制定数据类型映射关系主要记录不同数据源间数据类型的映射关系,便于在数据传输、分发等场景下快速建表,提升数据传输任务的配置效率。异构数据开发模板制定主要管理不同数据源的DDL语句模板,包含新增、删除、更新等,协助数据开发人员选择对应数据库节点时快速根据模板生成语句。在实际应用的过程时,会将具体的分类值关联数据元,再由数据元关联字段,做到快速分类的目的。数据标准发布一般数据标准建议遵循草案、试用、标准、废止的生命周期流转,但可根据实际情况进行简化。对于数据元、数据字典尽可能遵循此生命周期管理,对于词根、数据分类、元模型等可简化流程,可采取草案、上线、下线的生命周期管理。数据标准发布是在标准制定完成进入开发完成态后,可提交发布审核,审核通过后将应用于整个系统,若后续需要进行修订,则需修订完成后重新发布最新版本。另外,发布前需查看版本变化以及影响范围,评估影响后再进行发布生效,并通知相关方进行调整。15数据标准执行数据标准执行主要分两块,第一块是正在进行数据治理的各个阶段进行应用,第二块是新建系统和历史存在的业务系统的应用。数据治理过程的应用主要在(涉及数据标准与各个模块的对接,将在第5节详细介绍):?元数据:需要从业务属性、技术属性、管理属性三个方面对元数据进行描述,需要定义具体的描述?数据资产:需要对各类资产进行盘点,需要定义资产编码及命名规范、定义分类依据、上线标?数据质量:需要建立稽核规则,需要构建质量检测体?数据安全:需要对数据进行分级分类,需要定义数据项分类依据、敏感信息的识别依?模型设计:需要定义数据模型、数据指标、维度度量等数据的标?数据传输:需要对接不同种数据源、来源系统,需要制定不同系统、数据源间的交换依?数据开发:需要定义数据处理依据,字段及字典映射逻辑、各类数据源SQL模板新建的业务系统?必须严格按照发布的标准进行设计,通过使用平台提供的模型设计产品进行管控正在运行的系统?可以通过探查、智能识别的手段建立映射关系16数据标准检查数据标准执行后,需要进行落标检查,确认标准执行的情况以及效果。可参考相关指标,从标准侧进行标准的引用统计、标准化率统计,从质量侧统计表及字段质量评分,多角度去判断指标执行情况及应用效果。数据标准维护维护数据标准沉淀数据标准?在实际执行的过程中,可能现行标准发生修订,企业自身业务规则发生变化,都需要对已发布的标准进行修?修订要严格按照生命周期流转要求,记录版本变化,评估变更影响,在进行重新发布生效?随着标准的累计,我们需要沉淀所在行业的标?通过标准沉淀,建立标准资产,形成行业最佳实践,提升企业在所在行业的地位在了解了如何建立数据标准后,我们可以着手开始干了。但工欲善其事必先利其器,一个合适的数据标准管理工具可以帮助我们更方便、更高效的制定和管理数据标准。因此我们基于数据标准管理流程、管理内容的分析,并充分考虑不同行业对标准管理需求的不一致性,对数据标准管理产品进行功能设计,本章将详细介绍产品的各个模块。17数据标准产品介绍04Product introduction产品总体架构标准的规划首先需对企业业务和数据进行调研和分析,结合实际的数据标准需求,明确数据标准的范围。再根据实际情况的不同,逐步推进。标准概览标准资产统计标准落标统计标准流程统计配置管理数据元注册模版配置数据字典注册模版配置流程管理标准审核发布审核我的申请标准规划标准文件行业模版标准拾取标准制定词根数据元标准字典资源目录标准发布数据元发布数据字典发布发布对比标准执行标准映射模型设计元数据治理标准检查落标查询质量稽核模型检查18产品功能模块标准概览主要包含标准资产统计、标准化情况统计、标准流程统计,全方位评估标准建设及使用情况。19数据标准文件管理此模块用于管理当前平台参照的各类标准文件,并与已结构化的标准建立联系,保证标准来源的可信。另外,针对已经做过结构化标准提取的文件,将作为平台预置的标准模板,供用户使用。数据项标准管理数据元管理数据元管理是标准管理核心内容,支持表单及批量导入的方式录入数据元,按照标准生命周期草案、试用、标准、废止对数据元进行管理,支持数据元的批量导出,满足不同场景下查看数据元的需求。定义时也将数据元与稽核规则进行绑定,为质量检测提供依据。另外,支持数据元不同版本之间的比对,获取版本差异,评估标准变更存在的风险。20数据字典管理数据字典管理内容包含原始字典及标准字典,可以认为原始字典是原始数据项的值域分布,标准字典是标准数据项的值域分布。原始字典可主动录入,也可通过数据探查的值域分布进行生成;标准字典满足与数据元同样的生命周期管理,也支持批量导入导出操作。在后续的实现中,将完成从平台已有数据库中存在的字典表进行拾取,同时维护原始字典与标准字典之间的关系,方便用户在进行数据处理时快速进行字典对标。21词根管理词根管理旨在定义英文名称、英文简称、中文名称间的映射关系,为标准的命名提供规范的输入。用户在定义数据元、数据字典或模型字段时,将对输入的中文名称进行拆词,依据词根生成英文名称。除了已支持的词根表单录入外,后续将支持词根的批量导入,帮助用户快速导入已制定好的词根列表。22数据元分类管理数据元分类管理提供了三个层级目录类型,第一种管理的是分类目录,用户对分类方案进行归类;第二种管理的是分类方案,它是基于某种数据元分类依据(如描述对象)提供的一种分类方式;第三种是分类值,它归属于分类方案,在这一层将与真正的数据元进行挂载。因此数据元分类支持分类的基本信息管理,也支持对数据元批量进行关联以及解除关联。命名及编码规则管理命名规则及编码管理要能够将平台中已有的可作为命名要素的枚举值进行收集管理,支持用户添加自定义元素,用户可通过点击或拖拽的方式将元素进行组合形成命名规则及编码规则。元数据标准管理表名设计组成元素:组成元素:数据分层一级主题域二级主题域增全量后缀自定义元素表名主体dwsfirst_themetable_namestratege唯一值检测值域检测无检测值域检测23资源目录管理资源目录管理与数据项分类管理类似,但分类的对象不同,此处分类主要是对平台各类资产的编目,提供多种视角、多种方案对表、指标、标签等进行分类管理,应用于统一的资产目录进行展示,让资产可理解、可识别、易查找。数据类型映射关系管理主要管理不同数据源间数据类型的映射关系,如下表示例,随着数据源种类的增加,此模块支持多数据源类型交叉映射。源表字段类型INTBITInt32BOOLEANBOOLEANUInt8FLOAT.REAL.Float32.DOUBLEFLOAT,DOUBLEFloat64Hiveclickhouse技术标准管理24DDL模板管理主要管理不同数据源的DDL语句模板,包含新增、删除、更新等,在模型设计时或离线开发时进行引用,根据选中的信息,替换模板中的参数。以mysql建表为例:标准拾取为了解决在资源有限的情况下用户能低成本、高效率地制定数据标准的问题,故产品支持了“标准拾取”的功能。“”是指对数据库中存量数据圈选后进行扫描,按照一定的重复阈值或相似度规则等进行检测,将检测结果给用户选择决定哪些数据可以制定为标准。很多企业随着业务的发展,都已经落地了大量的数据,这些数据均会存在一些共性的内容。如果能将这些存量数据中共性、标准的信息拾取出来,就能大大的降低标准体系建设和落地的难度,帮助企业快速建立标准。这也是“标准拾取”功能的核心价值点。标准拾取标准流程管理2526审核管理审核管理主要是对标准生命周期流转的申请以及标准的发布申请进行操作,审核人员可根据实际情况评估,选择通过或拒绝。标准发布标准发布采取整包发布的方式,若将同一批次的数据元列表发布一个大版本,保证平台的标准参考基线。需要支持查看当前更新的内容,提交发布申请,比对版本差异,支持查看发布历史等。27标准配置标准配置主要是对数据元及数据字典的元模型进行配置管理,我们提供了较为全面的数据标准结构化表示方法,但根据不同行业对标准描述的需要,可能并不需要这么多描述项,因此提供数据标准的元模型配置,用户可根据实际情况进行启用、停用或新增标准的描述项。数据元模板配置数据字典模板配置28在具体实施过程中,我们期望按照“需求-设计-开发-交付”流程进行建设。在需求设计阶段,应对数据现状进行摸排,确定治理范围以及标准的制定范围。从而在后续的设计中能够规范指标及模型设计,从源头上开始控制元数据及数据的质量,指导开发过程的具体实施。数据标准在治理流程中的位置以及跟各模块产生的交互,如下图所示:设计阶段元模型、词根数据元、数据字典资源分类引入或设计业务指标原子指标衍生指标复合指标维度事实模型关系数据汇聚数据集成服务开发服务编排服务治理现状、需求分析业务调研分层、流程、主题设计数据调研标准设计指标设计模型设计数据传输自助分析离线开发数据质量任务运维数据服务业务指标定义数据处理规范(字段映射、按格式处理)表、字段命名、分类、数据格式规范字段类型映射规范(快速建表)稽核规则定义稽核规则推荐需求阶段开发阶段交付阶段05practice数据标准和数据中台结合实践29数据传输数据传输承担着将多源异构数据集成到大数据平台以及将平台数据分发到其他库的能力,当目标库无对应表时,需要根据来源表进行建表,但不同数据源间的类型差异,需要人工进行匹配,随着数据源种类的不断增加,靠人的经验进行匹配处理已非常困难。标准维护的是不同数据源间类型的映射关系,在建立传输任务时,可根据映射关系快速生成目标表结构,达到快速建表、一键建表的能力。元数据元模型的配置在我们的实践中主要包含对元模型分组管理、系统内置项管理、用户自定义项管理,目前已支持对表、字段、指标、标签的元模型设计。30表元模型设计分组管理系统内置项管理31字段元模型设计 自定义项管理32标签元模型设计指标元模型设计33模型设计除了系统内置的分层外,用户可添加自定义分层对于分层下的表,需要配置表名设计规范,将选取命名要素按照一定顺序排列,得到命名规则分层规划分类规划利用数据目录管理进行分类规划,在资源目录、资产侧按照场景对数据资源进行编目,满足各类用户查数用数需求。如:主题域划分、来源系统划分、安全分类等。ADSDWSDWDDIMODSSTGdim(数仓层级)yh(一级主题)hy(二级主题)member_info(自定义)df(策略)34表结构及数据项标准设计设计表结构时,一方面根据填写的中文描述,自动推荐对应的数据元(若标准存在),另一方面可直接选择数据元,平台将根据选择的数据元自动回填字段名、字段类型、字段描述以及关联的标准数据字典,如下图所示:具体应用一般放在模型设计中心添加字段时进行关联:字段名字段类型字段描述数据元数据字典mem_idSTRING会员IDDE00001mem_typeINT会员类型DE00002DIC_00001mem_nameSTRING会员姓名DE00003.词根中文词根简称词根全称会员memmember姓名namename字典码码值描述VIP会员SVIP超级会员数据元内部标识符数据元英文名称数据元中文名称DE00001mem_id会员IDDE00002mem_type会员类型DE00003mem_name会员姓名关联回填标准字典引用定义命名规范、格式、类型、值域等词根翻译数据元引用字段类型映射35数据开发SQL编辑时根据选择的输入输出表,通过表字段关联的数据元信息,将相同含义的字段自动进行映射,快速生成SQL,用户只需对生成的SQL进行确认即可。在后续的规划中,标准将助力可视化ETL以及自动化ETL,协助用户进行字段映射,根据数据元关联的稽核规则、脱敏规则等,自动获取对应的处理函数,即可生成开发脚本。数据质量数据标准是数据质量稽核规则的主要参考依据,通过将数据质量稽核规则与数据标准关联,一方面可以实现字段级的数据质量校验,另一方面也可以直接构建较为通用的数据质量稽核规则体系,确保规则的全面性和可用性。数据标准DQC拉取拉取建立建立定义规则监控任务新建数据元绑定数据字典绑定规则通用稽核规则体系规则推荐自定义稽核规则推荐数据元与稽核规则关系规则列表36数据安全数据标准可包含业务敏感数据对象和属性,从而实现对数据安全管理相关规则的定义。通过数据元关联,快速生成字段级加密或脱敏规则。安全中心数据标准拉取加密脱敏建立建立数据元数据元与加密/脱敏规则关系定义规则规则列表安全任务安全分类数据项分类建立拉取免费试用在线咨询37总结06Sum up数据标准的建设及管理任重而道远,后续将逐步扩展标准的应用场景,满足各行业客户的需求。随着管理内容的不断丰富,管理流程的不断完善,标准将作为数据中台的基石,为各模块、各流程阶段提供规范性指导及监督。网易数帆大数据历经十余年技术沉淀,以全面的大数据技术、产品及服务,服务企业“看数”、“管数”、“用数”等业务场景,致力于为企业量身打造领先、稳定、可控、创新的全链路数据生产力平台,盘活数据资产。现已成熟应用于金融、国央企、制造、流通、医药等行业,成功助力300 头部客户实现数字化转型,全面释放数据价值。NO.1 产品技术实力居国内第一梯队,获评工信部大数据试点示范项目5年 连续5年入选Gartner多领域标杆厂商,通过信通院等多项首批能力认证9位 9位Apache主流项目PMC/Committer,国内唯一Databricks灯塔300 行业头部客户及合作伙伴1000 授权发明专利38模型以DataOps为核心,通过数据技术、数据资产、数据应用、数据运营四要素生生不息地循环推动数据消费,实现“人人用数据,时时用数据”,支撑数据价值在企业业务场景中落地,让产业数据真正成为可增值的战略资产。数据生产力模型聚焦:金融国央企制造流通医药DataOps数据技术数据资产数据运营数据应用大数据基础平台数据中台开发治理一体化湖仓一体发布中心指标中台实时计算业务指标数据标签数据标准数据模型数据质量稽核规则数据血缘数据安全分类分级数据可视化报告数字孪生大屏客户画像精准营销监管报送智能风控智能决策数据期刊数据人才培训认证数据可视化大赛数据分析大赛数据治理大赛特色方法论网易数帆在DataOps方法论之上,基于实践形成了以数据资产为中心的数据生产力模型。数据技术-数据资产利用数据采集、存取、处理、可视构建企业数据中台,协助客户沉淀数据资产。数据资产-数据应用 基于行业应用场景,通过数据应用建设方法,让数据在业务场景中发挥价值,实现数据价值变现。数据应用-数据运营 结合企业自身数据应用要求,关注人才培养、数据文化建设,通过持续性运营,激发数据长期效用。39产品能力矩阵 基于DataOps数据开发网易大数据基础平台 NDH数据开发治理平台EasyDataFlinkImpalaHiveHDFS/S3AmoroYarn/K8sSpark数据安全模型设计中心数据治理360数据质量指标中台数据地图元数据管理任务运维数据测试数据开发数据集成数据标准面向数据分析的数据治理体系数据服务权限申请敏感识别安全等级数据加密脱敏发布审核规范设计量化评估维度建模数据下线量化ROI成本分析价值分析质量工单强弱规则质量报告稽核监控指标关联指标字典版本管理原子/派子数据血缘资产门户数据检索数据目录元数据发布元数据扫描元数据注册元数据采集标准发布数据分类数据字典数据元自动化运维管理产品优势 01ROI价值模型分析精细化运营管理沉淀企业数字资产02国产底座自主可控核心代码完全掌控适配信创软硬件生态03业务平滑迁移结合业务定制迁移方案提供原厂迁移服务04统一数据资产门户自助式查数、看数、管数05DataOps开发底座数据高质量产出数据加速变现06与有数BI全链路协同数据中台业务价值最大化变现领先产品数据开发治理平台 EasyData以网易特色的DataOps方法论为核心,在业内首先提出并实现开发治理一体化。提供数据开发、数据标准、数据资产地图、数据治理360等全方位能力,使数据开发效率更高、数据质量更有保障,帮助企业实现数据资源化、数据资产化,满足多种业务场景需求。网易大数据基础平台 NDH(NetEase Data Hub)利用数据采集、存取、处理、可视构建企业数据中台,协助客户沉淀数据资产。底层产品指标中台集数据准备、指标定义、指标加工、资产管理、指标维护和共享为一体,为企业提供准确、一致、可信的指标服务,帮助企业进行数据资产的整合和标准化,以及对经营管理过程和结果的度量,实现基于指标的“业务数据化”、“管理数字化”。产品亮点40产品优势 有数BI一款企业级智能大数据敏捷分析平台,灵活满足企业数据收集、多维度分析、多端展示等不同阶段需求,具备业内领先的高性能保障和权限管控能力。充分提升用户数据分析体验,降低使用门槛,用数据连接组织各角色,实现数据驱动决策。有数Chat BI基于网易自研大模型的对话式数据智能助手。提供更便捷、灵活、可信的数据分析新模式,用户通过自然语言对话即可获得准确数据,降低数据消费门槛。私有化部署充分保障企业数据安全,为企业开启数据分析新篇章。亮点产品一数字孪生大屏零代码可搭建的3D可视化大屏,背靠网易游戏级别渲染引擎技术,提供丰富的时空数据展示,多样的数据接入与处理,易用的多场景数据交互能力,满足不同行业需求。亮点产品二响应企业多层级人员用数需求产品能力矩阵 轻量数仓(内置MPP)数据准备数据应用数据分析数据应用数据分析与展示数据建模数据接入全面开放对接高性能保障企业级平台管理移动应用自助取数智能决策数据门户自助式拖拽分析复杂报表移动报表数据大屏智能AI辅助分析多种高级算法报告丰富图表组件可视化数据建模多表关联、数据追加可视化ETL数据填报API接口关系型/分布式数据库关系型/分布式数据库文件类(EXCE/CSV)移动端随时随洞见数据,高效经营决策助力业务增长。自主取数用数,PPT模式的自助可视化分析报告,数据驱动智能决策。减少反复沟通,快速构建轻量级数仓,提升数据准备效能。业务人员开发人员管理人员多版本形态,满足不同类型企业需求大中型企业支持私有化部署,内网部署,信息安全绝对保障。成长型企业提供SaaS版本,灵活部署,开箱即用享高性价比。41数智领航 卓尔不凡

    发布时间2024-09-19 47页 推荐指数推荐指数推荐指数推荐指数推荐指数5星级
  • 华为:数据存储2030(2024版)(57页).pdf

    20302024 版数据存储构建万物互联的智能世界人类社会的文明史,就是一部信息存储方式和传播方式变革的历史。3500 多年前,甲骨文出现,标志着人类的文明史开启;2100 多年前,造纸术的发明,使得知识的传播更加便捷;60 多年前,以机械硬盘为代表的数字化信息记录方式的出现,使得人们可以更加高效地存储和传播信息,进一步促进了人类文明的发展和传承。未来十年,随着以5G/6G、AI、大数据、云计算为代表的新技术飞速发展,人类即将进入YB数据时代,数据存储技术的创新和发展有望开启新的文明发展时代。以数据为中心的高效、绿色和安全的数据基础设施,必将推动人类社会向更高层次的智能化进程迈进,让人类在未来的智能时代中更好地理解世界、探索世界,并勇往直前,开拓未来。前言目 录0601未来数据存储场景1.1 数字化技术驱动人类发展,从信息化进入数字化.081.1.1 医,让健康数据化,让生命有质量.081.1.2 食,用数据换产量,普惠绿色饮食.091.1.3 住,全屋智能数据交互,让空间更人性化.111.1.4 行,数据使能智能低碳出行,开启移动第三空间.121.1.5 城市:数字新基建,让城市有温度,更宜居.131.1.6 企业:数字化工厂重塑生产模式,增强企业韧性.151.1.7 能源:数据使能绿色能源,打造低碳数据中心.171.1.8 数字可信:数据安全应用塑造可信未来.191.2 数字经济的发展推动人类社会即将进入 YB 时代.201.2.1 数据的总量从 175ZB 到 1003ZB,将进入 YB 时代.201.2.2 多样化数据应用,产生多样化数据类型.211.2.3 AI 促进数据觉醒,带来热温冷数据层次变化.221.2.4 云和互联网的数据激增,带来数据架构变化.221.2.5 端边云产生数据 70%向数据中心集中,大规模集约化数据中心形成.221.2.6 2030 年数据的产生主要来自终端,未来边缘和数据中心产生的比例将增加.232402数据存储 2030 愿景及关键特征2.1 先进介质应用.262.1.1 先进介质技术.272.1.2 介质应用创新.302.2 以数据为中心的体系架构.332.2.1 存算分离.342.2.2 存算一体.352.2.3 集群存储.362.3 数据内生安全.372.3.1 主动数据保护.372.3.2 数据零拷贝.382.3.3 零信任存储.39附录 A:参考文献.52附录 B:缩略语.54附录 C:致谢.565103数据存储 2030 倡议2.4 智能数据编织.412.4.1 自动化数据编排.412.4.2 跨域数据协同.422.4.3 存力网络.432.5 数据即应用.442.5.1 内容消费的服务型接口.452.5.2 数据语义提取.452.5.3 数据多模态分析.452.5.4 数据自适应建模.462.6 可持续存储.472.6.1 存储系统级节能.472.6.2 数据传输能效提升.492.6.3 芯片级节能技术.492.6.4 绿色集约标准.5006数据存储 203001未来数据存储场景医生命有质量城市有温度,更宜居企业重塑生产模式食普惠绿色饮食行移动第三空间数字可信可信未来能源绿色能源更智能住空间人性化2030年50%新能源占比行业数字化渗透率2030年50 30年100倍数字基础设施能效提升数据存储2030展望智能世界2030图 1-1 未来数据存储场景07数据存储 203010 年前,人类社会刚刚进入 ZB 数据时代,移动互联网、云计算、大数据刚刚起步;今天,这些技术已经深刻地改变人类社会,而人工智能、区块链、5G/6G、AR/VR、元宇宙等新技术,进一步推动社会进入一个新的智能世界阶段。2030 年,人类将迎来 YB 数据时代1,对比 2020 年,年新增数据增长 23 倍,通用存力增长 10 倍、人工智能存力增长 500 倍2。数字世界和物理世界无缝融合,人与机器实现感知、情感的双向交互;人工智能无所不及,成为科学家的显微镜与望远镜,让我们的认知跨越微小的夸克到广袤的宇宙,千行万业从数字化走向智能化;数字技术持续演进,帮助人类利用数字手段加速实现未来智能世界2030。未来十年,数字技术将帮助人类跨入智能世界,这是一个波澜壮阔的史诗进程,将开启一个与大航海时代、工业革命时代、宇航时代等具有同样历史地位的新时代。08数据存储 20301.1 数字化技术驱动人类发展,从信息化进入数字化医,让健康数据化,让生命有质量过去的十年,是人类健康发展充满“生命力”的十 年,据 WHO(world health statistic 2021)报告显示,全球人口预期寿命从 2000 年的66.8 岁增加到 2019 年的 73.3 岁。伴随着人口老龄化的加速,2030 年全球 60 岁以上人口占比将达到 16.5%,人类对医疗的需求也将激增3。WHO 的 2019 数据显示,全球卫生费用支出占生产总值的 10%,其增长快于全球经济增长。WHO 也预测,2030 年全球护士缺口高达570 万人,医护人员总缺口高达 1000 万人。全球的医疗资源与人口增长分布形成剪刀差。面向未来,如何降低医疗成本,丰富医疗资源和医疗形态,创造新的预防和治疗手段,将帮助解决看病贵,看病难的问题,让人们少生病,让生命更有质量。在下一个十年,创新的解决思路正在不断涌现。通过对健康状态实时数据追踪和建模,把防病与日常生活习惯结合起来,从“治已病”转向“治未病”,包括诸如下列场景:构建知识图谱,让健康更靠谱得益于互联网、物联网、AI 等技术的发展,以及可穿戴设备、家用监测设备等产品的普及,对个人健康建模不再是奢望4。通过实时分析用户身体指标数据、医学临床反应、健康诊疗结果等,形成健康知识图谱;通过对比分析,为用户提供定制的健康解决方案;通过对营养、运动、睡眠等维度的干预,帮助用户逐渐改善不良生活方式,促进个人形成健康的生活习惯。比如业界有公司尝试构建饮食和疾病之间关系的健康知识图谱,可帮助用户改善睡眠质量,进行有效的体重管理,全年接受健康管理的参与者平均每天睡眠增加 35 分钟,体重减轻约 1.5公斤,从而降低因不良生活方式导致的相关疾病的发生概率。传染病蔓延轨迹预测,让疾病预报更准确利用自然语言处理等技术,持续收集并分析全球范围内关于重大公共卫生事件的新闻、报告和搜索引擎指数,从中提取有效数据,并进行科学建模和智能化判断分析,可以有效提升应对公共卫生事件的响应速度和决策能力。比如说业界有公司使用自然语言处理和机器学习,从官方公共卫生组织、数字媒体、全球航空公司票务数据、牲畜健康报告和人口统计声明等多种公共数据来源中,分析了数十亿个数据点,可以 24 小时不间断地分析疾病的传播与蔓延情况。药效精确评估,从“千人一药”到“千人千药”AI 通过学习成千上万的病理诊疗方案,并实时分析结合病人个体综合差异,可以帮助医生给出更具个性化的治疗方案。新加坡研究机构创建了以人工智能技术驱动的药效精准评估平台,该平台可以快速识别每位患者的历史临床数据,针对患者自身情况给出建议的用药剂量和联合用药方案,并在此基础上对肿瘤大小或肿瘤生物标志物水平进行修正。此外,这些数据还可用于患者疗程和后续治疗方案的制定等。AI 精准识别靶区,减少错杀健康细胞个性化的精准医疗的价值,也在帮助对抗人类的天敌-癌症上。在传统的癌症放射治疗过程中,放疗的靶区设定范围较大,消灭癌细胞的同时也误伤了大量健康细胞。自适应放疗借助 AI 技术,在放疗过程中自动识别病灶位置变化,对放疗靶区的影像进行精密地勾画,以实现精准照射,从而减少对健康组织的损害。目前 AI 精准识别靶区,已实现 CT、超声、MRI 等多种影像的靶区自动勾画,将原来 2-3 小时的勾画环节缩短至分秒级,使得放疗对健康组织的损害量降低 30%。09数据存储 2030面向 2030 年,人类可以依托高度灵敏的生物传感器技术与智能硬件支持,实时跟踪身体各项指标,并建立个人的健康知识突破,从而实现自主驱动个人健康,减少对医生的依赖。在 ICT 技术的驱动下,通过精密的软硬件、强大的云边端计算能力和稳定的网络覆盖,使得便携化的医疗设备可以普及到在各个基层医院、社区、甚至家庭等多种场景,可以按需实时采集医疗数据并上传至云端处理中心,在云端构建大数据知识库,通过 AI 调度,实现远程医疗联动。构建云端知识图谱,需要数据存力的规模部署,以容纳更多知识集合。华为预测:到 2030 年,全球通用存力总量将达到 37ZB,相比 2020 年增长 10 倍;AI 相关存力总量占比 63%,相比 2020 年增长 500 倍。食,用数据换产量,普惠绿色饮食民以食为天,实现“零饥饿”被联合国列入2030 可持续发展的目标之一5。据统计,至今全球仍有超过 6.9 亿人在挨饿,预计到 2030 年,受饥饿影响的人数将超过 8.4 亿。农业从事者长期流失:根据国际劳工组织的数据,在全球范围内,从事农业工作的人的比例从 1991 年的43.699%下降到 2019 年的 26.757%。人均耕地面积减少:据世界银行数据显示,在 1968-10数据存储 20302018 这 50 年间,全球人均耕地已从 0.323 公顷下降至 0.184 公顷,下降 43%。土壤农药污染严重:据统计,目前全球 64%的农业土地(大约 2450 万平方公里)面临着农药污染的风险,其中 31%的土地面临着高风险。与此同时,随着消费的升级,人们对于饮食的需求越来越追求吃得健康,吃得放心。2018 年,中国获得食品行业绿色认证的产品数量达到 13,316 个,2019 年,这一数量增至 14,699 个,同比增长10.4%绿色认证产品的背后是对种植环境和技术更高的要求。在迈向 2030 年的进程中,科技和数据正在为农业赋能,帮助突破种植条件的限制,全面提升粮食的产量,让绿色食品进入每个普通人的餐桌。包括诸如下列场景:用精准的数据,让种庄稼不再只靠经验正所谓“栽种有时,收获有时”(a time to plant and a time to pluck up that which is planted)。传统农业何时播种,何时施肥,何时除虫,仅靠经验来判断,会让农业生产有着极大不确定性和产生诸多浪费。ICT 技术赋能农业能够通过对土壤湿度、环境温度、作物状况、地形的特征、气候预期、病虫害程度等分析,获得精准数据,通过精准控制,让土壤和作物处于最佳匹配状态。以玉米为例,仅依据数据进行的自适应播种这一改变,就能带来每公顷 300-600 公斤的增产。农场数字工厂化,让农业生产不再受自然环境的影响农业工厂化的一个典型案例就是在室内种植的“垂直农场”,即用数据构建突破地域限制的标准化生长环境。在垂直农场里,每个环节通过对光照、温度、用水和营养输送等的精确控制,为农作物构建起最为适宜的生长环境。垂直农场无需农药,无需土壤,减低对农业用水的浪费;不受环境气候影响,始终确保新鲜农产品的理想生长条件;创造全球可复制的智能农业模式,利用同一套 ICT 控制系统和数据模型,可在世界上任何一个地方得到几乎一致的生产效果。业界公司的尝试显示,在 7,000 平方米的空间里,可实现蔬菜每 16 天收割一次,达到每年 90 万公斤的惊人产量。面向 2030 年,我们通过 ICT 技术将更多的农田、农具、农作物等关键农业生产要素联接起来,收集并综合利用气候、土壤、农作物生长状态等多类数据,通过精准的数据分析,利用类似“垂直农场”这样的新种植模式,实现精准的农事操作,以提升粮食产量。华为预测:到 2030 年,全球每年产生的数据总量达 1YB,相比 2020 年,增长 23 倍。未来随着数据不断在农业中体现,我们将逐步构建一个更有弹性、更绿色的粮食系统。全球农业每年产生的数据总量达4ZB,相比2020年,增长23倍。11数据存储 2030华为预测:到 2030 年,全球万兆家庭宽带渗透率达 25%,全球智能家居户数达 18 亿,年数据量达 23ZB。住,全屋智能数据交互,让空间更人性化随着人们对居家体验个性化追求的不断增长,基于 ICT 技术的智能家居概念正被普及。据调研报告显示,近 80%的千禧一代和 69.2%的婴儿潮一代都对智能家居技术抱有积极的期待6。在英国,目前 80%的消费者已经意识到智能家居技术,在消费者对技术趋势的认知度上仅次于移动支付,而互操作性已经成为他们当下最大的购买考虑因素。除此之外,对便利和安全的需求也驱动着人们对智能化空间的向往。数字化和数据助力打造未来居家体验,包括诸如下列场景:打造数字化的商品目录,通过自动配送,实现储住分离随着物联网、万兆光纤等新型基础设施的触达,越多越多的新型社区理念不断涌现,为居民提供如社区虚拟团建、宠物智能管控等全局化的服务,促进居民与社区的一体化融合。其中有一些新颖的设计理念,解决了储物与居住之间的矛盾,带给人们更清爽的居家体验。为你家里的物品建立一个数字目录,甚至进行3D 扫描,将不常用的物品寄存在小区统一的仓库中。比如在某个周末,你需要为即将参加的派对挑选一套晚礼服的时候,可以通过全息投影的方式,虚拟选择一套合适的搭配。只需轻轻一个点击,小区自动配送系统,就会通过机器人 10 或者楼宇输送系统快速地将你所选择的衣物送上门。全屋智能结合场景式交互,打造亲切自然的居家体验丰富的智能家居设备和传感器,通过稳定可靠、高联接、高速全覆盖的网络,将收集到的数据传递到家庭智慧大脑。其中的 AI 引擎,通过调节各类家居设备的运行和协同状态,以匹配用户的实时体验需求,最终给用户带来沉浸式、个性化、可成长的全场景智慧体验。多种多样的智能家居设备,通过不同的组合,形成多样化的智能场景。比如智能睡眠辅助系统,根据个体的生理健康特征和睡眠习惯,自动匹配床垫和枕头的软硬度;营造助眠的光环境,刺激褪黑素分泌;播放助眠音乐,舒缓心情;根据家庭环境中湿度、温度、氧气的浓度等指标,提供恒温、恒湿、恒净、恒氧的睡眠环境。2030 年,人们的家中将遍布各类智能家居,生活、娱乐将被新的交互模式来重塑;楼宇将安装各种智能管控设备;社区也将拓展更丰富的智慧功能。而这一切都需要通过大带宽的联接来提供没有时延的居住体验。12数据存储 2030行,数据使能智能低碳出行,开启移动第三空间当下私家车出行成为人类活动的重要组成环节,2020 年全美车辆行驶里程为 2.83 万亿英里;在欧洲,每辆车每年行驶平均距离超过 1 万 2千公里。当前的交通系统面临着诸多挑战:交通变得拥堵,全球碳排放占比 26%7。ICT 技术和出行要素(车、信号灯、行人等)联接起来,通过大数据提供决策支撑,从而实现出行变得更加智能和低碳。包括下列未来场景:自动驾驶汽车驶入“快车道”随着自动驾驶汽车由 L2、L3 向 L4、L5 迈进,公交车、出租汽车、低速物流、垂直行业运输(物流车、矿车)或将率先实现自动驾驶商业化。低速开放道路:自动驾驶汽车在物流配送、清洁消杀、巡逻等领域取得了积极的成果。无人物流配送具备道路场景简单、车速低、危险性小的优势,可以在公共道路提供安全的无人货物配送服务。低速无人驾驶小车在抗击疫情中为医疗物资运输配送、清洁消杀、巡逻测温等工作提供支撑。高速半封闭道路:重卡卡车司机成本高、易超负荷运载、超工时工作,因此重卡的自动化驾驶能够迅速帮助行业降低成本,提高效率,易于形成立竿见影商业收益。据德勤中国智慧物流发展报告预测,无人卡车、人工智能等技术在未来十年左右逐步成熟,将广泛应用于仓储、运输、配送、末端等各个环节。特殊封闭道路:在矿山,港口等环境中,自动驾驶提升安全与效率,创造经济价值。在自动驾驶模式下,矿卡、挖掘机、推土机等多种机械工程车辆协同作业,一旦发生故障或者危险时,指挥人员可在控制中心开启远程接管模式,将车辆移至安全区域。在中国上海洋山港,“5G L4 级智能驾驶重卡”车速最高达到每小时 80 公里,队列行驶间距缩短至 15 米。基于北斗系统厘米级定位,车辆在 15 秒内可实现一次误差仅为 3 厘米的精准停车,单点装卸效率提升了 10%。日常开放全新体验:自动驾驶出租车(Robotaxi)是自动驾驶公司服务出行的必然选择,据调研报告显示,Robotaxi 可取代 63%的网约车/出租车和 27%的公共交通。未来,自动驾驶技术将推动传统车革新,打造迎合不同场景的移动第三空间,甚至会颠覆现有行业的商业模式。比如自动驾驶餐车可能是未来的标配,你和亲朋好友的聚餐可能是以全新的形式展开:预定好一顿午餐,自动驾驶餐车会准时把你们依次接上,根据需求规划好一条风景优美的行驶路线,在欣赏美景的同时,品尝美食,畅聊人生,打造真正属于你们包间。这样既避免了往返餐厅的交通,又保证了就餐期间的私密性。城市空中交通未来,空域是城市交通发展的重要资源,可以搭建高效的空中城市交通网络,将极大程度的释放路网资源,减少市民的出行时间,提高城市的物流效率和应急救援能力。空中应急救援系统:在过去的十年间(2010-2020),摩天大楼如雨后春笋般涌现于全球各大城市,增添了安全隐患。高楼消防、高楼医疗救援成为未来城市的新难题之一。空中应急救援系统的出现,使得消防和医疗救援力量能够快速到达高楼层实施灭火和人员救助,保障居民生命财产安全,成为摩天都市消防、医疗隐患的新解。空中巴士/空中出租车:便捷、高效的交通体验已经成为都市人的核心需求之一,eVOTL 有望成为改善市内交通体验的利器,多家公司的四座飞行器都可以达到 100 公里左右的巡航里程。目前,空中客运试点已经展开,2019 年,该领域的中国科技公司,在浙江启动了全球首13数据存储 2030城市:数字新基建,让城市有温度,更宜居个城市空中交通客运服务,将原本需要 40 分钟的道路交通行程缩短为 5 分钟的空中之旅。为实现城市空中客运(UAM)这类的未来场景,需要高速稳定的空天地一体化网络连接和定位系统、低成本可靠的视觉传感器和激光雷达、安全稳定的自动飞行算法、以及高效实时的指挥调度平台。未来出行是一个多维的创新系统,通过电气化、自主化、共享化、网联化打造一个智能便捷低碳的出行体验,重塑出行体验,孵化创新的出5G、云、AI、区块链、智能传感等各种新技术的快速进步,给未来智慧城市的发展带来了更多新的可能,城市场景也将成为各种新技术的最佳应用创新场所与孵化基地。2020 年,全球投入试点的智慧城市数量将近 1000 个。2020 年相关投资接近 1240 亿美金,同比增长18.9%8。城市的数字化,智能化已成为全球领先城市探索城市可持续发展的最关键路径,数字化和数据支撑诸如下列未来场景:纳米传感,精准感知城市脉搏城市数字化发展的基础是数据,而数据则来源于遍布在城市各个角落,各种各样的传感装置,在所有的传感技术之中,一种低成本、微型化的纳米传感器技术有望成为推动新一轮传感技术革命的“颠覆性”技术,美国麻省理工学院技术评论杂志把这种基于传感器技术的“感知城市”列为2018年全球十大突破性技术之一。石墨烯纳米气敏传感器:这是一种对气味非常敏感的传感器。美国一所大学研制成功利用石华为预测:到 2030 年,全球电动汽车占所销售汽车总量的比例达 82%,中国自动驾驶新车渗透率达 30%以上,整车存力超过 500PB。行服务,提升交通工具的共享效率,帮助缓解交通拥堵,降低出行带来环境污染,让不断激增的出行需求和环境对低碳的追求不再是一个矛盾体。墨烯开发出新型的纳米涂层,他们将这种纳米薄膜集成到气敏传感器的电路中,与目前最好的使用碳基材料的传感器相比,对分子响应提高了 100 倍。未来传感器就能准确识别出空气中的有害气体,有毒气体,爆炸物等,从而大大提升城市对于危险物的感知能力。纳米缝隙传感器:是一种能够识别特定频段声音的传感器,纳米裂缝传感器的表现大大优于传统传声器,能够将特定频段音源准确地识别出来。当把纳米传感器放置在小提琴的表面,它能够精确的记录乐曲中的每一个音符,并且将其“翻译”给外接设备,输出电子乐曲。当把纳米裂缝传感器佩戴在手腕处,它甚至能精确地测量人体的心跳。可以预见,这种技术的突破未来将大大加强城市对于声音的感知能力。全光信息交换,开启万兆互联时代城市数字化转型对海量的信息交换提出挑战,万兆互联的全光城市初步展现出了巨大发展潜力与价值。2021 年 4 月,中国上海发布了“全光智慧城市全球第一城”以 F5G 光网为底座,构建城市“1 毫秒”时延圈,实现全市光高速14数据存储 2030枢纽布局,为后续城市智慧化发展打下了一个坚实的网络基础。未来的全光城市目标架构将包含四个组成部分:全光接入:光联接延伸至家庭、楼宇、企业、5G 基站等城市全场景。全光传输向大型企业、楼宇、5G 基站等末端延伸,支撑各行业数字化转型,赋能 F5G X,5G2B 等行业应用扩展。全光锚点:家庭宽带、政企、5G、数据中心等业务的汇接点,由全光网统一传送;实现多技术协同,支持各类业务的一跳入云。全光交换:城市光网一跳直达。通过全光交叉等技术,打造立体化的全光网络,实现一跳直达、云间高速、云光协同等。全自动运维:实时感知网络动态,主动运维,并能够进行预测性运维,从而实现网络资源弹性化,业务自动化、资源分配自动化,运维自动化。智慧中枢,城市从人治走向 AI 治理随着城市全量数据的打通,融合,AI 从局部的智能走向全场景的智慧,催生新的公共治理主体,未来的城市都需要一个强大的智慧中枢平台,它一方面汇聚来自于城市各个角落的海量数据,另一方面通过平台把数据转变成一种城市治理的先进能力,普惠千行百业,极大提升城市治理效率与用户服务体验。日本丰田公司的早期探索:在丰田未来城市的规划中,每个房屋、建筑、车辆都配备有相应的传感器,这些数据会汇聚到一个城市的智慧中枢平台,由AI 分析人们所处环境状况,通过人车分流,确保道路上车辆与行人之间的绝对安全。基于数据的主动精准政务服务机器识别技术的出现使得非接触服务成为可能,今天在中国大多数发达省份,政务办理已不再需要去政府的服务大厅,通过手机就能够进行远程的自助服务,可以预见未来十年政务服务的数字化,智能化程度将会进入到更高的发展阶段。未来随着海量数据的不断积累与汇聚,人工智能技术的不断成熟,政务服务也必将会更多地向主动服务,精准服务的方向发展,大幅提升城市治理效率与市民的服务体验。以智慧养老为例:上海的街道推行给独居的老人安装智能水表。在老人的同意下,通过实时监测独居老人的用水情况,12 小时内用水量一旦低于 0.01立方米,街道的“一网统管”平台,就会接收到报警信息,并及时通知社区,社区志愿者就会第一时间上门查看老人的情况,通过这些智能设备的使用,使得社区对于独居老人的关怀做到细微之处,给老人的生活带来温暖。下一个十年,将是 5G,光,AI,云,区块链,智能传感等 ICT 技术快速发展的十年,城市将会进入到万兆联接的时代:万兆的企业接入,万兆的家庭宽带接入,万兆的个人无线接入体验。城市与 ICT 技术的结合与聚变必将会在未来产生巨大的裂变效应,大幅提升城市资源的利用率,治理的效率,用户的体验,从而真正实现城市的可持续发展目标,让城市更有温度,更宜居。华为预测:到 2030 年,城市带来的数据占比达到96%,和城市基础设施相关的资源监控、调度、管理产生的数据达到 42%。15数据存储 2030企业:数字化工厂重塑生产模式,增强企业韧性未来十年,人口老龄化导致世界出现巨大的劳动力缺口。联合国报告显示,2030 年 65 岁以上人口比例将超过 12%,25 岁以下人口占比从2020 年的 41%,下降至 2030 年的 39%,全球劳动力短缺超过 8,520 万人。以制造业为例,到2030年,全球制造业面临790万工人的短缺,影响实现产值 6071.4 亿美元9。同时,消费需求的多样化也在影响着生产模式的变化,倒逼企业进行生产模式的革新,如基于“一人经济”的发展,快速调整产品形态,推出一人食套餐、迷你家电,甚至迷你 KTV 等;还要能从情感维度主动激发消费者的购买欲望,对产品的外表、形象、含义进行快速的组合设计,如在短期内定制出各类限量款或联名款。此外,黑天鹅事件也在对企业生产的延续性提出了新的挑战。如新冠疫情原因,2020 年全球GDP 损失了近 3.94 万亿美元的产出,供应链中断是企业增长的最大风险。为此,如何利用数据,保护数据,重塑生产模式,增强产业链韧性的也成为尤为重要的问题,包括诸如下列场景:协作机器人越来越多的企业受制于劳动力短缺的问题,需要企业通过新生产力来迅速补位。协作机器人是工业机器人的一种,最初目的是满足中小企业的定制化和柔性制造需求,成为弥补劳动力短缺的重要补充力量。相比传统的工业机器人,协作机器人更适合干人不想干的工作,比如分类,包装,挑拣等高重复性的工作。协作机器人有几个优势:更安全:协作机器人更加轻巧智能,携带的传感器可以确保它一触即停,可与产线上的工作人员亲密合作,共同完成任务;更快速灵活地部署:协作机器人通过人性化的编程,如拖动示教,自然语言和视觉指导,可以随时投放在新的岗位上,快速完成编程和调试,迅速执行任务;更低的 TCO,更短的 ROI:协作机器人的售价和每年的维修成本远低于传统工业机器人,在过去几年,协作机器人的平均售价下降了一半;目前协作机器人在 3C 和汽车等制造领域应用最为广泛,同时,我们也看到它在医疗化验和检测的应用崭露头角,帮助医务人员减少重复、费时的工作流程如做尿液分析,也可以降低工作人员的传染风险如咽拭子采样。自主移动机器人自主移动机器人(AMR)是制造业向柔性化、智能化发展的关键使能要素,改变企业的生产流程、仓储物流等重要环节。自主移动机器人,具备丰富的环境感知能力、基于现场的动态路径规划能力、灵活避障能力、全局定位能力等。工业制造及物流领域的自主移动机器人,目前主 要 基 于 SLAM(simultaneous localization and mapping,同步定位与地图构建)技术、利用激光导航、视觉导航以及卫星定位等技术,实现自主导航。自主移动机器人可实现产线物流的自动化与无人化,货物的智能拣选、搬运以及出入库等无人化场景。数字仿真,柔性生产为了能够适应多变的市场需求,以在激烈的竞争中取得优势地位,企业必须更为积极地拥抱新的生产模式。柔性生产、柔性制造系统等概念正越来越受更多企业的青睐。柔性生产、柔性制造系统需要通过 ICT 技术进行拟实生产,包括运用仿真、建模、虚拟现实等技术,对新产品的生产制造全过程进行模拟,降低新品开发和设计的成本,更精准地规划生产线的调整成本和生产能力;同时柔性生产的智能任务调度系统会根据工厂的生产能力、订单复杂度和16数据存储 2030交付时间需求,通过分析统筹安排生产任务的发放、生产物料和工具的调配,确保充分发挥出工厂中所有设备和人员的最大生产效率;柔性生产利用视觉编程、自然语言交互、行动捕获等 ICT 技术能力,快速实现对生产设备功能的重新自动编程和定义,以满足企业柔性化生产的需求;物流管理的柔性化利用 ICT 手段来有效地进行仓储和物流管理,避免漏发、发错、发混。以家具企业为例,大规模的定制化下,所产生的每一块板,装饰条,把手等都可能需要有一个属于它自己的识别码或 RFID,来协助自动化的打包和装车规划,以及运输和配送环节的全流程跟踪,真正实现以消费者的需求为中心的智能定制化生产模式。打造有韧性的智能供应系统,帮助企业应对突发性危机越来越多的企业将打造一个有韧性,智能的供应链作为其最重要的战略布局之一。供应链可视化利用 ICT 技术,采集、传递、存储、分析供应链中的上下游订单、物流以及库存等相关指标信息,以图形化的方式展现出来。供应链可视化可以有效提高整条供应链的透明度和可控性,从而大大降低供应链风险。对于上游供货,通过对物料、设备等的追踪,实时显示其整体交付的程度,包括包装、入库、出库、质检等工序的状况,甚至可以追溯其生产流程中的各种状态。帮助企业针对物流中可能出现突发事件,及时调整物流路线,确保物资的准时、安全地到达目的地。对仓库运营环境信息的实时监控,建立远程监控系统,通过各类传感器,用图像化呈现仓库的温度、湿度、灰尘、烟雾浓度等运维信息,一旦发生如火灾、漏水等前期征兆,可及时介入,避免物资的损失。对货物出入库信息的实时追踪,随着货物的流通,通过 IOT、RFID、二维码等技术,自动识别并登记物品的信息,可在远端实时调取货物仓储的状态数据。面向 2030 年,数字化转型推动企业的进一步升级。利用人工智能、传感器、物联网、云计算、5G、AR/VR 等技术来打造新生产力,弥补劳动力缺口,帮助企业把握新的业务商机,拓展企业边界。未来,通过对产品设计、任务分配、设备功能、物流配送等环节的柔性化重塑,实现以人为中心的新生产模式。供应链也将会在数字化的助力下,变得可视化、网状化,增强企业的韧性以应对变化万千的市场环境。华为预测:到 2030 年,企业数字化转型将进一步推动数据服务在企业中的应用,数据服务的支出占比达 87%,支撑智能制造的 AI 存力占企业IT 投资比例达 7%。17数据存储 2030能源:数据使能绿色能源,打造低碳数据中心2015 年巴黎协定在第 21 届联合国气候变化大会上达成全球共识:将全球平均气温相比工业化前水平的增幅限制在远低于 2,尽力将增幅限制在 1.5水平,在本世纪下半叶实现人为排放量与清除量的平衡10。2020 年 9 月,中国在联合国大会上提出中国双碳目标:力争于 2030 年前二氧化碳排放达到峰值,并争取2060 年前实现碳中和。实现全球的气候控制目标,需要从能源的供应、消费和固碳等多角度入手,全方位促进全球能源结构转型。随着能源网络复杂性的提高和行业数字化的进程的发展,ICT 技术成为脱碳解决方案的重要组成部分。提高新能源的比例、适应新的能源结构、充分的发挥 ICT 技术和数据,让绿色能源更智能,实现经济可持续发展,支撑包括如下场景:海上风能,潜在的主力新能源2020 年,全球可再生能源装机容量新增 45%,达到 280GW,其中风能新增 114GW,增长率达到 90%以上。目前在欧洲部分国家,正在积极利用近海发电,其中英国和德国截至 2020 年海上风电装机容量超过 18GW,占全球海上风电的 51%。即便如此,海上风能当前只提供全球电量的 0.3%,还有巨大的发展空间。海上风况优于陆上,风速通常比沿岸陆上高出25%。同时海上风湍流强度小,具有稳定的主导风向,海上风机的容量可以达到陆地风机容量的 34 倍。海上很少有静风期,其发电时间往往能达到 3000 小时/年,更能有效利用风电机组的容量。而伴随着技术改进,海上风电的装机成本大幅降低,预计到 2040 年海上发电成本将比 2019 年下降 60%。全球风能理事会(GWEC)预测,到 2030 年,全球海上风电装机量将从现在的 29.1GW 升至 234GW。未来五年海上风电的增长率将达到 31.5%,海上风电迎来快速发展时期。漂浮光伏(FPV),光伏产业新趋势据国际能源署(IEA)发布的2020 年全球光伏报告,截止 2020 年底全球光伏累计装机容量达到 760.4GW。2020 年,光伏约占所有新增可再生能源总发电量的 42%,其中陆上大型光伏电站一直光伏产业的建站主要模式。但陆上光伏的发展也开始面临土地获取以及成本制约的问题,同时陆上光伏在高温情况下会出现效率下降,漂浮光伏成为新的部署模式。与陆基光伏相比,漂浮光伏不但可以节省用于农业用途的土地,而且相比路基遮阳障碍物更少,灰尘数量更少,同时自然冷却潜力也会提高光伏的性能。2020 年荷兰乌得勒支大学的学者基于北海实际测试及研究论文表明,海上的漂浮光伏表观温度远低于陆基光伏,两个点的光伏面板表面温度差达到 9.36 摄氏度。全年发电量海上漂浮光伏比陆基光伏的年均产出能高出约12.96%。随着技术的不断成熟,漂浮光伏将迎来快速发展时期。2021 年 7 月 14 日世界最大的内陆漂浮光伏系统之一新加坡胜科登格漂浮太阳能电站正式竣工投运,覆盖水面面积 45 公顷18数据存储 2030(相当于约 45 个足球场),覆盖水面上累计安装了 12.2 万块太阳能板,产能达 60 兆瓦。据RethinkEnergy 预计,到 2030 年全球漂浮光伏的市场容量将超过 60GW。而漂浮光伏的全球潜力达到 400GW,足以将太阳能光伏的现有装机容量翻一番,随着技术的成熟,漂浮光伏的部署速度在加速,为可再生能源的全球扩打开了新的领域。打造低碳数据中心与低碳网络,加速“碳中和”进程据 IEA 研究报告显示,自 2010 年以来,全球互联网用户数量翻了一番,全球互联网流量增长了 12 倍,数据中心和传输网络的耗电大幅上升,2019 年全球数据中心电力需求约为 200TWh,约占全球最终电力需求的 0.8%;数据网络消耗约 250TWh,约占全球用电量的 1%,其中移动网络占三分之二。中国 2030 年数据中心用电预计将达突破 4000 亿千瓦时,占全社会用电量的比重将升至 3.7%。而 PUE 每优化 0.1,可节省用电 250 亿度,减少碳排放约千万吨,若全部使用绿电,碳排放每年可以减少 3.2 亿吨。引入绿电和自然冷却降低 PUE 成为低碳数据中心的关键举措。除了引入可再生能源、自然冷却实现数据中心高效、节能,另外一个重要手段就是人工智能的应用。通过数据中心内的传感器收集温度、电量、泵速、耗电率、设定值等各种数据,通过AI算法调整数据中心的运行模式和控制阀值,从而实现降本增效。将人工智能用于数据中心冷却,实现将用于冷却的能量减少 40。据DCD 的报告,欧盟 Horison2020 资助的位于瑞典 BTDC 研究项目,在自然冷却的同时,通过人工智能算法实现冷却系统、IT 负载、服务器风扇和温度协同,PUE 达到 1.01 的最高水平。随着 AI 技术的进一步成熟,配合绿电引入、自然冷却段,数据中心和通信网络将会更加省电、高效,并最终真正实现零碳目标。到 2030 年,世界需要将排放量减少一半,以风能、光伏为代表的新能源正加速部署实现生产侧清洁替代,消费侧通过电气化实现电能替代。ICT作为一个行业,除了自身需要节能减排以外,同时也在赋能其它行业来减少碳排放。华为预测:到 2030 年,数据中心用电占全社会用电量的比重将升至 3.7%,其中存储系统用电占比将达 2532%,提升数据中心绿色能源比例对碳排放改善有着重要作用。19数据存储 2030华为预测:到 2030 年,50%以上的计算场景将采用隐私增强计算技术;85%的企业将采用区块链技术。隐私增强计算、区块链技术以及 IPFS的应用将极大增加不可压缩的加密数据以及分布式账本数据,每年新增数据量将达到 17ZB。超过 80%以上企业部署包括存储系统在内的多层勒索病毒防护体系。数字可信:数据安全应用塑造可信未来在数字化转型的加速驱动下,组织与组织之间、组织与客户之间以及组织内部的互动从物理世界迁移至数字世界,由此而产生了宝贵数字资产,建立数字信任成为组织最重要的战略目标之一。数字信任是一个复杂庞大的系统,包含隐私、安全、身份、透明、数据完整性以及治理和合规等关键领域11。新的技术应用,如区块链、隐私增强技术、人工智能等,以及新的规则定义,将塑造可信的数字未来。包括诸如下列场景:基于区块链的智能合约数字资产为组织和个人带来了史无前例的快捷和便利,但同时也带来被窃取和盗用的高风险。基于区块链技术的智能合约以数字化的形式将合约条款写入区块链中,合约事务的保存和状态处理都在区块链上完成,由于区块链的分布式特性,保障智能合约的存储、读取、执行整个过程透明可跟踪、且不可篡改。基于区块链技术的智能合约在物流、电子商务、金融保险等多个领域有着巨大的潜在市场应用价值。据咨询公司预测,智能合约能将美国的个人房贷成本降低 480-960 美元/年;在美国和欧洲,将银行房贷运营成本降低 30-110 亿美金/年,将个人车险费降低 45-90 美金/年;帮助全球汽车保险公司将保险理赔成本降低 210 亿美金/年。建立新的互联网个人信息调动机制近年来,针对过度收集数据的规则制定和诉讼探索在不断推进。在公平交易的数字战略中,大数据背景下的个人信息的调动机制将会变得更加平衡,兼顾隐私权利和个人信息开发两个目的,在传统告知同意原则的基础上,强调主体对于个人信息的控制权。2021 年,个人信息保护法正式发布,作为中国首部关于个人信息保护的专门法律,重申了个人信息保护工作的多项基本原则,包括公开透明、目的明确、最小必要。未来,个人信息调动机制将从规则框架上继续细化,为用户明确数据收集的场景、用途及风险。GDPR 是目前世界上最严格的针对个人数据的隐私和安全法,由欧盟起草通过,正式生效于2018 年 5 月 25 日。2020 年,美国发布联邦数据战略与 2020 年行动计划,旨在保护数据完整性、确保流通数据真实性、数据存储安全性等基本原则。2020 年 5 月 27 日,日本参议院正式通过数字平台交易透明化法案,该法案旨在规制特定数字平台,增加特定数字平台的公开义务。由此可见,数据反垄断趋势正在全球蔓延。未来,在反垄断法的不断完善和应用中,用户和第三方企业将从行业巨头手中获得更多的数据主权,避免大平台对个人隐私数据进行非法地获取、滥用及交易等侵犯数字安全、破坏公平竞争的行为,从而促进数字信用生态的建设。共建数字可信的智能世界,面向 2030 年,人类可以借助区块链、人工智能等技术更好地保护个人隐私和数字资产,更精准地打击假新闻等数字造假行为,减少诈骗或数据盗用的隐患。隐私增强计算等技术为多方实现安全加密的数据共享,在不影响隐私安全的前提下,确保数据价值的流通。20数据存储 20301.2 数字经济的发展推动人类社会即将进入 YB 时代2030 年数字经济占比将达到 60%,数据成为数字产业发展和产业数字化的基础。当今世界,科技革命和产业变革日新月异,数字经济蓬勃发展,深刻改变着人类生产生活方式,对各国经济社会发展、全球治理体系、人类文明进程影响深远。中国信通院全球数字经济新图景(2020 年)报告称,2019 年全球数字经济规模达到 31.8 万亿美元,约占全球 GDP 的 36%。数字经济保持快速增长,质量效益明显提升,数字经济增加值规模达到35.8 万亿元,占国内生产总值(GDP)比重达到36.2%,对 GDP 增长的贡献率为 67.7%。全球 2030 年数字化经济的占比将达到 60%,数字产业本身的持续增长和传统产业的数字化转型在加速。数字产业到 2030 年的产值比重将达到 9%,成为经济增长的加速器;传统产业的数据的总量从 175ZB 到 1003ZB,将进入 YB 时代根据 IDC 和华为 GIV 团队预测,全球每年新产生的数据总量随着数字化的发展快速增长,从 2020年每年产生 2ZB 到 2025 年每年产生 175ZB,2030 年将达到 1003ZB,即将进入 YB(1 Yotta Bytes=1000 Zetta Bytes)时代。数字化转型,正在通过数字化的武器,指导传统产业更加互联网化、智能化、自动化,增加产业的客户渠道、减少成本、提升生产和服务效率。2030 年产业的数字化渗透率达到 45%,数字化进程的深入让我们更加理解这个世界,推动人工智能和智能制造的发展。在这个数据驱动的世界,人类、社会和地球资源的活动的正在越来越多的被以数据的形式观察、记录、监听、追踪和处理,这使得我们可以比以往更加精确的理解、以至于描述这个世界。数据的大量积累和机器学习的技术发展催生的人工智能的成熟,人工智能会给业务、流程、沟通带来更多的自动化,通过为客户个人偏好提供量身定制产品把效率和生产率提升到一个新的高度。020040060080010001200201520162017201820192020202120222023202420252026202720282029203011152026334458771021331752363254606701003全球每年新产生的数据总量预测(ZB)图 1-2 全球每年新产生的数据总量预测21数据存储 2030随着行业数字化深入,数据应用越来越多样化,除了传统的数据库应用,分布式数据库、大数据、HPC 高性能计算等新兴应用不断产生,当前平均一个企业的数据应用超过 100 种。结构化数据激增促使核心系统弹性扩展:数字化、移动化技术发展使企业与客户交互渠道发生巨大变化,手机 APP 类互联网应用成为触发客户购买行为的最佳媒介。这固然引领了业务快速增长,但结构化数据的激增也给核心系统带来难以预料且波动巨大的业务浪涌。核心系统必须具备极强的资源弹性,以确保高峰期能够快速扩展以保障业务正常运行,而平时能够释放闲置资源避免浪费。同时多读多写会成为核心应用的标准配置,以保证系统极高的可靠性。多样化数据应用,产生多样化数据类型非结构化数据进入生产决策系统:非结构化数据,包括文本、图像、视频和音频等,因其丰富的信息内容和形式的多样性,成为企业数据资产的重要组成部分。到 2030 年,全球每年产生的数据总量达 1YB,其中 80%以上都是非结构化数据。非结构化数据已经在企业得到广泛应用,以 AI 为例,56%的企业至少把 AI 用于一个企业功能,其中大量场景是基于非结构化数据进行分析处理的。而随着企业数据治理能力提升,数据驱动业务增长成为可能,非结构化数据开始走向生产决策系统,比如金融行业的在线实时授信、医疗行业的病理分析等。预计 2030 年 80%的非结构数据将成为生产决策数据。22数据存储 2030AI 大模型已超出人类想象的速度,将我们带入智能世界。数据作为人工智能三要素之一,决定了 AI 智能的高度,其价值得到了前所未有的提升,全球步入一个数据觉醒的新时代。首先,热数据会急速增多。据统计,2023 年我国新增数据存储量仅占全年数据生产总量的2.9%,海量的数据在源头就被放弃,没有被存储。随着人工智能的能力不断增强,热数据的规模和重要性随之增长,大量数据不再丢弃而是存储下来为人工智能提供即时的、有价值的输入。预计2030年这些热数据将100%由SSD闪存所承载。近年来,云计算和互联网技术的迅猛发展,为各行业带来了前所未有的变革。当前,云和互联网已成为数据存储需求增长最快的领域之一。据统计,企业级 SSD 盘约三分之二发往云和互联网厂商。为了应对数据量的爆炸性增长和业务需求的快速变化,云和互联网厂商正在推动 Diskless 架构改造,如 Google Cloud 等。Diskless 架构通过数据的来源于端边云,但数据的产生和数据的存储偏好并不相同。端(Endpoint):终端包含所有的在网络边缘的终端设备,包括 PC、手机、工业传感器、汽车、可穿戴设备等等。预计 2030 年超过 75%以上的端侧产生数据将被人工智能实时处理。边(Edge):边缘是指用来处理企业级负载的服务器和设备,但其位置没有放在核心数据中AI 促进数据觉醒,带来热温冷数据层次变化云和互联网的数据激增,带来数据架构变化端边云产生数据 70%向数据中心集中,大规模集约化数据中心形成其次,温冷数据价值得到重新利用,温冷数据逐步变热。温冷数据是那些不经常访问的数据,如备份和归档数据,传统上被认为是价值较低的。但人工智能的全量数据训练需求,使得这些温冷数据重新获得了关注。通过将温冷数据纳入训练过程,AI 不仅能够提高模型的准确性和泛化能力,还能够发现之前未被注意到的数据价值。这些需要快速访问的温冷数据也被称之为活跃归档数据。预计 2030 年 60%以上的企业每日访问活跃归档数据至少一次以上。将服务器本地盘拉远,构建起由 Diskless 服务器和远端存储池组成的全新架构,实现了计算资源和存储资源的彻底解耦与灵活共享。这一变革不仅大幅提升了资源利用率与扩展性,还显著降低了运维复杂度和能耗成本。Diskless 架构凭借其灵活的架构设计和高效的存储资源管理能力,有望在 2030 成为主流架构,为云和互联网行业的持续发展提供强有力的支撑。预计 2030 年超过80%的云和互联网企业采用 Diskless 架构。心,而是放在分支机构的 Server Room、工作场地、或是无线基站,以便靠近数据处理、减少网络延迟。预计 2030 年超过 80%以上的边侧数据将被人工智能实时处理。云(Core Data Center):核心数据中心是指大规模的数据中心、包括企业数据中心、IDC、以及公有云厂商的云数据中心。预计 2030 年超过90%以上的数据中心侧数据将被人工智能实时处理。23数据存储 2030随着端设备的增加,2030 年数据产生依然主要来自终端设备。根据预测 2030 年智能汽车增长、可穿戴设备、工业 IoT 等大幅增长,端设备产生的数据将增长 14 倍,占比为 52%。2030 年 边 缘 设 备 也 将 大 幅 增 长,其 中 5G MEC、CDN、Robo、高新媒体处理器都将得到大幅应用;家庭数字化处理中心也在形成雏形,未来每个家庭有一个数字化处理中心,连接所有家庭数字或智能化终端,如手机、可穿戴设备、2030年数据的存储位置进一步向数据中心集中,终端上产生的数据通过应用系统、备份系统很大一部分被保存在数据中心。随着网络建设的发展和带宽的增加,数据保存在数据中心更加方便和安全,网盘、照片、账号、应用数据都在数据中心保存。以各种应用账号为例,不同客户端使用同一账户登录,通过数据中心保留的账号和状态数据,你可以体会到统一的视图服务。到 2030 年,被存储下来的数据约有 65%被存2030 年数据的产生主要来自终端,未来边缘和数据中心产生的比例将增加智能冰箱等设备,存储数据、处理数据、帮助管理生活。到 2030 年边缘产生的数据增长 22 倍,占比达到 21%。云(Core Data Center)是数据汇聚、处理、备份、复制、转移的关键节点,每一种操作都将产生新的数据,数据中心的对数据的操作有放大效应;未来随着数据中心数据汇聚的越多,放大效应越大。到2030年,数据中心产生的数据增长18倍、占比为 27%。数据产生来源趋势预测2015201420132012201120102016 2017 2018 2019 2020 2021 2022 2023 2024 2025 2026 2027 2028 2029 2030100pP0 %0%EndpointEdgeCore图 1-3 数据产生来源趋势预测放到数据中心,端设备无需长期保存数据,定期备份到数据中心是未来趋势。随着对实时处理、低时延要求的应用增长,边缘存储数据的场景也在增长,如智能驾驶训练终端、实时边缘流处理、5GMEC、VR/AR 边缘中心等,边缘处理数据比例在 2030 年达到 10%。各种分散的数据向数据中心汇聚,让我们更加有可能对数据价值进行深度挖掘,成为数字化、智能化坚实的数据基础。24数据存储 203002数据存储 2030 愿景及关键特征未来 10 年,数据的年复合增长率接近 40%,数据类型呈现多样化,单一的存储介质难以满足多样化的数据存储需求,需要多元化的介质来应对存储成本高、功耗大、持久性差等挑战。海量多样化数据促进多元化先进介质和介质应用发展,结合智能化数据缩减和联合数据编码技术,存储容量密度将实现数倍提升。高速增长的数据量与缓慢增长的数据处理能力已成为数据产业的基本矛盾,数据存力与数据发展严重失衡。经典的以 CPU 为核心的架构理念将难以支撑海量数据存储和处理的需求,需要以数据为中心来实现整个架构的重构12。新体系架构宏观上存算分离,微观上存算一体,通过高通量、超低时延和高扩展的互联总线,打破资源的边界,形成处理器、内存和存储资源池化,以存补算,实现数据处理效率的数倍提升。日益增长的数据流转需求与日趋严重的数据重力,已成为影响数据价值发挥的基本矛盾。智能数据编织支持数据的跨域智能高效流动,打破空间的约束,实现数据的所见即所得,支撑数据流动效率百倍提升;数据内生安全使能数据使用权、管理权和归属权分离,促进数据的可信流转13,通过主动防御构建安全可信的数据应用环境,保障数据隐私,实现数据可信流转效率千倍提升。日益复杂的存储系统已无法满足新兴多云应用的智能化数据业务需求,需要数据业务逻辑与数据智能解耦。在未来的数据基础设施中,存储将具备数据感知、数据理解的新能力,支撑数据服务走向千行百业,数据业务百倍增长。持续增长的存储能耗,与全球低碳发展要求仍存在差距,对存储的绿色低碳能力提出了新的要求。新节能材料、以光代电和动态节能技术促进芯片节能,新型液冷散热和智能化的整机调控技术促进整机节能,系统级多维度、智能化资源调控技术从数据全生命周期上实现减排,未来将实现能耗效率数倍提升,支撑未来数据产业的可持续发展。25数据存储 2030数据存储2030先进介质应用多元化介质应用创新,铸就高品质存力以数据为中心的体系架构Diskless架构,IO直通,加速数据处理可持续存储数据原生的节能技术,支撑可持续IT发展数据即应用泛在化的认知存储,驱动数据业务创新智能数据编织自动化存力网络,提升数据流转效率数据内生安全全域全流程安全可信,使能数据要素图 2-1 数据存储 2030 六大关键特征综上所述,未来存储需要具备先进介质应用、以数据为中心的体系架构、数据内生安全、智能数据编织、数据即应用、可持续存储共六大特征。26数据存储 20302.1 先进介质应用随着 AI 大模型逐步走向多模态,数据将迎来觉醒。越来越多的视频、图像数据将被保存下来用于训练,预计到 2030 年,全球每年新增 1YB 的数据,用于大模型训练的数据量有望增长 1000 倍以上,达到 400EB,其中有接近 50ZB 的价值数据需要存储,相比 2020 年增长 23 倍,要求存储介质必须具备大容量、高性价比、低能耗,以及高可靠、高扩展、长寿耐用和高安全性,同时要求存储具有数据计算和分析能力,以便更快的获取数据。鱼与熊掌不可兼得,不同的介质具有各自的优劣势,需要通过多种介质组合来应对挑战。根据不同介质的演进趋势,预计到 2030 年,介质容量密度有望提升 10 倍,但相比存储数据量 23 倍的增长仍存在较大差距,需要介质应用创新来填补这个差距。不同的数据对存储介质的要求不同,按访问频率可将存储数据大致分为热、温、冷三类。热数据:共占比约 30%。其中,AIoT、边缘计算、机器人和自动驾驶实时处理需要纳秒级数据访问能力,属于极热数据,占总存储容量的 1.5%左右,需要极高性能的内存型介质;而银行、电子商务等在线交易类业务,以及 EDA 等工业制造类业务也需要频繁实时访问能力,属于一般热数据,容量将增长超过 35 倍,需要高性能的存储介质。温数据:HPDA 等数据密集型业务需要对大量数据做分析,没有很高的访问频率和实时性要求,但数据量占比达到 60%,相比 2020 年预计增长超过 25 倍。这部分数据存储除了要求大容量介模拟时代智能时代数字时代1990s2000s2010s2020s2030s企业应用大型机个人PC互联网2.0虚拟化移动互联网数据湖万物互联云行业智能万物智能元宇宙数字孪生分布式云GBTBPBEBZB数字化转型加速、元宇宙3D渲染边缘计算、大规模训练、实时处理热数据温热数据温数据活动归档(温冷)数据纯冷归档数据100Pp%非结构化数据比例图 2-2 数据量增长趋势质外,对成本、功耗也及其敏感,需要高性价比的存储介质。冷数据:历史文献、国家档案及其他一些法律规定的需要长期存储的数据,平时极少访问,占比大约 10%,容量增长预计接近 20 倍。由于需要长期存储,可靠性要求变得更高,需要高可靠、长寿命介质。当前,为了训练大模型,越来越多的冷数据将被激活变成温数据,温数据的占比有望超过60%,传统的热、温、冷三层数据将变为热、温冷两层数据,数据比例有望从 20%:30%:50%到30%:70%,冷数据的价值被激活,我们将迎来“数据觉醒”。27数据存储 2030图 2-3 3D NAND 原理YMTC NEWARCHITECTURE通过堆叠和 3D 立体架构,预计 2030 年单位芯片面积的容量密度相比 2021 年有望增加 10 倍。但受技术的复杂性、工艺良率等因素影响,SSD 成本却难以下降 10 倍。反而由于工艺的影响、内部布线的干扰和密度的增加,SSD 的底层误码率可能进一步恶化,对低误码率和低延时高吞吐的纠错算法提出了新的挑战。先进介质技术多样化的数据驱动存储介质多样化发展,在不同的应用领域构建竞争力。其中,极热数据内存型介质将以 DRAM 为主、SCM 为辅,内存的分级将成为新生态;热数据介质将全部使用NAND Flash,Flash 闪存技术则会继续向高密度、低时延演进;在温、冷数据介质技术中,磁带有望继续向高密度、高并发方向演进,光盘则会走向更大容量、更高并发、更长寿命。1、热数据介质技术内存是计算机体系架构中非常重要的组成部分,用于程序与数据的缓存。随着数据密集型应用的发展,需要处理的数据量将从当前的 GB 级增长至 TB 级,驱动内存型介质向更大容量、更低功耗、更高并发方向发展。1)内存架构将走向多层次化当前,DRAM 占据内存型介质的主流地位,由于 20nm 以下制程工艺的容量密度提升空间有限,未来 10 年将在 10nm 级别持续发展。随着大数据集对大内存需求的增加,SCM 等新介质技术的发展推动内存架构走向多层次化,逐渐跟 DRAM 形成互补。2)SCM 将持续开拓新场景基于新型材料和结构的 SCM 能够拥有与 DRAM相媲美的性能,并具有持久化的新特征。在某些特定领域上,使用 SCM 实现的 CIM 内存作为 DRAM 的补充,起到了很好的加速效果,并且未来围绕 SCM 的新生态将不断丰富。各种具有持久化能力的 SCM 介质可以使高性能热数据得到快速访问。现有存储系统中,处理器经常花费大量时间在 IO 等待上。未来,创新的内存型持久化存储子系统有机会改善这种状况。3)NAND Flash 在 3D 堆叠的方向持续演进,加速替代 HDD未相比于 HDD,SSD 在性能、功耗、容量上具有明显优势,在 To C 场景下的 HDD 已经被SSD 替代,而在 To B 的场景下的 HDD 也有望被加速替代。业界采用增加堆叠层数的方式来实现 SSD 的代次演进,从而提升单位硅片面积的存储容量,降低单位存储空间的成本。但随着堆叠层数的增加,堆叠 memory hole 的深宽比(孔的深度与孔径的比例)增大,对蚀刻以及沉积的工艺带来了更高的挑战,从而限制了层数的持续增加。为了进一步提升存储密度,提升 NAND阵列的有效面积占比,未来 CMOS 外围电路与NAND 阵列堆叠的立体架构将成为主流。28数据存储 20302、温数据介质技术按照 SSD 和 HDD 的技术演进趋势,预计到 2030 年,HDD 的成本优势依然存在,这使得 HDD 在注重性价比的温数据存储场景中依然是主流介质14。HDD 的技术主要向提升密度的方向演进,由于 HDD 的磁记录只能附着在基板的表面,密度提升只能通过增加碟片数和提升磁密度来构建,受 HDD 形态和超顺磁性限制,当前 HDD 的容量密度已经接近极限,短期 HDD 密度的提升将向着突破形态限制和突破超顺磁性限制的方向演进,比如超厚HDD,能量辅助磁记录技术(HAMR、MAMR)等15,长期技术演进则包括磁记录技术的突破和材料的突破,如斯格明子,磁光、磁电结合的技术和材料等。3、冷数据介质技术到 2030 年,冷数据介质将仍然以磁带和光盘为主。光盘具备高可靠性、长寿命、对存储环境要求低的特点,更适合做为超长周期冷数据的存储,而磁带则主要用于中长期的冷数据存储。在数据驱动的智能世界时代,数据变得更热,相应的,对冷数据介质也提出了新的要求:低成本、可快速读取。1)磁介质技术磁带记录是通过磁带介质顺序卷带的方式实现数据存储的一类技术。磁带通常使用空间折叠方法实现容量扩展。以 LTO-9 为例,其介质记录面积是同期 HDD 的 100 倍。当前磁带容量密度仅为 HDD的 1/100,未来有望通过突破磁畴微缩、高精度伺服控制和超低误码率的磁信道编码技术,实现其容量超过 HDD 约 100 倍以上。磁带的线性运动可以使用更多的磁头并发读写,当前 LTO-9 32 个磁头并发带宽已超越 HDD 1 倍以上,未来有望实现超越 HDD 10 倍以上。从工作原理上看,磁带在顺序读写方面有优势,但随机读写时磁头的定位时间随容量而增加,影响数据实时性访问16。未来,一方面可通过带宽优势换取时间,另一方面可通过数据的布局和调度算法进一步提升数据实时访问性能。从材料上看,磁带寿命受存储环境温度影响明显,当温度处于 3540 度时,磁带存储寿命会下降数倍,增加数据丢失风险。未来需进一步探索新型材料、制作工艺和环境控制技术,延长磁带存储寿命。图 2-4 磁存储原理(磁盘、磁带)转轴磁道盘片柱面磁盘臂读写头扇区旋转Supply ReelTake-Up ReelTape HubTape Platters(Beneath Reels)CapstanIdler rollerPlaybackHeadRecordHeadErase HeadTHE PATH OF TAPE29数据存储 20302)光存储介质技术光存储介质技术未来将朝着大容量、低成本的方向发展。当前光存储的主流技术是蓝光存储,它最初用于消费领域,但容量只有 500GB/disc,单个光头吞吐率只有 40 MB/s17。未来光存储将在超分辨、多阶、多维、镜面超多层以及体材料等技术上实现突破,将光存储容量提升到 300700TB/disc,将吞吐率提升到百MB/s。在 20 年内,单盘容量有望达到百 TB。由于冷存储长寿命的要求,光存储未来面临的另一大挑战是如何实现光存储介质中的数据在几十数百年后可以被安全准确的读出18。超分辨光存储技术:光存储通过激光照射记录材料,使其发生物理化学变化来记录信息。缩减波长和提升数值孔径可实现激光光斑变小,提升光存储记录密度,而波长和孔径的大小受衍射极限的限制,未来有望通过多束光叠加干涉超越衍射极限,进一步提升记录密度,提高光存储容量密度。多维/多阶记录光存储:多维度光可突破单维度光只能记录单 bit 的限制,实现多 bits 信息记录。目前正在研究中的技术是由存储介质三维空间、偏振和光强度的五维光存储,未来有望解决光信号的空间干扰问题,向六维及以上维度发展,实现容量密度的进一步提升。多层/体记录光存储:通过单光盘层数的叠加可实现光存储密度提升,如蓝光存储已实现六层商用,未来有望解决层间光干扰问题,向数十上百层方向发展。全息光记录采用相变体材料,可在存储介质体内部实现不同层和不同角度的信息记录,通过多层和体记录技术叠加,光存储可向更高密度演进,有望突破百 TB/disc 的容量密度。伺服驱动技术:光驱包含激光器和光电调制设备,目前在多维光存储中使用的飞秒激光器和光电调制设备成本较高。随着飞秒激光产业的发展,未来有望进一步突破光高频高压电路技术,降低宝石级晶体的成本,实现光存储产业的大规模商用。受限于光存储的写入原理,单路激光的读写带宽只有几十 MB/s,未来有望通过高精度的伺服控制技术,实现多路光并行读写,提升吞吐率。图 2-5 光存储原理30数据存储 2030介质应用创新1、介质工艺技术受半导体制造工艺和介质结构物理极限的限制,SSD、DRAM 等介质的集成度无法持续提升,未来可通过 Wafer 级创新、Chiplet 级创新、接口和协议创新来进一步提升介质密度和寿命,降低介质功耗,增强介质的可靠性。Wafer 级创新:Die-On-Board(DOB)技术可以将存储颗粒或芯片集成到电路板上,提供更高的密度和更好的性能。Wafer-Scale 技术直接使用多个 NAND Die 的晶圆而无需对晶圆进行切割和封装,实现更高密度、更快速度和更高可靠性。当前 Wafer-Scale 技术还不成熟,需要解决超大芯片的制造、芯片的功能管理和监控、跨芯片连接、芯片散热、可靠性管理等问题。未来,有望采用先进的工艺技术、创新的芯片设计方法、智能测试手段等,在保持高密度和低能耗优势的同时,实现更高容量和更佳耐久性。Chiplet 级 创 新:Chiplet 可以将不同功能 模块集成在单独封装的芯片中,实现更好的灵活性和扩展性、更优秀的性能和功率效率。当前Chiplet 技术仍然面临着芯片间通信和同步、缓存一致性、传输速率匹配等多方面的技术挑战。未来,有望通过智能化控制算法、高效的芯片缓存一致性协议、存储介质内部封装处理器、异构处理器和加速器等技术,将计算芯片和介质芯片封装在一起,构建存算一体的 Chiplet 介质,实现高性能、低功耗、易扩展。接口和协议创新:随着介质走向多元化,多种介质接口间数据传输存在较大的协议转换开销,在性能、安全、通用性上有较大的改进空间。ZNS(Zone Namespace)都是用于闪存设备的高速存储协议,支持基于更小数据块的高效空间管理,缓解了 SSD 设备性能的不平衡问题,提高了 SSD 的垃圾回收和数据迁移等方面的性能,目前需要解决兼容性、应用迁移等问题。Plog 用于数据持久化的存储管理,可跨越多种存储介质,在不同存储系统之间的传输和处理数据。Plog 协议通过自动重传和自我修复机制,确保数据的一致性、可靠性和完整性,提高数据传输和访问效率。未来,随着多元化介质技术的不断发展,需要定义新型高性能接口和协议,进一步提高兼容性和数据的访问效率。2、新型数据编码数据编码技术包含缩减数据量的压缩编码(Sayood,2017)、抗数据错误的纠错编码以及抗数据丢失的纠删编码(Peterson,Peterson,Weldon,&Weldon,1972),是支撑存的下(空间)以及存的久(时间)的核心技术之一。未来面对海量多元的存储数据以及介质融合的存储系统,通过智能化数据压缩、联合编码、智能化数据分类,有望突破数据编码技术,实现存储有效容量提升、集约节能、长期可靠。图 2-6 无损数据压缩的理论31数据存储 2030智能数据压缩:数据压缩是按照特定的编码机制用短比特数据表示信息的过程。在数据存储中,有损压缩编码和无损压缩编码并存。当前的有损编码还无法打破经典的率失真率理论,未来需要探索语义提取和语义压缩技术,扩展率失真函数,建立新的理论体系,实现有损压缩的技术突破;业界主流的无损压缩方法以LZ和熵编码为核心,在面对非结构化数据压缩方面压缩效果欠佳。基于统计和动态预测模型的压缩方法可以有效提升非结构化数据的缩减率,但存在模型依赖于数据和专家经验,发展缓慢;基于 AI 的预测模型通过对数据特征的自动提取和模型的自学习,可以超越专家设计的预测器。现有的基于 AI 的压缩算法面临泛化能力差和算力消耗大的问题,未来有望通过迁移学习、元学习、大模型等技术提升模型泛化能力和算法效率,实现存储系统中缩减率数倍提升。1211121112文件集分片计算指纹对比指纹数据去重图 2-7 数据重删的基本原理01010101010101011010101010101010001100110101010110101010001100110101101000110101110010100011010101100010100001100101011110001110100110011011重删压缩纠删检错纠错联合编码图 2-8 数据联合编码数据重删:重复数据删除技术(简称“重删”)是通过数据块级别的内容识别,实现重复数据块删除的一类技术。随着处理器技术和新型存储介质的出现,重删技术正逐渐从离线走向在线处理,数据重删的粒度也在不断缩小,从早期的文件级重删发展为近期的字节级相似重删,对于系统的算力和 IO 吞吐率提出了更高的挑战。面向海量多元化数据重删,在高维数据场景相比结构化数据场景重删率还有数量级的差距,未来随着应用语义重删技术的发展,有望从根本上解决非结构化数据的存储效率问题。32数据存储 2030数据联合编码:香农的分离理论(Shannon,1948)证明了在码长趋于无穷的前提下信源编码与信道编码分开设计可达到整体系统最优,在有限码长的场景下,联合信源编码与信道编码可能取得增益(Jiang&Bruck,2008)。未来通过设计联合编码可实现更高密度的存储,同时可简化系统,实现更低能耗。智能分类编码算法选取压缩算法:ZSTD,LZMA,GZIP,纠错算法:MDS,LDPC,BCH,RS,CRC,纠删算法:MDS,LRC,CacheDRAMSCMFlashHDD/TAPE图 2-9 智能分类智能化数据分级分类:存储是一个多元化和层次化介质的系统,不同介质的可靠性、延迟、带宽和成本差异较大,需要选择与之匹配的数据编码算法(Kim,Gupta,Urgaonkar,Berman,&Sivasubramaniam,2011)(压缩、纠错、以及纠删)。未来需要突破智能化的数据分类技术实现不同的数据编码与介质的最优匹配,提升数据的密度与可靠性,同时降低延迟。33数据存储 2030内存编程(load/store)IO编程(file&block)CPUcorecoreDRAMcoreL1/L2/L3 CacheSSD/HDDIO时延墙内存宽带墙序列化/反序列化CPUcorecoreDRAMcoreL1/L2/L3 CacheSSD/HDDCPUcorecoreDRAMcoreL1/L2/L3 CacheSSD/HDDIP网络图 2-10 以 CPU 为中心的架构2.2 以数据为中心的体系架构在大数据、人工智能、HPC、IOT 等新型数据密集型应用的推动下,数据量爆炸增长,年复合增长率近 40%,其中热数据占比将超过 30%;另一方面,摩尔定律、Dennard缩放定律的放缓,CPU 性能年化增长降低至 3.5%。高速增长的数据与缓慢增长的数据处理能力成数据产业的基本矛盾,数据存力与数据发展严重失衡。在传统的以 CPU 为中心的数据中心架构中,现有数据中心架构存储、计算资源利用效率低下,为了提升数据处理效率和存储资源利用率,未来数据中心架构需要从“以 CPU 为中心”走向“以数据为中心”,包括三个方面:1)在宏观上存算分离,计算、存储资源独立部署,通过高通量20数据总线互联,统一内存语义访问数据,实现计算、存储资源解耦灵活调度,资源利用率最大化。业务在空间、时间的不均匀性导致本地存储资源利用率低,本地内存、存储闲置率超过50。数据的移动、数据格式的反复转换消耗了大量 CPU 时间,使得数据处理效率低下。此外,在一些拥有十万卡 GPU 的大型智算中心中,CheckPoint 数据需要秒级快速恢复能力,而存储节点和集群的可扩展性差,读写带宽无法持续提升,导致宝贵的 GPU 训练时间被浪费,GPU 的有效利用率难以提升。2)在微观上存算一体,围绕数据,近数据处理,减少数据非必要移动,在数据产生的边缘、数据流动的网络中、数据存储系统中布置专用数据处理算力,网存算融合提升数据处理效率。3)高可扩展的集群存储,在横向上从数十个扩展到数百个控制器,扩展能力提升数十倍,实现 EB 级容量,在纵向上从数百个扩展数千个XPU,扩展能力提升数十倍,实现近存加速。34数据存储 2030办公虚拟化云硬盘容器存储直播/点播分布式DB数据库服务数仓/搜索服务计算节点云主机云桌面KVM/DockerBlockerBlocker去本地盘XX服务器APPAPPAPPAPP卸载本地布局XX计算节点计算节点计算节点MySQLHadoopSparkKV/FS内存拉远LocalFS高通量数据总线 (对等互联、统一协议、统一语义)内存池模组DPUCSI内存池模组DPUCSI闪存池模组DPUCSI闪存池模组DPUCSIHDD池模组DPUCSI温冷介质模组DPUCSI存储资源池 池化共享 特性极简 EC/压缩场景一计算无盘化直通存储模组file、block NOF场景二内存拉远池化,大内存加速应用KV、arrow CXL场景三直出容器FS和分布式EC,卸载本地布局fs、block RDMA图 2-11 存算分离架构存算分离存算分离不再局限于CPU与SSD、HDD外部存储解耦,而是彻底打破各类计算存储硬件资源的边界,将其组建为彼此独立的硬件资源池(例如 CPU 池、DPU 池、内存池、闪存池等),实现各类硬件的弹性扩展及灵活共享。存算分离架构具备三个特征:存储资源池化、全内存语义访问、高通量对等互联总线。1、存储资源池化新型存算分离架构将服务器本地盘拉远构成无盘化(diskless)服务器和远端存储池,同时还通过远程内存池扩展本地内存,实现了真正意义上的存算解耦,可极大提升存储资源利用率。业务使用时,可根据应用需求选择不同性能、容量的虚拟盘及池化内存空间。首先,存储资源池化可以避免本地存储空间超配造成的空间浪费;其次,资源池化可避免数据跨总线和跨设备流动,减少数据移动,提升性能,降低功耗;最后,当服务器出现故障或者更新换代时,数据免迁移。通过 NVMe over RDMA 网络技术,可以实现外存 SDD 池化,为远端访问 SSD 提供本地一致的访问性能。未来有望通过新型内存型网络(如CXL、Unified Bus)、内存介质智能分级和内存统一编址等技术,实现内存池化,十倍扩展内存容量,降低应用获取大内存的成本。2、全内存语义访问传统应用通过文件、对象、块接口访问数据,IO栈协议厚重,IO 开销超过 30%。采用内存语义和内存数据格式访问接口,可实现 IO 零开销、格式零转换、数据零流动。当前,内存语义访问仍面临应用数据访问接口生态、内存语义网络标准化的挑战,未来有望形成统一的内存语义标准协议,实现内存语义的数据互通,进一步提高数据访问效率。3、高通量数据总线传统互联总线以CPU为中心,CPU成为系统瓶颈,系统无法大规模扩展;协议类型七国八制,协议反复转换,影响系统效率;不同设备不同通信语义,数据格式反复转换,造成额外开销。需要定义高通量数据总线,支持设备对等互访,消除协议转换,简化数据访问,高通量数据总线具备如下四个特征:35数据存储 2030应用存储应用存储DPU网存协同重删EC分析压缩加密近数据处理引擎数据近数据处理减少90%数据移动图 2-12 存算融合原理存算一体在以数据为中心处理范式中,数据处理由通用计算走向数据处理专业化,由数据搬移到处理器走向近数据布置算力,在靠近数据的地方,以最合适的算力来处理数据,在数据产生的边缘、在数据移动中、在数据存储中就近完成数据处理。数据存储作为数据载体,不仅提供数据存取服务,还提供近数据处理加速服务,数据就近处理有三种主要方式:多样化存算融合、数据存储与网络融合、数据处理与网络融合。1)对等互联:打破以 CPU 为中心的主从结构,CPU、DPU、存储对等互联,数据访问不再经过CPU,异构多样数据处理设备对等直访数据,提升数据搬移效率。2)统一协议:抽象设备内、机柜内、数据中心不同通信需求,制定统一基础协议功能,实现在处理器与存储、不同存储设备之间采用一致访问协议。3)统一语义:把不同访问需求抽象成统一的访问语义,支持实现跨系统、跨不同类型设备数据的共享和访问机制。4)高通量:单盘 SSD 带宽将演进到 25GB/s,内存支持 100GB/s 带宽,50ns 时延,新型总线需要实现 SSD、内存、处理器互联,以及扩展到机架间互联,同时满足大块数据传输高带宽和小块数据传输低时延需求,未来总线需要支持 TB/s级带宽,10ns 级时延。1、多样化存算融合存算融合是通过算子下推到存储器内部或存储模块上移到处理器内部来减少数据搬移,解决网络时延和带宽瓶颈,提升数据处理效率的一类技术。存算融合包括存算集成和存算一体21。存算集成(SCI)是在存储部件上,集成指令运算单元和算子单元,实现数据预处理。例如,在 SSD内、内存上增加固化的数据预处理单元(如压缩、编码引擎),实现数据处理加速功能。或在处理器内部集成较大容量存储器来减少数据访问,最终提升数据处理效率。未来,面向前一种场景,如何定义高效的前向兼容指令集、新的算子抽象,仍面临巨大挑战,有望通过共性指令集研究和自定义算子,实现通用场景下数据的高效处理。36数据存储 2030集群存储在大型的智算中心中,单个存储节点或一百以内的节点扩展性能,无法满足计算集群对百 PB 数据、千亿文件、百 TB/s 带宽的能力要求。预计到 2030 年,存储集群的横向扩展能力有望达到 500 个节点以上;同时,为了近数据处理提升效率,越来越多数据读写任务被卸载到 XPU 上,存储支持的XPU 数量也与日俱增,未来有望支持上千的 XPU 同时工作,且弹性扩缩。集群存储容量有望提升100 倍,达到数百 PB 级,同时解决高性能和大容量的难题。计算集群存储集群存储节点高性能存储客户端存储节点存储节点数据集群全交换网络AI框架AI SDKAI应用XPUXPU图 2-13 集群存储示意存算一体(CIM)是采用非冯诺依曼架构,基于存储单元与计算逻辑合一,打破计算和存储的边界,实现数据处理过程中极少数据搬运,相比传统冯诺依曼架构提升十倍以上的能效。由于当前承载介质的局限性,在数模转化的效率、计算的精度和规模上仍面临巨大挑战,未来有望通过介质改良和发现新的介质材料来实现突破。2、数据存储与网络协同通过网络感知存储的语义,实现数据存储服务的卸载和数据流的调度,提升数据访问性能,加速数据应用服务。当前已经在存储访问协议卸载(文件协议、对象协议、KV 键值卸载等)、加速存储IO(数据直通、IO零拷贝)、卸载数据布局(索引卸载等)等方向上展示出巨大的应用潜力。通过智能网卡可以实现灵活的存储业务卸载,但仍面临编程友好性和运行效率挑战,未来有望通过定义高效的存储算子,实现灵活性和高性能兼得。3、数据处理与网络协同 通过与网络协同,卸载主机数据处理的开销,比如安全类数据处理(比如 SHA256、格密码)、数据压缩类数据处理(ZSTD、LZ、CDC)、数据保护类(EC)、数据分析类(Scan、Filter、Merge 等)等操作不再由通用处理器负责,随数据流卸载到专用数据处理器。以 DPU 为代表的专业数据处理器具备成本更低、功耗更低、即插即用、即换即用等独特优势,数据流动中加速数据处理,释放通用处理器算力,倍数级提升大数据、HPC、数据库等应用性能。37数据存储 2030主动数据保护数据安全攻防态势研究表明,当前的被动防御安全体系无法有效抵御勒索等病毒攻击,需要从数据安全态势感知、数据时间线旅行、原生防篡改、多维联动响应等多个技术方向,构建主动数据保护安全体系。识别恢复保护检测响应数据安全态势感知防篡改介质安全属性加密重定向写高效加解密芯片与网络可信图 2-14 主动数据保护2.3 数据内生安全数据作为新型生产要素价值日益凸显,其作为高价值目标所面临的攻击面和攻击强度越来越大,当前基于边界的被动防御体系无法满足未来数据安全的需求22。在数据价值释放过程中,针对数据的隐私保护需求日益旺盛,围绕数据“可用不可见、可见不可得”的隐私计算在充分保护数据和隐私安全的前提下,实现了数据价值的转化与释放。数据流转是释放数据价值的必要途径和手段,由于数据可复制性、可共享、可无限供给,因此在流转过程中如何保证数据产权、使用权和控制权得到有效保护,是当前数据基础设施需要解决的首要问题。未来,数据内生安全将成为数据基础设施的基础能力,需要在主动数据保护、数据零拷贝、零信任存储和 AI 安全等技术方向上持续突破。数据安全态势感知:数据安全态势感知技术是在一定的时间范围内采集数据访问行为、数据信息熵、数据内在关联、数据分布等,结合大数据分析技术动态度量与评估数据安全风险和威胁,支撑后续自主防御决策和行动。当前业界的主要痛点是如何做到高效精准的威胁检测与态势感知能力、对威胁的动态评估能力不足等问题,未来有望通过海量数据的采样理论、异构数据的融合处理、不完全信息条件下的活动辨识等方向的研究,逐步提高检测的准确度和性能,增强未知数据威胁检测能力。数据时间线旅行:数据在遭到内外部攻击损坏后,数据基础设施需要具备在最短时间内将受损数据恢复到任意历史时间点,实现数据零丢失的能力,同时为了实现攻击溯源,必须具备最细粒度的数据重放能力,支撑数据安全策略的调整与优化。当前业界的主要挑战是快速精确定位受损数据的时间点、自动化行为溯源等问题,未来有望通过 IO 级数据恢复、因果根因分析等技术实现数据在时间线上的旅行。原生防篡改:当前数据防篡改的能力主要是依38数据存储 2030靠系统级的数据访问控制技术实现,由于系统攻击面较大,很难有效保证数据的防篡改,未来有望通过系统级数据访问控制技术结合介质物理防篡改属性,实现物理级数据原生防篡改能力。多维联动响应技术:多维联动响应技术需要通过网络设备、安全设备、终端 EDR 设备、存储设备的跨设备联动协同,实现多维度威胁处置闭环,防止威胁范围扩散。当前业界的主要痛点在自主决策和响应技术上,即如何制定智能化的响应策略,给客户提供便捷有效的处置备选方案。未来有望通过 AI 安全分析、因果分析与推理等技术突破,有效提升自主决策和响应的智能化程度,实现真正的快速准确响应。数据零拷贝数据要素价值释放过程概括为三个阶段,第一个阶段是数据支撑业务系统运转,推动业务数字化转型与智能决策,第二个阶段是数据流通对外赋能,让不同来源的优质数据在新业务和场景中汇聚融合,实现双赢、多赢的价值利用,在该阶段需要解决数据共享与数据访问控制之间的效率问题,通过基于密码学的访问控制、数据自保护技术、高效透明审计技术、高效网络加密传输等技术能在保证数据主权安全的前提下,实现数据高效流动与使用;第三个阶段是无边界零拷贝,最大限度地消除数据孤岛,通过零数据拷贝访问技术打破数据边界,实现数据共享。第一阶段价值释放数智决策第二阶段价值释放流通赋能第三阶段价值释放无边界零拷贝图 2-15 数据价值释放模型基于密码学的访问控制:主要通过密码学的方式保护数据机密性,对于不符合访问控制策略的用户,无法解密。当前基于属性加密(Attribute-Based Encryption,ABE)方案已可支持任意逻辑的完备访问控制策略。相比于传统的一对一公钥加密,ABE 是一对多的,极大降低网络通信开销和关键节点加解密计算开销。未来需要研究控制加密的技术,对离开信任域的密文进行策略判断和随机化处理,确保不符合预定访问控制策略的数据,无法离开信任域进入流通阶段。39数据存储 2030数据自保护技术:近年来,数据安全正逐渐从以系统为中心的数据强管控,演变成为以数据为中心的全生命周期安全防护。数据自保护技术就是在隐私层面满足“可用不可见、可见不可得”要求的一类技术。当前主要采用密态计算技术来实现数据隐私保护,但仍存在关联信息隐私泄露的潜在问题,数据的使用范围、方式、有效期和访问权限难以约束,未来有望通过数据胶囊等技术,将访问策略、使用控制策略和密态数据封装在一起,确保数据拥有者对数据的自主可控,实现数据的安全流转。高效透明审计技术:当前的数据可信审计的主流技术是区块链技术,但存在开销相对较大、共识算法效率低、数据冗余存储等问题,未来有望通过高效透明审计技术来构建数据防篡改的审计方案,实现更加高效的可信数据存储,更加贴近实际生产过程中对数据读写时间的要求。零数据拷贝访问:当前由于各个应用数据模型的差异,导致大部分的应用基于独立数据副本结合自身数据模型形成了大量的烟囱式应用,未来有望将应用数据模型下沉至数据存储层,基于同一份数据自动生成应用数据模型,从而消除数据孤岛,同时结合细粒度访问控制、基于芯片认证的可信网络传输等技术实现跨信任域高效数据访问。零信任存储零信任存储是基于零信任模型的扩展,旨在解决当前存储面临的数据泄漏、完整性被破坏、数据可用性破坏等诸多安全问题,在零信任存储中,所有的数据访问与操作都被视为未被验证的,访问主体、数据以及数据操作动作三者基于最小授权原则,通过持续验证、动态授权等方式实现最小粒度数据访问控制。同时要实现零信任存储需要从数据存储与使用环境安全、数据全路径安全加密等几个方向突破。40数据存储 2030强制数据访问控制:细粒度数据访问控制是基于最小授权原则,利用数据访问主体特征、数据属性、细粒度数据处理动作三者之间的映射,以确保最小粒度数据集只能被主体在特定的条件下访问与使用。未来,由于被授权实体和数据的海量性、数据处理的复杂性、控制条件的不确定性,访问控制策略设计日趋复杂,访问控制策略配置错误将带来重大安全隐患。为了应对这个挑战,未来有望通过形式化验证、自动策略生成、合规审计等技术来保证复杂策略的一致性和正确性,解决大规模形式化验证的性能、自动化策略生成的机制、复杂规则匹配的问题。数据全路径加密:当前基于边界的数据安全体系,对数据全路径的安全假设存在数据泄漏的风险,我们需要考虑从内存、存储 IO、网络 IO、Cache 等数据处理的全路径进行加密,并通过统一密钥管理实现原生数据安全能力的共享。隐私计算:为了保证数据在计算过程中的隐私安全,数据安全计算应运而生。数据安全计算的主要技术流派包括:针对 AI 场景的联邦学 习23(Federated Learning)、基 于 硬 件安全基础的可信执行环境(Trusted Execution Environment)、基 于 密 码 学 算 法 的 多 方 安全 计 算(Secure Multi-Party Computation,MPC)、针对向验证者证明某陈述正确性场景的零知识证明(Zero Knowledge Proof)等。1)可信执行环境:实现敏感数据处理的硬件隔离技术,主要挑战在于硬件安全隔离机制实现的完备性无法用数据证明,难以自证清白,存在安全漏洞风险,但和密码学技术相比,TEE对性能影响小,未来基于 TEE 的隐私计算将成为业界普遍需求,预计 2030 年 50%以上的数据处理场景将使用该技术。2)基于密码学的同态加密、安全多方计算技术因其安全性在数学上可证明,从而成为业界公认最理想的隐私计算技术。但主要挑战在于其性能比常规计算降低一万倍以上,需要大幅提升才能满足应用需求。随着近似计算的成熟,同态加密、安全多方计算在人脸识别、健康数据分享等特定领域以获得应用。未来,突破基于硬件加速的同态加密、安全多方计算技术,将在金融、医疗等行业的高安全应用场景获得广泛商用。3)多方计算的基础是多方之间共享秘密,如果通过零知识证明等密码学方法实现,性能开销非常大,利用 TEE 实现多方之间的秘密共享,不但可以大幅度提升多方计算性能,而且在信任 TEE 基础上安全性可数学证明,未来有广泛的应用前景。策略引擎Cache加密内存加密IO加密策略管理访问主体策略决定点系统策略强制执行点资源信任非信任控制面数据面数据全路径加密持续安全评估与响应行业合规威胁情报活动日志数据访问策略PKI身份管理SIEM图 2-16 零信任存储41数据存储 20302.4 智能数据编织数字技术的不断发展催生了大量的跨域数据流动的需求,对数据的可用性和质量提出了更高的要求。但地域的阻隔和数据治理的困难限制了数据的自由流动,最终形成了数据重力。数据编织是以一种自动化的方式,动态地协调分布式的数据源,跨数据平台地提供集成和可信赖的数据,支持广泛的不同应用的使用24。智能数据编织可基于人工智能和知识图谱等技术,不断识别和连接来自不同应用的数据,以发现可用数据点之间独特的业务相关关系。在数据网络中,边缘、数据中心、云端频繁的数据交换,智能数据编织可通过对现有的、可发现和可推断的元数据资产进行持续分析,完成跨平台的数据整合,为应用提供高效数据流动和处理。为了更好地实现智能数据编织,需要在跨域数据协同、自动化数据编排和高效快速存力网络等技术方向上持续突破,以解决数据重力问题。全局元数据数据画像主机存储数据中心1主机存储数据中心2主机存储公有云主机存储边缘CacheCacheCacheCache自动化数据编排数据大脑图 2-18 自动化数据编排框架数据画像数据大脑数据排布编排层协同层网络层自动化数据编排存储语义感知在网计算服务在网存储服务多目标传输存力网络跨域数据协同元数据发现元数据索引元数据增强全局虚拟数据总线数据采集数据清洗数据质量数据安全自动化数据治理图 2-17 智能数据编织框架自动化数据编排当前,由于数据内容无法感知网络状态,应用的意图也无法有效传递给网络,导致数据的放置跟网络匹配失衡,数据存取延迟大、网络利用率低下。未来需要通过构建数据画像和数据大脑,实现业务无感、业务性能无损的数据最优排布。42数据存储 2030数据画像:数据画像是通过获取存储网络状态、数据块的时空信息、应用的标签等来感知应用特征。当前业务感知的粒度和精度较差,未来有望通过深度图神经网络、因果学习等技术,构建包含数据重力、数据量、数据活跃度、网络带宽和时延等多个因素在内的海量数据多维度画像,实现精准的业务感知。数据大脑:当前的数据编排存在数据分散、维度爆炸、无法标准化、对开发人员能力要求高、无法感知客户应用等挑战,同时面向多云场景,衍生出对数据流动可信的管控诉求。通用的数据编排平台无法做到多方兼顾,未来有望通过意图 API、机器学习、大数据分析等技术,生成结合行业应用的最优数据排布策略,同时可针全局虚拟数据总线:在公有云和企业数据中心中,当前主要采用分区管理的方式来管理数据,产生了大量的“数据孤岛”。未来有望通过对元数据进行发布、发现、订阅来实现高效按需互联,构建全局虚拟数据总线。全局虚拟数据总线需要具备统一的数据命名空间和透明的数据流动能力,为客户提供跨云的全局数据空间,以及安全、高效、易用的数据网络。自动化数据治理:不同来源和不同类型的数据需要互联互通和高效协作,通过统一规范数据模型和数据体系,将数据采集、数据集成、数据清洗、数据质量提升与数据安全保证等基础功能集成,并提供自动化处理的能力,可以提升从数据采集到数据价值发现的效率。当前数据治理技术尚不成熟,需要在异构数据集成、数据血缘管理和数据分类分级上取得突破,构建“统一、高效、智能”的数据中台服务,有效提高数据的质量和可用性。对数据编排的整个流程提供强大的安全管理和审计能力,最终实现数据编排的自动驾驶。数据排布:数据排布是根据业务策略将数据放置到最优位置的一类技术,帮助用户通过内容名字访问就近的数据,期望以最小的代价获得最佳的体验。如对于冷数据,可以通过东数西存的方式将数据放置在西部,降低运营成本。当前的数据排布存在不同业务间数据共享差、数据访问长尾、数据缓存命中率低、网络带宽占用大等问题,未来有望通过业务逻辑和数据逻辑分离、数据网络编码、数据预取淘汰算法等技术突破,实现自适应数据缓存和就近读写缓存加速,提供应用无感、成本最优的数据访问体验,使得数据更容易被发现和利用。跨域数据协同企业使用多个地域的数据中心或多个异构云供应商,提供统一的计算/存储服务,以提升基础设施能力、控制成本;资产、软件、应用的分布跨多个数据中心或多个云环境,催生了跨域的数据协同和数据整合。跨域数据协同在如下两个技术方向上存在机遇和挑战:数据共享数据模型数据隐私数据清洗数据采集数据集成自动数据治理全局虚拟数据总线元数据订阅元数据发现元数据发布全局数据视图全局数据流动数据中心边缘数据中心公有云图 2-19 跨域数据协同框架43数据存储 2030存力网络未来,数据的产生天然形成数据孤岛,跨域数据流动存在广泛需求。当前数据访问的网络延迟大、系统效率低,严重阻碍了数据应用的发展,需要打破地域和区域的限制,构建高效快速的存力网络,实现应用无感、地域无感的数据访问。从存储业务的原始需求出发,未来存力网络应提供如下 4 种能力:存储语义感知:传统网络仅感知网络语义,如IP 地址、TCP/UDP 端口号等,对所有网络报文一视同仁。未来智能数据网络能够进一步感知存储语义,如根据存储语义分辨报文的重要性和优先级实现策略转发、识别报文之间的关联性实现 Co-Flow 调度、基于存储 IO 语义进行路由等,从而实现对存储报文的差异化处理,充分利用有限网络资源,支撑数据在不同节点间的频繁交互。在网计算服务:传统网络仅具有报文转发和路由能力,未来智能数据网络将进一步赋予网络计算能力。通过抽象运算算子,设计图灵完备的指令集,实现高效的数据处理引擎。一方面,数据处理引擎可由网络转发设备承载,能够实现数据的随路处理,在数据搬移的必经之路上对数据进行加解密、压缩、去冗、校验等计算处理,实现数据计算和数据传输的实时并行;另一方面,数据处理引擎可由端侧网卡设备承载,能够实现数据不动计算动的近数据计算,节省数据搬移带宽和提供低延时服务。此外,SDXI(Smart Data Accelerator Interface)/NVME 等接口协议转换也可由端侧网卡设备承载,提供硬化的数据流动能力。在网存储服务:当前网络的主要功能是数据包的搬运。未来,有望利用网络自身大量数据包的转发处理能力,对外提供多样化的随路存储服务,比如分布式锁、元数据缓存、事务并发控制等服务,实现 sub-RTT 的服务响应时间,大幅提升数据访问效率。多目标传输:在网络控制协议上,传统的 TCP/IP 网络是基于网络生存性设计的,存在高通量和低时延不可兼得的问题,未来有望通过RDMA over WAN、F6G、全光网络等技术,同时实现超低时延和高吞吐;在网络路由协议上,传统网络是满足单目标来设计的,无法同时满足路径最短、网络利用率最大、负载均衡等多目标的需求。而在数据存储网络中,既存在低延时网络的实时交互的数据库查询需求,又存在高通量网络的大文件传输需求,未来有望建立多目标的网络协议,实现多样化的数据服务。44数据存储 20302.5 数据即应用预 计 到 2030 年,以 数 字 孪 生、元 宇 宙、ChatGPT 等技术为代表的智能数据基础设施无处不在,和人的生活紧密结合。当前,日益复杂的存储系统已无法满足新兴多云应用的智能化数据业务需求,需要数据业务逻辑与数据智能解耦。数据基础设施面临着三大挑战:1)各个应用的数据分散在各个角落,形成一个个数据烟囱,应用间数据无法共享;2)对数据价值的挖掘消耗了海量的资源,反复对数据进行建模、训练、推理,不可持续发展;3)针对海量应用的数据管理的复杂度不断上升,数据预处理的效率成为核心瓶颈,严重制约了应用的发展。数据即应用,意味着数据存储将具备数据感知、数据理解、新型数据服务等能力,支撑数据服务走向千行百业,数据业务百倍增长。数据存储将向泛在化、多样化内涵、认知存储等三个趋势发展。泛在化:数据存储将走向小型化、便携化、绿色化、智能化,呈现出低功耗、可移动、生物性、量子性等特征,将催生便携式存储(Portable Storage)、计算型存储、类脑脑机存储、生物DNA 存储等一系列新形态。其中,便携式存储将会是最早大规模商用的产品,短期内以数据存储、数据移动为主,实现数据在端侧、边缘和数据中心或云中的快速流转;中长期来看,便携式存储通过可组合乐高式设计,形成一个高可靠、高安全、免运维的智能移动存储设备,集数据存储、数据移动、数据交互、数据处理为一体,实现数据的实时共享、实时交互、实时处理。多样化内涵:从数据产生的源头来看,层出不穷的新型应用使得数据的产生主体从传统服务器向多样化的数据产生源发展;从数据格式来看,传统应用以图形图像数据格式为主,新型脑机接口、生物仿生、AI 等应用将推动数据格式走向多样化,并催生出 Vector、Tensor 和RAG 等新的数据范式;从数据语义来看,自动驾驶、无人机、机器人等端侧设备,将产生大量的复合语义数据。认知存储:当前的存储设备仅提供数据存放功能,访问层次多,无法满足极致的应用体验。未来的存储设备将成为具有认知能力的智能设备,能够自动处理和分析数据,依托数据进行自适应建模,形成领域知识,并通过“学习”不断提高自身的处理能力25。未来,数据即应用技术将向以下 4 个方向演进:服务型接口数据语义提取多模态分析自适应建模知识库或数据集专家和可标注知识多模态数据图 2-20 数据即应用框架45数据存储 2030内容消费的服务型接口当前的存储设备一般提供块、文件、对象等基础数据接口,进一步可以提供诸如 Table 格式对接数据库应用,DataSet 向量接口对接训练推理型应用,资产类接口对接数据交易型应用等。未来的数据服务和 API 通过提供更先进的功能、更好的性能和更安全的数据访问,可以超越传统的数据源或表界面。它们能够自主创建更复杂的应用程序对外提供创新的方式来利用数据的力量。对数据工程师来说,未来的数据接口允许自定义查询、过滤和以编程方式操纵数据。它们可以提供允许分页或过滤结果、实时数据流和事件驱动的数据处理的端点。这有助于提供更高级的功能,为特定的使用案例量身定做。对普通用户来说,数据接口可以与 NLP 技术整合,提供 ChatGPT 型服务接口。使用户能够使用自然语言与数据互动。这意味着用户可以用简单的语言提问,而界面会理解问题的意图并提供相关的信息。对商业决策用户来说,数据接口可以使用预测性分析来提供基于历史数据的洞察力和预测。这可以帮助用户识别数据中的模式和趋势,这些模式和趋势可能无法通过简单的分析立即看到,而需要先进的可视化技术,为用户提供对数据更全面的理解。总之,未来的数据存储将从数据存取的 ATM 机进化为内容消费的超级市场。数据语义提取数据语义是面向数据业务运用智能化的技术从数据中抽取与业务目标相关信息的一种技术。通过数据语义的提取可以压缩原始数据,提高系统效能。当前,语义提取技术仍面临诸多挑战。首先,语义提取技术主要基于自然语言处理、知识图谱和深度神经网络,受到深度神经网络理论可解释性和规模的限制,语义提取技术距离达到期望准确性还存在一定距离,且基于语义的推理准确性难以达到原始数据的效果。其次,语义提取的泛化性较差,可部署性差,需要多次训练。最后,提供能够独立于软件/硬件支持甚至平台之间差异的完整的数据语义服务是其可用性的基础。数据语义的可移植性,需要定义完整的数据定义和描述的语义方案,不断推动数据服务的标准化和产业化。未来有望通过NLP、预训练大模型技术来实现数据语义提取技术的突破,实现语义推理无损。数据多模态分析未来,多模态数据的整合将更加普及和成熟。随着传感器技术的不断发展,人们将可以更轻松地收集和处理不同类型的数据,包括图像、语音、文本、传感器数据等,并将它们整合在一起26。例如,一个自动驾驶汽车可以同时获得和处理多个数据源,如道路数据、交通数据、车载传感器数据、以及周围环境及座舱的图像和语音数据,并将它们整合在一起,以更准确地态势感知和做出智能决策。同时,多模态数据的整合是一项复杂的任务,需要将来自不同来源的数据进行标准化和统一处理,以便在不同应用程序之间进行交换和共享。未来可能的融合方式包括:1)多模态数据融合:将多种类型的数据融合在一起,例如结合语音、图像、传感器等多种数据源,进行多模态数据分析。这种方式可以提高数据的信息量和可靠性,同时也可以解决单一数据源无法解决问题的情况。2)多层次融合:将不同层次的数据融合在一起,例如结合底层的传感器数据和高层次的语义信息,进行多层次的数据分析。这种方式可以提高分析的精度和深度。46数据存储 2030数据自适应建模数据自适应建模(Data Adaptive Modeling)可以从输入数据中自动识别和学习潜在的模式和结构,并生成相应的预测模型。当前,数据自适应建模还面临诸多挑战。首先,由于样本采样的偏差,应用环境与模型训练场景的差异造成的数据漂移问题普遍存在。当数据的分布产生漂移时,旧模型难以适应新的环境,需要重新训练。其次,为应对新环境和新场景,数据自适应模型需要快速适应新数据,解决快速3)多源数据融合:将来自不同来源的数据融合在一起,例如结合社交媒体数据、物联网数据、企业内部数据等多种数据源,进行多源数据分析。这种方式可以提高数据的完整性和覆盖范围,同时也可以发现不同数据源之间的关联和联系。当前,数据多模态融合分析技术主要基于规则、特征和语义的融合算法,涵盖了机器学习、深度学习、计算机视觉、自然语言处理、传感器技术等多种技术。未来,数据多模态融合分析技术会解决强依赖数据同分布和封闭领域的问题,通过空间变换、自监督学习技术和 AIGC(人工智能技术生成的内容),实现跨模态学习,提升学习能力,自动学习各模态间的语义对齐关系,提高模态融合的理解精度。响应和高效预测的问题。当前自适应建模主要依靠神经网络和机器学习技术,神经网络技术需要寻找合适的网络结构,机器学习需要选择合适的特征,未来有望通过增量学习、迁移学习、领域适应方法、生成对抗网络等方向的技术突破,实现应对复杂多变场景的自适应建模,促进自适应建模的大规模实用化27。47数据存储 20302.6 可持续存储预计到 2030 年,每月读取一次全球数据所需电量,为全球年总产量的 4%6%,产生的二氧化碳需要全球树木耗时 7 天吸收。如何降低每 bit数据读写能耗,对构建可持续发展的数据基础设施至关重要。基于经典的冯 诺伊曼架构,数据在存储和计算单元间传输所需能耗,占 IT 系统总能耗的60%,数据密集型应用的能耗问题尤为突出。以数据为中心的体系架构,将解决数据传输能耗大的问题。未来,低功耗介质、以光代电等技术将减少能耗产生,存储系统、整机和环境等节能技术,将进一步减少二氧化碳产生并提高能耗效率,从芯片、介质及网络全方面减少能耗,达成每比特最优能效和最少碳排放。存储系统级节能存储系统级节能是通过感知计算、存储、网络设备的运行状态,识别数据冷热特征,并结合业务负载规律,构建系统调优模型。存储系统根据模型,调整软硬件工作状态,实现整系统能耗最优。存储系统级节能有以下四类技术:1)硬件功耗智能调优采用大数据和 AI 分析历史数据,探索影响能耗的关键因素,获得 PUE 预测和节能收益模型。利用寻优算法获取调优参数组,预测出设备硬件(CPU、磁盘、网络、风机、冷泵等)的调优策略,达成整系统最优能耗控制。当前解决方案存在模型泛化性差、少样本及实时性差等问题,节能效果不理想,需要大量人工干预。同时,AI 模型解释性差,安全运营风险较大28。未来,有望通过融合专家经验的模型模块化、少样本概率建模、高效在线训练/推理、域自适应等技术,减少人工干预,提高模型可解释性,大幅降低硬件能耗。2)数据分级节能技术当前大部分电能用于维持服务器、存储、网络等设备状态,在非工作时间段,存储设备仍需消耗大量电能,如何减少非工作状态的设备能耗至关重要。数据冷热分级就是在数据中心中,根据数据使用频率,把数据存放在磁光电混合介质中,从而有效降低能耗,平衡性能和成本。当前基于人工经验的数据分级策略和容量规划,存在资源浪费大的问题,未来需解决 IO 访问建模、数据布局,高效预取等问题,有望通过构建精细化的数据使用模型,在保证性能的同时最小化数据存取能耗。48数据存储 20303)存储设备散热技术整机风扇散热器风冷传统导热垫碳纤维导热垫碳基导热垫金属焊接免TIM液冷辅助风冷风液复合(半液冷)3D热管(200W,50W/cm2)VC/TS(270W,80W/cm2)EVAC/LTS(350W,80W/cm2)LAAC(450W,120W/cm2)超薄/3D冷板(550W,180W/cm2)闭式射流(800W,1.31.31.21.151.0512020年2022年2024年2030年图 2-21 存储设备散热技术数据中心的冷却系统用电量,占总用电量的 30%-60%,如何将热量更高效的带出 IT 设备,增加整机散热能力,减少制冷系统功耗,成为绿色低碳的关键因素29。当前数据中心主要采用风冷散热技术,COP(Coefficient of Performance)约为510水平,存在噪音大,无法满足数据中心散热能耗的需求。未来片上的免导热材料、闭式射流冲击冷却散热技术、新型冷却技术、整机余热回收等技术的突破,可有效提高散热效率,从硬件各层面减少碳排放。需要解决零热阻的焊接技术、高比热容且耐腐蚀的非水工质液冷材料和电机转换效率等问题。4)资源感知的统筹调度技术清洁能源是在生产过程中不产生任何温室气体的能源,包括太阳能、风能、水能、地热能、生物能源和核能。大型数据中心可集约布局到清洁能源丰富的西部,同时为实现就近计算,计算也放在西部,但会存在计算延时大的问题。东部保留小规模、极低时延的边缘数据中心,以满足业务低时延要求并减少需要搬移的数据。需开发数据放置策略及跨多 DC 调度引擎,动态实时感知计算、网络、存储资源位置、状态以及可用性、异构性,地域资源定价、碳排放标准等关键因素,实现跨 DC 统筹分配。结合数据智能协同调度,实现跨 DC 的全局统一数据抽取、分析、聚合框架,获得计算效率、数据移动效率与能耗效率最优。49数据存储 2030数据传输能效提升当前数据中心网络通信设备约占总能耗的15%,在 AI、大数据分析等新应用驱动下,数据中心对数据传输带宽需求越来越高。随着400G、800G时代来临,网络带宽想进一步提升,功耗将成为瓶颈。预计 2030 年电费支出约占数据中心年运营成本的 95%,网络设备能耗占数据中心总能耗的 20%,亟需优化数据传输能效。当前数据中心网络方案中,“光-电-光”的转换过程及电信号的处理能耗最大,减少网络中光电转换次数,可有效减少整体能耗。光交换基于光信号直接映射到出端口,无需额外光电转换,且具备 10TB 级带宽,ns 级时延,每瓦 TB 级能效优势。当前光交换基于时间交换技术,光路切换时延需数十毫秒,通过光电混合技术可构建高通量网络。未来,需突破纳秒级切换光器件技术和高速交换算法,实现低功耗的全光数据中心网络。芯片级节能技术当前存储系统中绝大部分的能耗都由芯片产生,如何降低芯片能耗至关重要。随着芯片元件集成度提高,单位体积内散热增加,但由于芯片材料散热速度有限,“热耗效应”限制芯片性能发挥。如何增加芯片算力的同时控制芯片能耗成为一大挑战。异构多样化算力集成、片上动态能效智能管理等技术,可有效解决高算力与低功耗的矛盾。芯片节能技术主要有以下几个研究方向:1)低功耗原材料随着冷源结构、氧化物材料、碳基纳米材料等新兴芯片材料的发展,3D 封装、Wafer Level Chip 等封装技术的进步,互补场效应晶体管(CFET)等低功耗技术突破,芯片集成密度有望持续提升。2)高密低功耗工艺经典物理规律为随着芯片元器件尺寸减少,能耗随之减少,但在纳米、埃米尺度下,会出现“尺寸效应”,此规律不再适用。未来有望通过 DTCOSTCO 技术,寻找最佳芯片设计和光刻工艺方案,使晶体管数量增加至千亿级。3)芯片能耗管理片上能耗管理技术,是通过控制芯片电压与时50数据存储 2030钟频率,达成降低能耗的一类技术。当前芯片电压和时钟频率都是由芯片整体控制,按模块最大需求设置,能量浪费大。片上能耗管理技术有望根据业务负载,按分核级别控制电压和核内子模块的时钟频率开关,使芯片能耗/算力成比例增长,达到所耗皆所用。未来,可结合AI 和传感器技术实现功率预测、功率封顶和部件功耗控制,达成各部件能效比最优。4)数据处理专业化随着摩尔定律放缓,单 CPU 性能提升面临瓶颈,算力年增长量小于 50%,供需差距越来越大。随着登纳德缩放定律的终结,采用多核技术提升算力的方法,将导致能耗大幅增加。经典通用处理器架构难以满足多元化应用发展。通过特定领域的体系结构设计,可以满足多样化算力需求,大幅降低系统功耗30。当前特定领域体系架构通过高效的并行形式、层次化内存结构、混合精度和特定领域编程语言实现多样化算力。由于系统架构、指令集和编程模型的差异大,使多样化算力的发展,面临程序跨平台运行难和编程复杂性高的挑战。未来,有望通过统一指令集、异构资源抽象、高效资源调度和异构编程模型的技术突破,实现大规模多系统的编译器、编程语言、加速库、开发工具等异构软件平台。绿色集约标准2022 年全国数据中心耗电量约为 2700 亿千瓦时,较 2021 年增加 25%,占全社会用电量的 3.1%,预计到 2030 年数据中心能源消耗翻一番。数据中心用能存在高碳排、重污染的情况,存储产业亟需逐步完善绿色集约相关法规标准,助力国家“双碳”战略。当前面向数据中心的绿色标准,如能效仿真模型、节能技术、LCA 碳排放测评、减碳低碳、循环回收等标准已有初步发展,但存储产业未形成统一绿色集约标准。未来,存储产业有望建立统一绿色集约标准,覆盖数据全生命周期碳足迹、芯控接口、数据传输功耗、存储设备能效、存储设备碳排放强度和存储设备可再生能源利用率等关键指标,制定能耗基准,形成存储绿色低碳综合评价体系。51数据存储 2030数据存储 2030 倡议03随着数字经济的全球化,数据存储产业作为数字化基础设施的基石,具有至关重要的作用。为了应对 2030 年 YB 级数据带来的挑战,不断提升数据存储的整体竞争力和产业协同性,实现产业级重大创新和突破,我们建议在以下几个方面持续开展协同技术创新:1、应对多样化数据的挑战,发展多元化介质,重点推进介质应用创新,大幅度提升介质容量密度和每比特能效;2、突破传统的冯诺依曼体系架构,推进以数据为中心体系架构的建设,构建高通量对等互联总线,建立统一的互联互通标准和协议,重构数据基础设施。3、重视存力建设,以存补算,从数据处理的全流程来建立存力量纲,提升数字化基础设施的整体效率;4、推动零信任存储体系建设,促进数据的产权、使用权和控制权分离,建立数据重力相关指数的行业标准,大幅度提升数据可信流动效率;5、推进每比特最优能效和碳排放的绿色集约标准体系建设,发展可持续 IT,从以环境能效为中心的节能要走向以 IT 系统效率为中心的可持续节能。让我们共同努力,一起开创数字化基础设施的大航海时代!52数据存储 2030附录 A:参考文献【1】Seagate and IDC,Data Age 2025,May 2020【2】Gartner,“Forecast:Hard-Disk Drives,Worldwide,2020-2026”,2022.https:/ Health Organization.World health statistics 2021:monitoring health for the SDGs,sustainable development goals.2021.https:/apps.who.int/iris/handle/10665/342703.【4】德勤中国,数字化健康白皮书,2021【5】联合国,2030 年可持续发展目标在中国,http:/sdgcn.org/sdg2.html【6】,Smart Home Technologies Reshape Real Estate Preferences in 2020,https:/ Economic Forum,Raising Ambitions:A new roadmap for the automotive circular economy,2022,https:/www3.weforum.org/docs/WEF_Raising_Ambitions_2020.pdf【8】IDC,全球智慧城市支出指南,2020【9】Korn Ferry,Future of Work-The Global Talent Crunch,2018,https:/ 合 国 环 境 规 划 署,Emissions Gap Report 2020,2020,https:/www.unep.org/emissions-gap-report-2020【11】Abbosh O.,Bissell K.,Reinventing the Internet to Secure the Digital Economy,2019,https:/ L.and Patterson,David A.,Computer Architecture,Fifth Edition:A Quantitative Approach,Morgan Kaufmann Publishers Inc.,2011【13】中国信息通信研究院,数据要素白皮书,2022【14】Gartner,HDD and SSD market forecast,2021【15】Yang S,Zhang J.Current Progress of Magnetoresistance Sensors.Chemosensors,2021【16】Takeshi H.,Hitoshi N.A study on high-density recording with particulate tape media for data storage systems,Synthesiology,201753数据存储 2030【17】SONY,Optical disc archive generation 2 white paper,2016【18】Yuan X.,Zhao M.,Guo X.,Li Y.,Gan Z.and Ruan H.,Optical tape for high capacity three-dimensional optical data storage,Chinese Optics Letters,2020【19】舒继武,新型存算分离架构技术展望,中国计算机学会通信,2022【20】范东睿,叶笑春,包云岗,孙凝晖,中国高通量计算机的自主研发之路,中国高性能计算发展战略专题,2019【21】Conte T.M.,DeBenedictis E.P.,Gargini P.A.and Track E.,Rebooting Computing:The Road Ahead,IEEE Computer Society Press,2017【22】邬江兴,网络空间内生安全发展范式,中国科学:信息科学,2022【23】Yin X.F.,Zhu Y.M.,Hu J.K.,A Comprehensive Survey of Privacy-preserving Federated Learning:A Taxonomy,Review,and Future Directions,ACM Computing Surveys,2022【24】Gupta A.,Key Pillars of a Comprehensive Data Fabric,Gartner,2021【25】Microsoft Azure,Azure 认知搜索中的知识存储,2023,https:/ T.,Ahuja C.,Morency L.P.,Multimodal machine learning:a survey and taxonomy.IEEE Transactions on Pattern Analysis and Machine Intelligence,2019【27】Wilson G.,Cook D.J.,A Survey of Unsupervised Deep Domain Adaptation,Association for Computing Machinery,2020【28】Yu Y.,Wu C.,Zhao T.,OPU:An FPGA-based overlay processor for convolutional neural networks,IEEE Transactions on Very Large Scale Integration(VLSI)Systems,2020【29】国家信息中心,数据中心绿色高质量发展研究报告,2022【30】Hennessy J.L.,Patterson D.A.,A New Golden Age for Computer Architecture,Communications of the ACM,201954数据存储 2030缩略语英文全称中文全称ABEAttribute-Based Encryption基于属性加密AIoTArtificial intelligence of things人工智能物联网CBACMOS Banded ArrayCMOS 与 Array 键合CFETComplementary Field Effect Transistor互补场效应晶体管CIMCompute In Memory存内计算CMOSComplementary MetalOxideSemiconductor互补式金属氧化物半导体CNACMOS Next to Array、CMOS Near ArrayCMOS 在 Array 旁边COPCoefficient of Performance性能系数CUACMOS Under ArrayCMOS 在 Array 下边CUECarbon Use Efficiency碳利用效率指标DNADeoxyribonucleic acid脱氧核糖核酸DPUData Process Unit数据处理单元DRAMDynamic Random Access Memory动态随机存取存储器DTCODesign-Technology Co-Optimization设计工艺协同优化EDAElectronic design automation电子设计自动化HAMRHeat Assisted Magnetic Recording热辅助磁记录HDDHard Disk Drive硬盘HPDAHigh Performance Data Analytics高性能数据分析IoTInternet of things物联网附录 B:缩略语55数据存储 2030缩略语英文全称中文全称LCALife Cycle Assessment生命周期评估LTFSLinear Tape File System线性磁带文件系统LTOLinear Tape Open开放线性磁带MAMRMicrowave Assisted Magnetic Recording微波辅助磁记录MRAMMagneto resistive Random-Access Memory磁阻式随机存取存储器PBPetabyte拍字节,千万亿字节PLCPenta-Level Cell五层式存储单元PUEPower Usage Effectiveness能源利用效率QLCQuad-Level Cell四层式存储单元SCIStorage Compute Integrated存储计算集成SCMStorage Class Memory存储级存储器SSDSolid-State Drive固态盘STCOSystem Technology Co-Optimization系统技术协同优化STT-MRAMSpin-transfer torque MRAM自旋转移转矩磁性存储器TEETrusted Execution Environment可信执行环境UBUnified Bus统一系统总线Wafer LevelWafer Level晶圆级YBYottabyte尧字节,一亿亿亿字节ZBZettabyte泽字节,十万亿亿字节56数据存储 2030附录 C:致谢数据存储 2030 编写过程中得到了来自华为内外部多方的大力支持,100 多位来自华为的专家和社会各界知名学者参与了材料的讨论、交流,贡献思想、共同畅想了 2030 年数据存储产业的发展方向和技术特征,在此对所有参与技术交流和讨论的学者们致以诚挚谢意!(学者名单按照姓名字母排序,不分前后)包云岗(中科院计算所,研究员)崔鹤鸣(香港大学,副教授)陈明宇(中科院计算所,研究员)冯 丹(华中科技大学,长江学者特聘教授)顾 荣(南京大学,特聘研究员)过敏意(上海交通大学,教授,IEEE Fellow,欧洲科学院院士)黄 勤(北京航空航天大学,教授)蒋德钧(中科院计算所,副研究员)金 海(华中科技大学,长江学者特聘教授,IEEE Fellow)李 祎(华中科技大学,副教授)刘贤明(哈尔滨工业大学,教授)陆游游(清华大学,副教授)缪向水(华中科技大学,教授)任 奎(浙江大学,教授,ACM Fellow,IEEE Fellow)舒继武(清华大学,长江学者特聘教授,IEEE Fellow)唐 卓(湖南大学,教授)王 聪(香港城市大学,教授)王则可(浙江大学,百人计划研究员)王肇国(上海交通大学,副教授)邬贺铨(中国工程院院士)谢长生(华中科技大学,教授)赵世振(上海交通大学,副教授)周 可(华中科技大学,长江学者特聘教授)57数据存储 20302024 年版本刷新说明 华为积极与业界知名学者、客户、伙伴深入交流,投入对智能世界的持续探索。我们看到智能世界的进程明显加速,新技术和新场景不断涌现,产业相关参数指数级变化。为此,华为对 2021 年发布的数据存储 2030进行系统刷新,展望面向 2030 年的场景、趋势,并对相关预测数据进行了调整。华为技术有限公司深圳龙岗区坂田华为基地电话: 86 755 28780808邮编:免责声明本文档可能含有预测信息,包括但不限于有关未来的财务、运营、产品系列、新技术等信息。由于实践中存在很多不确定因素,可能导致实际结果与预测信息有很大的差别。因此,本文档信息仅供参考,不构成任何要约或承诺,华为不对您在本文档基础上做出的任何行为承担责任。华为可能不经通知修改上述信息,恕不另行通知。版权所有 华为技术有限公司 2024。保留一切权利。非经华为技术有限公司书面同意,任何单位和个人不得擅自摘抄、复制本手册内容的部分或全部,并不得以任何形式传播。商标声明 ,是华为技术有限公司商标或者注册商标,在本手册中以及本手册描述的产品中,出现的其它商标,产品名称,服务名称以及公司名称,由其各自的所有人拥有。

    发布时间2024-09-19 57页 推荐指数推荐指数推荐指数推荐指数推荐指数5星级
  • 华为:迈向智能世界白皮书2024-云核心网(21页).pdf

    免责声明本文档可能含有预测信息,包括但不限于有关未来的财务、运营、产品系列、新技术等信息。由于实践中存在很多不确定因素,可能导致实际结果与预测信息有很大的差别。因此,本文档信息仅供参考,不构成任何要约或承诺,华为不对您在本文档基础上做出的任何行为承担责任。华为可能不经通知修改上述信息,恕不另行通知。版权所有 华为技术有限公司 2024。保留一切权利。非经华为技术有限公司书面同意,任何单位和个人不得擅自摘抄、复制本手册内容的部分或全部,并不得以任何形式传播。华为技术有限公司深圳龙岗区坂田华为基地电话: 86-755-28780808邮编:商标声明 ,是华为技术有限公司商标或者注册商标,在本手册中以及本手册描述的产品中,出现的其他商标,产品名称,服务名称以及公司名称,由其各自的所有人拥有。云核心网构建万物互联的智能世界迈向智能世界白皮书20245G-A智能核心网打造业务入口提升联接价值013云核心网云核心网摘要:2024 年是 5G-A 商用元年,也是 AI 入端元年,两者碰撞,开启移动 AI 时代,让智能化服务无处不在。5G-A首版本3GPP R18已经冻结,60多家运营商和伙伴宣布5G-A商用元年的到来。领先运营商积极实践,思考如何用好 AI 和 5G-A 的新能力,创造新商业价值。华为云核心网在2023年发布了 核心网迈向智能世界 白皮书,指出了核心网演进的七大趋势,在业界产生了广泛的影响。2023 年趋势一:随着 MEC 行业应用的深化,激发出了更多新联接的需求,RedCap、AIoT、通感融合等新联接能力将为行业带来更广阔的价值趋势三:5G 商用激发 VoLTE 发展,保障体验成为新的挑战趋势五:裸眼 3D 将引爆新一波移动媒体流量,云网端媒体处理协同和网络智能体验保障成为下阶段技术热点趋势六:电信云作为电信业务平台演进的最佳实践,未来将持续在融合极简、自动化、平滑演进等方面兑现云化价值趋势七:核心网原生 AI 从 AI4Net 到 Net4AI,通过 AI4Net 实现运维智能,通过Net4AI 实现体验智能、业务智能趋势四:新通话备受关注,使能开放运营是打造新通话业务平台的关键趋势二:在 MEC 的多业态、全互联基础上,层二全互联、多业务平面互联、Mesh 拓扑组网成为新的网络趋势新联接新通话新视频电信云智能化0302云核心网云核心网今年,我们结合与产业伙伴在 5G-A 核心网的创新、实践以及新的洞察,探讨运营商关心的AI 和 5G-A 新能力的商业变现两个问题。从 AI 入端、网、业,5G-A 的新能力和电信云演进的三大纬度,洞察了核心网演进的六大趋势。在此发布新一版白皮书,提出我们对产业的思考和建议,为产业发展提供借鉴。2024 年趋势三:运营商背负的“历史债务”越来越重,全面拥抱 AI,实现运维高效和网络高稳成为当务之急趋势五:5G-A 超越联接,“通、算、存”融合,探索内容入网和低空经济趋势一:业务体验诉求差异化,5G-A 网络的大带宽及低时延,使能运营商网络的体验经营成为趋势趋势二:移动 AI 时代,新通话使能运营商重构拨号盘业务,加速抢占业务入口趋势四:5G-A 新能力,带来联接(toB/toC)的做宽、做深、做厚、做多,提供智能化联接和确定性联接趋势六:历经十年 NFV 探索,电信云是运营商的战略选择,运营商致力于兑现其端到端(E2E)自动化初衷运维智能(数字员工)5G-A 超越联接网络智能(体验经营)业务智能(新通话)5G-A 增强联接电信云2024年核心网趋势洞察业务体验诉求差异化,5G-A 网络的大带宽及低时延,使能运营商网络的体验经营成为趋势 趋势一趋势二5G 商用 5 年来,创造了显著的商业价值和社会效益。先行运营商通过流量变现,已经享受到了 5G 商用的第一波红利,但是运营商也面临着移动流量增长放缓和营收乏力的压力,迫切需要开辟新的增长曲线,流量经营向体验经营转变成为必然趋势。随着 5G-A 正式商用和移动 AI 时代的到来,一方面新业务不断涌现,提出了更高的体验要求和差异化保障诉求,使得体验经营具备了业务基础。另一方面,5G-A 的上下行大带宽、低时延等特性为新业务体验保障提供支撑,使得体验经营具备了网络基础。据分析师机构统计,全球超过 55%的消费者愿意为更好的业务体验支付更多的费用,满足对体验的差异化诉求,使得体验经营具备了用户基础。移动 AI 时代,新通话使能运营商重构拨号盘业务,加速抢占业务入口 为实现业务创新、提升用户体验、保持基础业务入口粘性、实现新增长,2023 年领先运营商以新通话为先导在业务智能上开启了新的尝试。2024 年,5G-A 和 AI 相遇,整个话音产业正在发生新的变化,从透明交换到多模态通信演进,给运营商带来了新的机遇。中国移动 2023 年下半年在全国规模部署了新通话网络,短短半年已经发展了上千万用户。同时,新通话还在欧洲、拉美、中东、亚太等多个区域得到了广泛验证,新通话正从领先运营商小规模商用走向全球蓬勃发展。在抢占 AI 流量入口的大潮中,领先运营商发力 AI 通话业务创新,将 AI 作为通话智能助手和通话辅助,打造通话智能体,提升通话体验和效率,同时为第三方 AI 大模型引流,让通话拨号盘重新成为用户可感知、有粘性,爱用、好用的运营商业务入口。点亮屏幕叠加AIGC,让通话成为移动新媒体,使能运营商从时长运营走向内容运营,开启新增长。0504云核心网云核心网2024 年 6 月,3GPP Release 18(简称“R18”)标准冻结。R18 面向话音业务的演进,定义了新通话的架构、接口和流程,为产业的发展奠定了技术基础。2023 年底,GSMA 董事会成立新通话 Task Force 工作组,推进新通话标准生态建设。在工作组的推进下,DC 原生终端预计24 年底上市,将大幅推进交互视话的商用进程。运营商背负的“历史债务”越来越重,全面拥抱 AI,实现运维高效和网络高稳成为当务之急 5G-A 新能力,带来联接的做宽、做深、做厚、做多,提供智能化联接和确定性联接 趋势三趋势四随着云原生的持续演进和 5G 等新制式的引入,运维的工作量和复杂性大幅度增加,但运维人员数量长期大致持平,运维工作量和运维人员数量之间的剪刀差越来越大。在这种情况下,有些非关键告警等网络信息被迫忽略,带来了网络可靠性的隐患。另一方面,大模型的发展也让业界看到了希望。通过 AI 使能增加数字员工,提升网络运维效率,“还清历史债务”成为当务之急。在此背景下构建适用于核心网领域的运维多模态大模型,打造基于角色的 Copilot 及面向场景的 agent,实现大小模型协同,加速推动网络自动化走向 AN L4 高阶自智,成为新的热点。做宽:移动互联网业务的高清化、智能化趋势带来超高带宽需求,云游戏、XR 应用、4K 直播和测速软件分别需要 100Mbps、200Mbps、800Mbps和1Gbps以上的带宽。终端和无线基站 3CC 技术的进步释放了空口传输的潜力,需要核心网提供更高的转发速率满足端到端大带宽诉求。做 深:GSMA 预 测 5G 行 业 专 网 收 入2030 年将达到 1090 亿美金,5 年复合增长将5G-A 超越联接,“通、算、存”融合,探索内容入网和低空经济 历经十年 NFV 探索,电信云是运营商的战略选择,运营商致力于兑现其端到端(E2E)自动化初衷 趋势五趋势六短视频已成为移动互联网的主流业务,2023 年全球短视频日活跃用户数突破 26 亿,中国短视频用户占比达90%。在5G网络推动下,短视频高清化趋势明显,H.265 高清编码视频占据约 90%的播放量。以抖音为例,300 万用户需要约 60Gbps 的 CDN 带宽,带宽需求急剧增加。CDN 带宽成本上升影响了 OTT 平台和运营商。OTT 平台通过降低视频码率节省成本,影响用户体验。低码率视频导致用户流量消耗减少,影响运营商的收入和高级数据套餐销售。内容入网可解决 OTT 和运营商面临的问过去十年,由 ETSI 主导的 NFV 技术为运营商成功开创了虚拟网络功能(VNF)时代。5G-A 和人工智能(AI)技术的发展,给运营商电信网络带来新的机遇与挑战:从VNF 到云原生网络功能(CNF)、从通用计达到 66%。公网专用的建网模式已经成为运营商共识,截止 2023 年,仅中国区公网专用的专网部署超过 30000 个,已经深入覆盖教育、医疗、政务、能源等多个行业领域。随着 5G在行业的深入,也逐步从外围生产辅助走向生产核心,融入核心生产流程。做厚:随着业务诉求的不断发展,网络变得更加立体。随着智能终端、网络的发展,人们有随时随地访问不同设备和网络的业务需求。比如,远程访问家庭智能设备/企业办公设备的需求,随时随地接入企业办公专网的需求,远程访问以车为中心打造的第三空间等需求。网络从单一的 toC 联接演进到人、车、家、企业的 MESH 互联,已经成为趋势。做多:在物联的海洋中,不同场景对于物联网络的诉求不尽相同。4G 时代 NB-IoT和 LTE-M 满足百亿级的中速物联场景。进入5G/5G-A 时代,RedCap 提供更加高速的物联接入,A-IoT 面向极低速率的物联场景,开启了千亿物联的新空间。题,运营商积极探索内容中继技术。通过优化视频传输效率,可以缓解 CDN 带宽压力,提升用户体验,同时增加数据流量和运营商收入,实现用户、OTT 和运营商的多赢。通感融合一网多能,在低空、海洋、交通等多场景应用,是运营商的重要增长引擎,赛迪顾问发布的中国低空经济发展研究报告指出,低空经济存在“三层万亿”发展空间,包括低空飞行器制造、通用机场建设、低空新型基础设施等。从政策制定、技术发展、协议研究、应用场景各个方面,都在不断丰富,促进通感一体产业落地。算(CPU)到多样化算力(xPU),以及如何有效使能 AI。这一过程中,运营商在遵循ETSI标准框架基础上,借鉴优秀IT技术实践,同时坚持电信级能力要求,构建了稳固的电信基础设施底座,推动产业创新和持续发展。0706云核心网云核心网概述1目录0507趋势四趋势六G-A新能力,带来联接的做宽、做深、做厚、做多,提供智能化联接和确定性联接历经十年NFV探索,电信云是运营商的战略选择,运营商致力于兑现其端到端(E2E)自动化初衷223103趋势二移动AI时代,新通话使能运营商重构拨号盘业务,加速抢占业务入口140608趋势五总结和展望5G-A超越联接,“通、算、存”融合,探索内容入网和低空经济263604趋势三运营商背负的“历史债务”越来越重,全面拥抱AI,实现运维高效和网络高稳成为当务之急1802趋势一业务体验诉求差异化,5G-A网络的大带宽及低时延,使能运营商网络的体验经营成为趋势0901概述070908云核心网云核心网2024 年是 5G-A 商用元年,也是 AI 入端元年,两者碰撞,开启移动AI 时代,让智能化服务无处不在。5G-A 首版本 3GPP R18 已经冻结,60 多家运营商和伙伴宣布 5G-A 商用元年的到来。领先运营商积极实践,思考如何用好 AI 和 5G-A 的新能力,创造新商业价值。首先,AI 入终端,带来人机交互变革和移动终端变革。人机交互方式将从“触控交互”升级为“多模态交互”,从传统的触觉进化为触觉听觉视觉,支持自然语言、手势和情感等多种交互方式。移动终端从智能手机走向“AI 助理”和“具身智能”,提供全场景的智能入口。其次,AI 入网络,带来商业模式变革。商业模式将从“流量经营”升级为“体验经营”,从单量纲“流量”向多量纲“业务场景的体验”转变,满足 toC 场景消费者差异化体验需求。再次,AI 和业务融合,带来数字业务入口变化。数字入口将从“APP”转化为“AI 助理”,从应用商店”APP”向终端“原生免 APP“转变。以话音为例,通话叠加 AIGC,将会孵化更多 toC 和 toB 高价值场景,如企业的传统热线电话升级为 AI 智能助理。在移动 AI 时代,人工智能和 5G-A 核心网融合,5G-A 智能核心网的联接能力增强,超越联接,智能化加速运营商实施开源节流、提升用户体验的网络转型战略。人工智能入端、网、业,推动业务和体验升级,业务智能给运营商带来业务新入口;网络智能助力运营商体验经营,重塑商业模式;运维智能重构运维框架,数字员工和运维专家携手,实现网络高稳高效。5G-A核心网的增强联接能力带来更宽、更深、更厚、更多的联接,同时 5G-A 超越联接,新增的“通算存”聚合能力,助力运营商探索低空经济新场景,共创移动 AI 时代的商业新价值。2趋势一业务体验诉求差异化,5G-A 网络的大带宽及低时延,使能运营商网络的体验经营成为趋势1110云核心网云核心网2.1 沉浸式体验、泛在AI业务、自动驾驶等新业务,需要更低时延、更高带宽,体验经营具备业务基础随着 5G 网络的发展,多样化的业务也不断涌现,例如 XR、云游戏/云手机无人车等,不同的业务对网络带宽和时延等业务体验提出了差异化诉求。云游戏要求网络延迟低于 20 毫秒,以确保操作与反馈的即时性。XR 应用要求网络延迟在 10 毫秒以下,以避免用户的眩晕感和不适。国内最近推出萝卜快跑无人驾驶,复杂场景后台云代驾通过屏幕看实时路况从而远程操控车辆,对体验诉求单向时延 520ms,上行最优 100Mbps 的带宽,以满足复杂场景车辆和乘客的自身安全和远程操作的及时性。图 1:业务对带宽和时延的需求随着 AI Phone,大语言模型和 AIGC 浪潮,如 Sora、ChatGPT-4o 等多模态 AI 交互式应用带来的内容生态革命,对移动网络的上下行能力均提出新诉求。例如 ChatGPT-4o 极致体验空口时延要求 1Gbps10Mbps100MbpsSource:GSMA&华为无线 X Labs1s2.2 用户有追求体验与尊崇感的诉求,使得体验经营具备用户基础4G 时代,高价值用户与普通用户基于相同的网络资源竞争,高价值用户无法得到相应的体验差异化来满足自身对体验和尊崇感的追求,付出与回报无法匹配。5G 时代,业务的发展对体验提出了更高的要求,如何满足用户和业务的差异化体验需求,以及如何优化 4G 时代网络资源”大锅饭”的现象,实现网络资源的公平与效率最优,帮助运营商从流量经营向体验经营转型,实现可持续的商业增长。据分析师机构调研,全球超过 55%的消费者愿意为更好的业务体验支付更多的费用,以满足体验的差异化诉求。同时,在获得更好体验的同时,高端用户希望有更好的尊崇感,例如在终端的 Logo 显示 VIP 保障等,让终端用户感知升格。全球中国55U%更高的下行速率51%更高的上行速率479%更可靠的连接336%不限流量34)%更多的流量22 %5G 特色应用图 2:消费者支付愿意调研(Source:Omdia)2.3 5G/5G-A网络的多维能力让体验经营具备网络基础,领先运营商积极探索“体验经营”运营商经历了4G初期的人口红利和4G中后期的流量红利,全球运营商普遍仍处于流量经营时代。但流量经营正面临两大挑战:流量增速放缓和同质化竞争。全球流量增速整体放缓至30%以下,仅非洲、拉美部分 EM 区域达 40%以上。同质化竞争愈演愈烈,每 MB 单价也呈现下滑趋势,部分发达市场下滑 50%以上。面对挑战,运营商也一直在探索如何做到基于自身网络优势的可持续发展和经营。1312云核心网云核心网图 3:Global Mobile Data Traffic(Source:GSMA)图 4:中国运营商的多维度体验套餐在亚太,5G 领先市场的运营商积极投资多维体验变现模式。针对上行体验,中国联通在广东推出5G 直播套餐,面向直播博主群体差异化提供超高上行速率保障。截至 2023 年底,累计发展有 30 多万用户,实现收入 3 亿元,拉动 DoU 提升 6GB、ARPU 值提升 76%。中国移动在浙江发布 5G-A全球首商用部署,提出通过 5G-A 分层分级为用户提供重点业务保障方案,实现演唱赛事、网红直播不卡顿、移动办公保流畅等,推动通信体验迈向全新层次。00%1,0005%2,00010%3,00015 %4,00025%5,00030%6,00035 232024202520262027202820292030泰国AIS于2023年底推出Living Network热点加速叠加包,包含Boost(更高速),Game(低延迟)和 Live(上行)三种加速模式,以确定性的差异化保障用户的差异化体验。图 5:泰国运营商 AIS 的体验套餐在中东,典型运营商通过 FWA 用户分层分级探索体验经营新路径。阿联酋运营商 du在 SAMENA 期间发布 FWA 游戏加速套餐,面向指定游戏实现时延差异化体验,并附带迪士尼 等 OTT 会员权益。当然,体验经营在打开运营商新的增长曲线的同时,对运营商网络能力也带来了一定的要求,具体需包含如下“五可”的能力:1 可识别:能正确识别业务的质量和 KQI,包含识别高价值用户,同时精准的识别用户的业务应用以及实时的分析出用户在该业务应用下的体验。2 可触达:通过向高价值用户推送短信等精准营销的方式,实现用户的 Add on 订购或升套。3 可保障:构建差异化指标体系,对用户的差异化体验诉求在网络侧能真正的实现,如对放号的评估,不同用户不同业务的动态保障。4 可感知:保障效果通知短信、UE-Logo等方式在终端用户侧可被感知,让终端用户真正体会到自己被保障。5 可评估:建立场景化的定位定界体系,能通过不同的手段进行问题的快速闭环,例如保障不成功原因,保障的质量分析等。Mobile data traffic(EB)Growth rate(%)1514云核心网云核心网3趋势二移动 AI 时代,新通话使能运营商重构拨号盘业务,加速抢占业务入口为实现业务创新、提升用户体验、保持基础业务入口粘性、实现新的增长,2023 年领先运营商以新通话为先导在业务智能上开启了新的尝试:音视频基础网 智能 交互重塑运营商的基础业务,向多模态通信演进,让通话有趣、有料、有用,让通话拨号盘重新成为用户可感知、有粘性,爱用、好用的运营商业务入口。2024 年,5G-A 和 AI 相遇,整个话音产业正在发生新的变化,给运营商带来了新的机遇。3.1 新通话正从领先运营商小规模商用走向全球蓬勃发展中国移动将新通话定义为重点战略产品,并于 2023 年下半年在全国规模部署了 5000 万用户的新通话网络,上线了智能翻译、趣味通话、点亮屏幕、AI 速记等新业务,短短半年已经发展了上千万用户,既增加了用户沟通的效率和乐趣,也提升了运营商的流量和收益。将新通话发展成基础业务,在 toC 业务规模发展的基础上,向 toB 扩展,帮助企业和更多的第三方伙伴入住新通话平台是当前的主要工作。2024 年 5 月,江苏移动联合华为发布“点亮屏幕 ”、“AI 智慧客服”和实时语音驱动数字人等新通话-Advanced 新业务新场景,让 toC 和 toB 通话全面升级,更加有趣,更加智能,为用户带来稳定高清、可视交互、智能高效的全新通话体验,让话音产业打开迈向商业成功的新路径。中国其他领先运营商也正在建设新通话网络,同时,新通话还在欧洲、拉美、中东、亚太等多个区域得到了广泛验证,计划 2024 年商用。将新通话打造成基础业务,提升用户体验,抢占企业应用和 AI 业务的入口正成为全球运营商的普遍选择。3.2 AI重塑通话体验和商业,从透明交换到多模态通信,抢占业务入口2024 年以来,领先终端公司陆续推出 AI Phone,在改变人们的沟通方式、提升沟通效率上进行尝试,以抢占 AI 流量入口。在 AI 风起云涌的时代,运营商如何利用自己 5G-A 网络优势去分一杯羹?点亮屏幕叠加 AIGC,让通话成为移动新媒体,加速内容变现。运营商点亮屏幕业务上线后获得广大用户喜爱和订购,在通话 90s 中将原来的黑屏点亮,呈现个人或企业自定义的内容。AIGC变革内容生产力,将让内容更丰富、生产更高效,AIGC 数字人可以基于用户本人的照片,参照自1716云核心网云核心网身的样貌特征,由 AI 生成多种风格化的数字人,在通话时,根据用户的语音,同步在屏幕上驱动自身的数字人形象,实现通话语音和数字人的表情、唇形的实时同步。AIGC 增加了通话的乐趣、提升了用户体验,企业用户还可以定制企业数字人,展示形象,传递信息,通话成为移动新媒体。运营商可以让更多的人和企业入驻新通话平台,构筑用户粘性,从时长运营走向内容运营,开启新增长。AI Agent 与通话入口结合,构建通话智能体,抢占 AI 入口。领先运营商发力 AI 通话业务创新:首先,AI 全面升级原生通话体验,作为通话智能体提供智能代聊、智能助聊和智能陪聊业务,巩固通话入口。智能代聊可帮助用户智能代答,防骚扰、防漏接、防欺诈;智能助聊可在通话中提供翻译、提醒、建议等智能辅助功能,提升通话体验和效率;智能陪聊可根据用户需求以虚拟朋友身份提供个性化的问答聊天、鼓励关心等情感价值。其次,AI 助力企业客服进行智能化升级,从传统语音交互点亮屏幕语音驱动数字人AI 通话助理图 6:新通话部分典型业务场景向自然语言、视频和数据通道的多模态 Agent演进,抢占企业应用入口。企业数字人客服通过自然语言交互,将关键信息一次性获取,在Data Channel 原生终端规模商用前,通过多模态 Agent 能力解决 DTMF 交互复杂、多层嵌套、耗时长的问题。同时,运营商通过 AI通话助理打造通话应用的统一入口和生态,可为第三方 AI 大模型引流,根据用户实际需求联接对应的大模型,帮助用户推荐和处理工作、生活中的需求,构建 AI 时代的流量入口。3.3 新通话标准已定义,产业生态持续构筑2024 年 6 月,3GPP Release 18(简称“R18”)标准冻结。R18面向话音业务的演进,立项了新通话业务需求及其技术实现的研究和标准项目“下一代实时通信(NG_RTC)”,定义了IMS Data Channel(简称DC)的架构、接口和流程,并对新通话业务的计费方案和安全机制进行了标准化,为新通话产业的发展奠定了技术基础。GSMA 和产业伙伴推进新通话生态建设。2023 年底,GSMA 董事会成立新通话 Task Force 工作组,推进新通话标准生态建设,半年已经发展了 15 家单位,我们希望更多的产业伙伴加入进来,一起打造一个开放繁荣的新通话产业生态。2024 年 7 月,GSMA 正式发布 TS.66 规范首版本。该标准制定了 IMS Data Channel 终端侧 API,为新通话应用生态建设提供了端侧 API 标准。2023 年 10 月19 日,中国移动和华为宣布成立新通话联合创新中心,以“开放、协作、共赢”为宗旨,旨在发挥通信运营商和产业优势,建立面向通话新技术、新能力、新应用的创新孵化环境,为新通话生态合作伙伴的能力快速验证和业务快速创新提供环境支持和全流程服务,从语音到视频再到内容,共建通话新生态,推动新通话走向产业繁荣。DC 原生终端预计 2024 年底上市商用。在工作组的推进下,DC 原生终端加快解决商用断点,2023 年 10 月,华为 Mate60Pro 基于现网实现了 DC 业务首呼,目前,中国运营商正在与终端厂商进行联调测试,并与头部企业进行业务设计,将 DC 交互式能力融入企业服务业务流中,让用户真正能够在一通电话中闭环业务,帮助企业降本增效。预计2024年底,首批 Data Channel 原生终端将投入商用,将大幅推进交互视话的商用进程,支撑运营商将拨号盘打造成应用分发平台,赋能行业应用。1918云核心网云核心网4趋势三运营商背负的“历史债务”越来越重,全面拥抱 AI,实现运维高效和网络高稳成为当务之急降本增效和网络稳定一直是全球运营商的持续追求,随着核心网的持续演进和业务的日益丰富,网络的复杂度逐年递增,而维护人力的数量却没有同步增长,效率和可靠性都出现了告警,运营商背负的“历史债务”越来越重。生成式 AI 的出现为运维转型注入了强劲的动力,全面拥抱 AI,实现运维高效和网络高稳成为当务之急。目前,全球运营商和产业组织开始积极进行人工智能方面的探索和创新,并取得了阶段性的成果。大模型技术催化了“数字员工”的诞生,数字员工进入生产系统,替代流程中的人工操作,真正的实现网增人不增,极大的提升了运维效率,还清了历史上运维人力的欠债。同时孪生技术的应用使得隐患的提前预防和动网前的仿真验证成为现实,极大的降低了事故概率,保障了网络高稳。4.1 移动核心网的网络效率和可靠性面临巨大挑战,全面拥抱AI成为破局关键随着云原生和网络接入制式的持续演进,核心网变得愈加复杂。以中国区某运营商为例,近 5年网元数量增长了 1.8 倍,业务类型增长了 75%,技术类型增长了 2 倍,运维工作量激增,但运维人员数量却长期大致持平,运维工作量和运维人员数量之间的剪刀差越来越大。同时,根据公开媒体披露,由网络复杂度高,运维人力不足,运维手段缺乏等问题带来的核心网可靠性冲击也越来越大。近几年全球核心网事故频发,发生的事故数量,业务中断时长和影响的用户数都呈增长趋势,对事故运营商带来了巨大的经济和品牌损失。网络效率和可靠性都出现了告警,运营商背负的“历史债务”越来越重。图 7:管理对象和运维人力之间的剪刀差持续加大网元数&维护人力数业务类型数&技术类型数50005300034000420002100010060006700078000900010000820202021202220232024业务类型技术类型网元维护人力2120云核心网云核心网全球产业组织和运营商一直致力于通过智能化手段来解决“高效”和“高稳”的业界难题。TM Forum(电信管理论坛)在 2024年 DTW(Digital Transformation World)自智网络产业峰会上发布了自智网络 L4 产业蓝图报告,呼吁加速引入 Generative AI/Predictive AI 等前沿技术,体系化的构建自动化、智能化能力,推动运营商加速迈向 L4 高阶自智。中国移动以价值为驱动,以端到端全自动为基础,提出全面推进 AI 行动计划,通过大小模型的协同创新,实现低成本高效运营。中国联通推出元景大模型,构建面向网络运营的知识问答 ChatBot、作业 Copilot 助手、场景 Agent 等系列服务。同时,海外多个大 T也都将 AI 纳入整体战略并开始多种途径探索,期望借助 Generative AI 改变电信行业,如DT 认为 Generative AI 会给电信行业带来机会,并提出增强的智能自智网络战略。4.2 运维提效:大模型技术催生“数字员工”,解决运营商运维人力欠债问题生成式 AI 的出现为各个领域带来了显著的变化,相对小模型,大模型具备广泛的知识,强大的自然语言理解和表达能力,智能涌现能力,任务规划和决策推理能力,业界普遍认为大模型的引入必将为核心网运维注入新的动能。但核心网有极强的专业属性和各类独有的专业运维知识和数据(产品文档、日志、告警、KPI、信令等),业界的通用大语言模型是不能满足应用需求的,需要打造真正适合于核心网领域的大模型。同时,要围绕“网络维护、体验保障、业务使能”的高价值场景,融入运营商监控排障,投诉处置和业务变更等运营商关键工作流,打造面向不同角色的Copilots 和面向不同场景的 Agents,围绕关键痛点进行人工活动的智能化替代。Copilots 提供自然语义交互、智能知识回答和辅助运维的能力,减少大量的手工信息查询和操作人员间协作,降低操作的门槛,大幅提升各个角色的作业效率。Agents 可以理解并拆分复杂任务,调用合适的工具和接口,快速自主闭环,实现运维降本提效。图 8:智能助手和智能体智能助手智能体孪生网络对话式交互场景自治意图理解,提供专家级方案降低专业门槛,提升运维效率自动感知、分析和优化实现维优营高价值场景“无人化”图 9:仿真验证场景4.3 网络高稳:通过仿真验证提前发现网络隐患,解决运营商可靠性欠债问题核心网网络位置高,影响范围大,保障网络高稳至关重要。业界通过对全球发生过的网络事故原因进行统计分析发现网络变更和信令风暴是导致网络事故的高频原因。因为在网络变更和信令风暴这些高风险场景,现网很难进行模拟,所以也就无法有效的进行风险规避,最终导致事故的发生。业界普遍认为隐患的提前预防是减少事故发生的关键手段,孪生技术的出现使得事前的仿真验证成为可能。如在信令风暴场景,可以将各类信令风暴的故障模式注入到基于孪生网络的实时在线仿真系统,评估网络存在的隐患和问题,指导扩容和调参,并可以通过智能调优算法自动生成网络级最优流控参数组合。信令风暴防控.动网预验证创新业务预验证2322云核心网云核心网5趋势四5G-A 新能力,带来联接的做宽、做深、做厚、做多,提供智能化联接和确定性联接5.1 做宽:业务的高清化、智能化,需要超高带宽移动互联网业务的高清化发展趋势,带来超高带宽的需求。据统计,云游戏业务单流下行速率要求在 100Mbps 以上。XR 应用需要最低 200 Mbps 的单流带宽,以确保用户获得沉浸式体验。4K 摄像机直播需要单流带宽大于 800Mbps。测速软件要求更高,如 Speedtest 要求单流大于 1Gbps。终端连接力突破,3CC 终端加速成熟。2024 年预计 3CC 终端发货达到 4200 万,价位下沉至400$600$。无线基站 3CC 技术已经成熟,实现空口通路变宽 510 倍,释放应用单流510Gbps 潜力。目前,核心网普遍采用单流单核处理,当大量的大带宽单流超出单核能力时,会产生丢包。因此,核心网需要具备“多核聚合”能力,实现网络端到端超大带宽业务转发能力。图 10:核心网多核聚合5.2 做深:toB新赛道快速增长,“5G 工业互联网”走向深入,从外围到现场,从辅助到核心,局域联接走进工业现场ToB 新赛道快速增长,支持运营商新增长曲线。GSMA 在Private 5G Industrial Networks 2023研究报告中预测,5GtoB 专网 2030 年收入将达到 1094 亿美金。中国移动等先锋运营商toB 商业正循环,5G 专网收入复合增长率均超过 50%,形成新的产业空间。Band 1Band 2Band 3Elephant FlowXGbpsUsedUsedUsedUsed2Gbps2Gbps2GbpsSingle vCPU Capability 2GbpsPacket Loss5GC5G Multi-CC Carrier AggregationUsedUsedUsedUsed2Gbps2Gbps2GbpsvCPU Pooling Aggregation5GC?2524云核心网云核心网公网专用成为建网共识。以风筝方案为代表的解决方案,发挥了运营商大网覆盖、电信级高可靠、集约化部署等优势,实现了网络能力变现。截止 2023 年,仅中国区公网专用的专网部署超过30000 个,已经深入覆盖教育、医疗、政务、能源等多个行业领域。以中国国家电网为例,依托运营商网络,通过电网专用切片及核心网独立部署,实现管理域和业务域隔离,在分布式光伏调控、精准负荷控制等实现自动控制,效率提升 50%。“5G 工业互联网”走向深入,局域联接走进工业现场。全球超过工业制造专网超过5000 ,联接从园区辅助到工业现场,从工业外网到工业内网,引入 5G 新能力。通过双机热备、双发选收等能力,提供工业级高可靠,为车间工业设备提供 5G LAN“无线无感”全互联能力及5G 室内高精度定位,支撑柔性制造。同时,为 OT 设备提供确定性体验保障,让 5G 进入生产核心系统,支撑全面无线化的智能制造。2023 年中国联通、长城精工和华为打造全球首个超高可靠性超低时延柔性产线,在汽车制造中为机械臂提供5G确定性低时延,停工时间从15天减少到2天。5.3 做厚:跨域,从联人到联物、联车、联家,未来走向MEC全互联从联人到联物,继而联车、联家,分别打造了以人为中心、以车为中心和以家为中心的通信网络。随着个人终端设备(PC、手机、穿戴设备)和物联设备的爆炸式增加,不仅每个人、每个家庭、每辆车的网络连接数量急剧增加,人、车、家之间也开始打破界限,人、物、车、家相互之间的联接场景变得越来越多。网络就需要从单一的 toC 联接演进到人、车、家、企业的 MESH 互联,不仅需要管理未来数以千计的各种大中小连接,还需要满足各种网络之间的互联诉求。图 11:一跳入家/车 vs 现有多跳入家/车10家家联联U UP PF F家 家庭NAS 鸿蒙大屏人车人-车流量(车端)跨省互联网 云人-车(手机端)跨省互联网 云云互联网人-家/SOHO流量互联网 云迂回现有访问通道MESH优化通道互联网人-车人-家车-家车-家/SOHO流量互联网 云迂回车云终端云人人联联U UP PF F车车联联U UP PF F人家互联,随着智能终端的发展,人们需要远程访问家庭智能设备/企业办公设备。人企互联,校园、企业的泛移动办公网络,人们需要随时随地接入企业办公专网。人车互联,远程访问以车为中心打造的第三空间也逐渐成为刚需。车家互联,车家互控的需求也已经出现,用户既可以通过车辆大屏来控制家庭终端设备,也可以在家庭大屏操控车辆的空调、通风等设备;甚至是车辆之间、家庭之间也需要信息共享。唯有将网络做厚,变得更加立体,才能满足各种互联诉求。5.4 做多:5G-A实现一网多能,RedCap、A-IoT打开toB新空间从人联到物联,5G-A 也在不断满足千亿物联的多样化诉求。4G 时代,NB-IoT 支持低功耗设备在广域网的连接,具备广覆盖、大容量、低功耗、低成本优势,广泛应用于多种垂直行业,如远程抄表、智能路灯等,带宽为100kbps级别;LTE-M 针对智能穿戴、工业传感场景,带宽相较 NB-IoT 提升至 1Mbps 级别,功耗也有所增加。进入 5G/5G-A 时代,相较于 4G,能够提供更加高速的连接体验,物联也随之升级。RedCap 接入能够达到 10100Mbps,可用于视频监控、智能手表等众多对带宽有一定要求的物联场景。与之相反,仓储盘点、物流监控、温度/湿度/压力监测等更加广阔的物联场景对带宽要求极低,因此提出 A-IoT,提供更加轻量低速、成本更低的的物联接入方式。RedCap 是中高速物联的最佳承载方式,使能网络从联人走向全场景应联尽联。RedCap 产业生态支持规模商用,进入规模发展期。RedCap 对标 5G eMBB,具备更低成本(相同规模堪比 4G 价格)和更低功耗(连接态降低 10 %),能够支撑智能电力、视频监控、智能制造、车联网和可穿戴设备等应用场景。联接上量将带动模组价格持续下降,芯模端持续丰富,24年将上市100 行业终端,中国三大 T 在 24 年开启 RedCap 规模商用,海外的领先运营商也启动 RedCap 商用部署。A-IoT 无源物联能够满足智慧仓储、智能制造、物流跟踪典型应用场景,原型样片已就绪,场景化应用进入培育期,商用量产和产业成熟仍需时间。A-IoT 标签具备 A(Passive/无源)、B(Semi-Passive/半无源)、C(Active/有源)三类标签,当前终端发展总体较慢,原型终端样片陆续完成测试,但距离商用量产和产业成熟仍需时间。为了实现 A-IoT 超低功耗,核心网采用轻量级 NAS 通信协议与标签进行通信,能够识别 A/B/C 三类不同终端类型,灵活部署 A-IoT接入能力,满足室内和室外、局域和广域不同需求的组网场景,提供各类终端可管、可控能力,充分释放 A-IoT 千亿物联的潜力。一网多能,赋能运营商提效增收,实现最大价值。toB 千行百业,运营商需要发挥 5G网络优势,一张网支持 4G/NB/5G/RedCap/A-IoT 等融合接入,实现网络可扩展、可演进。2726云核心网云核心网6趋势五5G-A 超越联接,“通、算、存”融合,探索内容入网和低空经济在技术和业务创新的推动下,裸眼 3D、AR、MR 和 VR 取得了显著进展。5G-A 核心网“通、算、存”融合,助力运营商和合作伙伴携手探索低空经济、智慧交通等应用场景。在 2024 年 3 月全球首发 5G-A 商用部署发布会上,中国移动联合华为、酷派、科大讯飞、Cocos、NOLO 等多家合作伙伴成立了 5G-A 裸眼 3D 产业联盟。已发布了手机、平板、车载屏幕、笔记本、显示器等各类裸眼 3D终端产品,以及内容应用、技术平台和生态能力等方面的多项成果。中国移动的 5G-A 商用部署为裸眼 3D 技术提供了强有力的网络支持。5G-A 网络的高速度、大连接和低时延特点,结合 AI 技术的加持,将为裸眼 3D 应用带来更加立体和沉浸的用户体验。科技巨头接连推出 VR/AR 智能眼镜、智能头显等产品,通过空间计算技术,提供沉浸式用户体验。苹果公司针对高端技术市场和专业用户群体推出Apple Vision Pro。Vision Pro 搭载了苹果 M2 芯片、全新的 R1 芯片、两块 4K 分辨率的 Micro OLED 显示屏和精密透镜系统为用户提供了清晰、逼真的视觉效果。Vision Pro 支持眼球追踪、手势识别等先进交互技术,使用户能够更自然地与虚拟世界进行互动。企业界对苹果 Vision Pro 展现出显著的热情。财富 100强中有半数以上的企业已采纳Vision Pro,尤其在医疗、制造、教育和汽车等领域的应用案例正在逐渐丰富。大模型和空间计算两者结合,加速物理世界和数字世界的融合。5G-A的上下行大宽带、低时延、通信感知融合等能力,将为大模型和空间计算提供稳健的支撑。6.1 短视频高清化,运营商与OTT携手推进内容入网,实现用户、OTT和运营商多赢短视频业务已成为移动互联网的主流业务。2023 年,全球短视频日活跃用户数(DAU)已突破26亿,中国短视频用户占比达到约90%。这一趋势表明,短视频已成为人们日常生活中不可或缺的一部分。在 5G 网络的支持下,短视频的高清化趋势愈发明显。据分析,5G 网络环境下,前 18%的短视频均采用 H.265 高清编码,这些视频贡献了约 90)28云核心网云核心网的播放量。以抖音为例,拥有 300 万用户的情况下,其 CDN 带宽需求约为 60Gbps。随着用户数和视频清晰度的提升,CDN 带宽需求显著增长。图 12:H265 编码视频播放量占比(数据来源:CSDN)对于 OTT 来说,高清化的视频内容对网络和成本带来了双重压力。当 1080P 视频占比提升10%时,日均无线流量增长约 16%,这直接导致 CDN 带宽成本增加。因此,OTT 选择通过降低码率来节省带宽成本,但这种做法不可避免地影响了用户体验,导致用户观看高清内容的需求无法得到完全满足。短视频数播放量播放量大播放量小3P80P 占比 10!9254275抖音 1080P 占比对流量的影响抖音日均无线流量(PB)0100200250300501080P 占比 2080P 占比 30%增长 16%图 13:抖音日均无线流量此外,带宽限制不仅影响 OTT,还对运营商产生了影响。当 OTT 平台降低视频码率后,用户数据流量(DOU)无法显著增长,这直接影响了运营商的收入和用户套餐升级的动力。由于用户在观看低码率视频时消耗的流量减少,运营商的整体数据流量增长趋缓,进而影响了流量收入和高级数据套餐的销售。6.2 通感一体已在低空经济、低空安防、智慧交通等场景开展实践,逐渐走向标准化和产业化通感融合一网多能,在低空、海洋、交通等多场景应用,是运营商的重要增长引擎。低空经济是重要经济增长点,发展迅猛空间巨大,对感知和运营提出了明确需求。低空经济包括物流配送、低空旅游、城市管理的城市巡检、农业的农林植保、应急救援等,发展前景广阔,市场空间巨大,应用场景丰富。2023 年,中国低空经济规模已超过 5000 亿元,2030年有望达到2万亿元。赛迪顾问发布的 中国低空经济发展研究报告 指出,低空经济存在“三层万亿”发展空间,包括低空飞行器制造、通用机场建设、低空新型基础设施等。其中低空基础设施是推动低空经济发展的基石,需要加快建设低空智联网满足低空飞行器的通信和监管需求。在政策方面,中国在 2021 年 2 月将低空经济写入国家综合立体交通网规划纲要;2024年 1 月 1 日,无人驾驶航空器飞行管理暂行条例正式施行;2024 年 3 月,工业和信息化部、科学技术部、财政部、中国民用航空局联合印发通用航空装备创新应用实施方案(20242030年),积极打造低空经济新增长引擎。在技术方面,5G-A 的大带宽、低时延和大连接能力,为低空经济的发展提供通信能力的关为了解决上述问题,运营商与 OTT 探索媒体中继新方案,实现用户、OTT 和运营商多赢。运营商在网络中引入内容中继技术。该技术面向基于 HTTP1.1/2.0 协议的媒体封装内容,以及基于HTTP3 协议的媒体封装内容进行中继缓存调度,能够显著优化视频流传输效率和质量。通过在运营商网络内部署内容中继能力,视频数据可以在更短的时间内更高效地传输到用户端,降低延迟和丢包率,从而提升用户的观看体验。由于内容中继方案部署在运营商网内,可以在保证视频质量的前提下减少重复带宽消耗,有效缓解 CDN 带宽压力。这样,OTT 平台无需通过降低码率来节省带宽,从而避免对用户体验的负面影响。同时,随着用户的数据流量消耗增加,运营商的 DOU 可以显著增长,进而提高收入和推动用户套餐的升级。另外,内容中继部署在运营商 UPF 上相对于部署在网内 CDN 也有天然优势。首先,可以深度协同 UPF 以及 RAN 的转发与调度能力,例如实现帧级聚合转发、帧包的优先级调度优化等,从而大幅提升转发能力以及降低业务时延。其次,可以实现进一步网业协同。UPF 实现内容中继,可以利用智能网络为每个用户提供与当下网络最佳匹配的分辨率内容,使网络智能更精准感知业务体验;网络智能又可以根据网络变化指示内容中继精准调整码率,做到码率最大化且无卡顿。H265 编码H265 编码主要 H264 编码3130云核心网云核心网键支撑。5G-A 网络满足无人机等在飞行中的对实时控制和数据传输的通信需求,可以支持无人机在物流、巡检、地理测绘、航拍直播等领域的应用,确保飞行数据、图像和视频信息的快速、稳定传输。5G-A 还首次在移动网络引入感知能力,通过通感一体,一网两用,使网络具备类似雷达的探测、跟踪、感知能力。5G-A 网络是低空基础设施的重要组成部分,不仅提供通信服务,还能对周边的无人机进行定位、测距和测速等感知任务,支撑对低空飞行器的监控和管理。在标准协议方面,3GPP SA1 R19 已完成通感场景需求研究。SA1 在 R18 阶段开始讨论通感网络架构的立项问题,RAN1 R19 立项开展通感融合信道模型研究。2024 年 3 月19 日,IMT2020 发布5G-Advanced 通感融合网络架构研究报告(第二版),报告对14 个关键问题进行了系统性的描述和解答,通感一体正在走向标准化和产业化。报告不仅对通感业务整体的网络架构进行了定义,明确了核心网感知网元 SF 和感知终端的能力定义和上报要求,也对感知节点的选择、数据的传输、感知方式、广域连续性等技术提出了明确要求,还针对运营商关心的业务策略发放、计费、安全隐私等问题进行了研究和总结。尤其是在无法对终端收费的情况下,尝试通过向应用使用方计费来进行能力变现。在场景和应用方面,通信技术与感知技术的融合,当前已在低空经济和低空安防领域进行广泛的实践创新。在低空经济领域,广东顺丰丰翼/广东美团外卖/上海-舟山跨海航线等 30 项目验证了无人机低空配送,减少地面交通限制,配送时间从之前的 1 个多小时降低到半个小时,配送效率提升了 2 倍。在低空安防领域,浙江杭州奥体/深圳大运中心体育场/福建低空安防等 20 项目,证实 5G-A 能精确捕捉飞行轨迹,有效监管“黑飞”,黑飞检测率达到 95%以上,监控成本下降 40%。为了拓展通感融合的应用场景,融合感知的能力也成为一种需求,图像、雷达、基站的感知能力在核心网进行融合,能够提升感知的准确性,适配车联网、工厂物流等应用场景。通感一体技术作为未来通信技术发展的重要方向之一,将深刻影响低空经济、智慧交通、智能制造等领域的发展。7趋势六历经十年 NFV 探索,电信云是运营商的战略选择,运营商致力于兑现其端到端(E2E)自动化初衷3332云核心网云核心网随着 5G-A 和 AI 的快速发展,电信云迎来深度变革期。运营商加速从虚拟化向云原生架构转型,推动 VNF 向 CNF 过渡。创新业务的涌现需要多元化算力支撑,使得 xPU 等新型算力架构备受瞩目。随着网络复杂度的提升和新业务的涌现,电信云对自动化的需求愈发迫切。过去十年,运营商在 ETSI 标准指引下已成功实现全云化。展望未来,在容器化和 AI的持续演进与创新中,产业各方将继续在统一的标准体系下协同发展。7.1 融合架构,统一ICT基础设施运营商选择了从虚拟化向容器化转型,主要是技术先进性、网络资源高效利用和网络平滑演进的诉求。容器化已经成为电信云基础设施发展的关键方向。运营商网络从虚拟化网络功能(VNF)向云原生网络功能(CNF)的演进,不仅提升了应用隔离和弹性扩展能力,还显著提高资源利用率和部署效率。随着 ETSI 容器标准的成熟,部分运营商在新建项目中已经考虑采用裸机容器。历经 NFV 多年发展,虚拟机在电信云市场有巨大的存量(如图 13),同时部分电信业务对安全和存储资源有特殊需求,虚拟机和容器将在未来电信网络中长期共存。图 13:IaaS/CaaS 产品收入预估20200500100015002000250020212022IaaS softwareCaaS softwareSource:Analysys MasonRevenue(USD million)2023202420252026基于双栈架构的方案可以在引入裸机容器时对现网的影响降到最低,实现虚机、容器、裸金属等多种计算资源的统一调度,以满足不同业务需求。ABI Research 咨询公司的研究报告指出,典型 5GC 裸机容器项目采用双栈架构相比传统新建方案可节省约 32%的 Capex,有效保护了运营商现网投资。图 14:双栈架构部署示意图多样化算力成为电信业务创新的基础。传统的 CPU 处理器用于处理广泛的通用计算任务,而专用处理器(例如:GPU、NPU、DPU、FPGA)针对特定的高性能任务(图形视频处理、机器学习等)进行优化,从而提高效率和性能。为满足新应用场景的多样化需求,网络功能日益复杂化和智能化,电信网络需要处理多种不同类型的工作负载。中国移动在 2024 算力网络大会上发布 DPU 芯片“大云磐石”,带宽达到 400Gbps,将广泛应用于中国移动数据中心建设,支撑通用计算和智能计算等业务场景使用。主流运营商正逐步引入异构算力,构筑多样化算力基础,支撑不同类型业务的高性能计算需求,为高并行计算、边缘计算、大数据处理和 AI 大模型训练等提供更加安全、可靠、高效的支持。面向未来,多样化算力架构是电信业务创新的基础。产品收入预估中文CNFCCMNFVOorchestrationVNFMCNFM3rdAppVNFGuest OS VNFGuest OS VMCaaSGuest OS CNFPodPodVMVIMPIMIaaSComputingStorageNetworkHypervisorVirtual MachineBare-MetalHost OS Hardware PoolCISM 1CISM 2CIS Cluster1CIS Cluster2Host OS PodVM3534云核心网云核心网7.2 实现E2E自动化产业初心,兑现弹性与敏捷的云化价值TM Forum 的研究显示,91%的全球运营商已将网络自动化作为战略重点。经过十年的云化演进,运营商已达成共识,无论是采用何种技术架构(例如:分层解耦、公有云),技术选择仅是途径。电信网络云化的核心在于实现端到端的自动化,从而减少人为(误操作)引发的网络故障,以及在故障发生后能够快速定位并恢复业务,达到敏捷交付、高效运维的目标。运营商网络的端到端自动化包括两个方面,首先是动网交付的自动化。随着 5G-A 的发展,新业务需求和变更频率不断增加,人工错误时有发生。运营商要求从需求、设计、测试、部署、上线到扩容,全流程必须实现可视、可控、可管,以减少人为错误,保障安全动网和敏捷交付。其次,跨层运维的自动化,云化带来的分层架构显著增加了运营商日常管理及运维的难度和复杂度。电信云从计算、存储、网络硬件资源,到云平台基础设施,再到 VNF/CNF网元和网络管理层,必须实现统一拓扑可视、统一资源管理,以及跨层故障影响的可视化,以快速定位和解决问题,提升运维效率。全栈架构拥有全局视图,跨层协作更为容易,是实现 E2E 自动化的最优选择。图 15:端到端全自动化流程,来源 ETSI 十周年白皮书迈向智能时代,AI 助力运维,运营商可以进一步提升运维的智能化水平,增强故障根因分析、故障检测和自修复能力,同时实现绿色节能,进一步提高网络服务质量和用户体验。17服务需求/意图网络设计测试实例化扩缩容更新配置下线全自动半自动需要人工干预/线下工具线下操作线上操作服务需求/意图网络设计测试实例化扩缩容更新配置下线线上操作十周年白皮书7.3 遵循产业标准,共同打造业界最佳实践在过去十年中,ETSI NFV 标准组织为电信行业云化核心网的大规模商用提供了重要指导。ETSI 在引入 OpenStack 和 Kubernetes 等 IT 领域开源技术的基础上,进行了大量增强优化,确保电信级的高可靠性和高性能,指引运营商构建坚如磐石的电信云底座。例如,CPU 绑核技术保障了电信级时延要求,无损升级能力则降低了运营商动网风险,确保云底座升级时不影响现网业务。图 16:NFV 标准持续演进ETSI 标准组织已规划了电信云从容器云原生向 AI 原生发展的愿景,并批准了涉及未来演进新架构、智算资源池管理、轻量化虚拟化技术和智能运维等方面的标准研究项目。未来,NFV 电信云标准的持续发展将推动运营商、电信设备商及 IT 厂商在统一的功能框架和交互模式上达成共识,进而推动更多的平台和运维创新,共同打造业界最佳实践。Future of 1stNFV whitepaper publishedISG NFV foundedETSI NFV reference architecture publishedOPNFV foundedETSI NFV phase 2:MANO specs begunOSM foundedOPEN-O foundedONAP founded1stETSI NFV plug test startedMANO interface info models landedNFV cloud-native study startedMANO APIs(SOL001SOL005)landed NFV automation study startedNFV 1stcontainer specAnuketfoundedNephiofoundedSylvafoundedNFV containerarchitectureNFV 10thanniversary4G VM based5G Container based5.5G/6GCloudification AI Native2010-20202020-20302030-VendorMNOStandard标准仍将持续演进3736云核心网云核心网8总结和展望未来十年,是拥抱移动 AI 时代的十年,是加速走向智能世界的十年,也是 5G-A 发挥基石作用的十年。移动 AI 时代,5G-A 和人工智能大模型带来了人机交互变革和终端变革、商业模式变革、数字业务入口变化,将智能融入了我们的学习、工作和生活,加速行业数字化转型,大踏步的迈入智能世界。本白皮书重点介绍移动 AI 时代,人工智能和 5G-A 核心网带来的变化趋势。人工智能入端、网、业,推动业务和体验升级,业务智能给运营商带来业务新入口;网络智能助力运营商体验经营,重塑商业模式;运维智能重构运维框架,数字员工和运维专家携手,实现网络高稳高效。5G-A 核心网的增强联接能力带来更宽、更深、更厚、更多的联接,同时 5G-A 新增的“通算存”聚合能力,助力运营商超越联接,探索低空经济新场景,共创移动 AI 时代的商业新价值。本白皮书的发布,探讨移动 AI 时代的 5G-A 智能核心网的发展及商业变现,期待产业界携手,给消费者带来全新的通信体验,给垂直行业用户提供高可靠、更智能的联接,抓住移动 AI 时代的巨大机遇,共同构建美好的智能世界!38云核心网缩略语AbbreviationFull Spelling5G-AAIGCCNFDAUDPUETSIFPGAGPUGSMANPUNFVRedCapUPFVNF5G-AdvancedAI Generated ContentCloud Native Network FunctionDaily Active UsersData Processing UnitEuropean Telecommunications Standards InstituteField Programmable Gate ArrayGraphics Processing UnitGlobal System for Mobile Communications AssociationNetwork Process UnitNetwork Function VirtualizationReduced CapabilityUser Plane FunctionVirtual Network Function

    发布时间2024-09-19 21页 推荐指数推荐指数推荐指数推荐指数推荐指数5星级
  • 华为:迈向智能世界白皮书2024-数据存储(67页).pdf

    构建万物互联的智能世界数据存储迈向智能世界白皮书2024数据是数字化到数智化成功转型的关键要素序言:人类出现在地球上,已有数十万年的历史,但人类文明真正的高速发展时期也仅仅是最近几千年的时间。这里最关键的是纸张的出现,使得人类可以记录经验和知识,并借助纸张进行群体分享、学习、演进、发展,直接促进了人类社会文明的高速发展。值得一提的是,以前在中世纪欧洲采用羊皮进行重要文字的记录,当时一本书上千页,需要数百张羊皮来制作,是十分复杂和昂贵的,不利于知识的记录和传播。在人们发明以数字化形式保存和传播信息后,人类进入数字时代,而数字化形式的信息则被称为数据。因为数据可以被高效处理,这促进了数据爆发式增长。而数据存储作为保存数据的载体,如同新时代的“纸张”,开始加速人类文明的跃迁。我们是新时代的数据存储缔造者、完善者、创新者,制造出面向数字化世界的“新纸张”。缺数据,不 AI。伴随着 AI 大模型持续成熟并走向多模态,数据逐渐成为 AI 的关键,因为 AI是以电脑模拟人脑的思考方式、从海量数据中发现规律、总结知识,再将这些知识融入不同的业务场景,生成业务咨询师、编程机器人、智能客服等,让它们拥有自主学习的大脑并实现自我进化。人工智能角逐的决胜因素是数据的产生、保存和使用。华为公司在数据存储产业上的大规模投入超过十五年,产品已进入全球超过150个国家和地区,广泛服务于金融、运营商、政务、制造、电力、能源、医疗、科研教育、交通等多个行业,在全球拥有超过 26,000 家客户。通过与业界专家、客户和伙伴深入交流,我们编写了迈向智能世界白皮书 2024-数据存储篇白皮书报告,结合数字化、智能化,展望数据存储在各行业中的发展趋势和挑战,并提供行动建议。我相信这是一次有意义的探索,将凝聚更多的产业力量共同推进数据存储产业的发展。过去三十年,新技术、新应用不断涌现,产生了海量数据。数据存储为这些数据提供了一个温馨的“家”,帮助这些新技术、新应用持续成长。华为数据存储产品线愿与社会各界更加紧密携手努力,汇聚产业力量,为更多新技术、新应用提供先进数据存力,共创数据存储美好未来。周跃峰华为数据存储产品线总裁1CONTENTS目 录6710131520232629一数字化快速走向数智化1.1 金融1.2 运营商1.3 政务1.4 制造1.5 电力1.6 科研教育1.7 医疗1.8 行业数智化:数据是关键01I 14序言目录执行摘要2CONTENTS392.3 数据效率:以高效数据访问使能高效数据处理,加速行业数智化33352.1 数据觉醒:充分发挥历史数据价值2.2 数据生成与合成:让数据为数智化而生二数据为纲:行业数智化呼唤高质量数据和高效数据处理02三数智化时代数据基础设施展望0354524942603.1 基于存算分离架构的 AI-Ready 数据基础设施3.2 全闪存助力高效数据处理3.3 存储内生安全成为基本需求3.4 AI 数据湖使能数据可视可管可用3.5 训/推一体机加速 AI 大模型落地行业应用3规模定律(Scaling Law)揭示了 AI 人工智能在当前深度学习算法框架下,算力和数据之间的关系:更强的算力加上更多的有效训练数据,可以得到更好的 AI 大模型。在规模定律的支持下,AI 大模型由单模态走向多模态,同时大模型能力和性能持续提升,这帮助了 AI 逐步走出中心训练、走向千行万业并得以应用,从办公辅助逐渐走向生产决策,从降低成本逐步走向增加效率,从管理当下逐渐走向预测未来,从高容错场景逐渐走向低容错场景,不断引发各行各业智能化转型和业务变革。在这个过程中,人们逐渐发现,进一步深化并加速业务数字化转型、以产生数量更多、类型更丰富的高价值数据,其重要性对于 AI 而言,不亚于唤醒历史沉睡数据。数字化和智能化以数据为纽带,相互促进、加速和融合,逐渐走向两者相结合的数智化,这对数据基础设施提出了新的更高要求,不断驱动着数据基础设施的演进。数智化将持续高速发展,并将实现通用人工智能,帮助人类进入一个全新的智能世界。面向未来,我们对数智化必不可少的数据基础设施进行如下展望:执行摘要AI 大模型走向多模态,算力集群规模和数据规模持续增长,只有算力和存力协同演进、算存比可基于 AI 发展进行灵活调整,才能有效降低系统管理难度、助力 AI 在实际业务场景发挥不可替代的作用。在 AI 大模型训练阶段,伴随 AI 算力集群规模增长,相邻训练中断的间隔时间越来越短,这带来了更加频繁的 Checkpoint 存档,也带来了更加频繁的断点续训,亟需加速数据访问性能以快速完成 Checkpoint 的保存于加载。与此同时,智能化升级也在加速数字化转型,进而产生更多的业务数据,增加了数字化基础设施处理数据的复杂度和压力。智能化升级过程中,一方面加速了数字化转型,产生更多高价值业务数据,另一方面降低了黑客门槛,让勒索攻击更加频繁。伴随 AI 算力集群规模增长,对海量多源异构数据的高效管理逐渐成为 AI 赛道的关键竞争力。数据地图绘制、数据归集、数据预处理等工作,是 AI 大模型训练首当其冲的要务。千行万业在尝试将 AI 落地到行业应用的过程中,发现面临基础设施部署、大模型选择、二次训练和监督微调等方面的困难。复用基础设施厂商和 AI 大模型厂商的能力,成为千行万业快速落地 AI 的关键。123454面向以 AI 大模型为代表的企业智能化新应用,新的数据基础设施架构也正在逐渐形成。为了构建 AI 大模型时代最佳的数据基础设施,我们建议:重视存算分离架构的灵活性和独立扩展,利用存算分离架构有效简化智算集群管理、让计算和存储分别按需扩展;关注横向扩展、性能线增、多协议互通等数智化时代数据基础设施基本能力。全闪存是数智化时代提升数据处理效率、满足业务需求的最优解,同时满足不断增长的数字化转型和日益深化的智能化变革;与此同时,配合向量 RAG、长上下文记忆存储等新兴数据范式,可以有效简化数据访问,实现以存强算,提升系统整体性能。不管是产生了更多数据的数字化,还是持续成长的智能化,均需要构建防治结合数据安全体系,从被动应对攻击走向主动全面防护。为 AI 算力集群建设 AI 数据湖底座,打破数据烟囱,实现数据的可视可管可用。针对 AI 大模型在行业场景的落地,用好训/推一体机,基于预集成了基础设施、工具软件等部件的一体化设备,并借助 AI 大模型供应商的系统集成能力,有效加速 AI 落地行业应用。123455数字化快速走向数智化0161956年,人工智能(AI)被确立为一门学科。经过近70年的探索和发展,AI进入了大模型时代,基于深度学习算法,通过大规模算力对海量数据进行学习和训练,从而得到较优的 AI 模型。今天,随着 AI 大模型能力和性能持续提升,AI 正逐渐由大模型中心训练走向行业应用,引发各行各业智能化转型和业务变革。在 AI 大模型时代,算力、算法、数据构成了大模型训练三要素。规模定律(Scaling Law)揭示了在当前深度学习算法框架下,算力和数据之间的关系:更强的算力加上更多的有效训练数据,可以得到更好的 AI 大模型。在规模定律的驱动下,人们一边不断构建更大规模的算力集群,一边竭尽所能获取更多的原始数据和训练数据,在实现了由单模态大模型向多模态大模型演进的同时,也在一些面向消费者的业务场景中获得商用。例如最新的智能办公本,除了进行日常笔记和阅读外,还可以进行图片文字识别、会议录音转文字记录、外语翻译、文案生成等多种智能操作,获得广泛接受。相比大模型训练和 AI 应用于消费者,行业用户则更加关注 AI 大模型如何服务于业务、如何改善内部运营、如何增强竞争力。部分行业用户已在某些场景中找到 AI 的切入点,例如呼叫中心智能客服、医院诊疗助手、在线情景式教育、广告文案辅助生成、工业生产质检、复杂网络智能运维和自动驾驶等,并持续尝试在更多业务场景深入探索。在这个探索过程中,越来越多行业用户发现,AI 在行业的落地离不开高质量行业数据。一方面,行业和场景模型需要使用一定规模的行业数据对基础大模型进行二次训练和监督微调,进而得到一个面向特定行业的垂直模型;另一方面,在推理阶段用于消除幻觉的知识库,同样需要依赖高质量的、具有时效性的行业数据来生成。可以看到,不管是基础大模型的训练,还是大模型在行业的应用落地,都离不开大规模高质量的数据。数据的规模和质量决定了 AI 智能的高度,也决定了 AI 在千行万业的应用成熟度。71.1 金融1.1.1 降本到增效:从办公辅助走向业务决策 金融机构一直是率先将新兴的 IT 技术应用于业务场景的行业。目前,领先金融机构已经纷纷投入人工智能(AI)技术,尤其是大模型技术的研发和布局,使能业务运营、产品营销、风险控制和客户服务等业务领域,从而提升金融服务的智能化。根据 IDC 相关报告,90%的银行已经开始探索人工智能的应用,AI 技术成为银行技术创新的主要方向。在智能营销场景,通过 AI 技术分析大量的用户数据,并基于客户需求和偏好提供个性化的金融服务。这不仅提升了用户体验,同时增强了客户粘性。如,交通银行利用 AI 技术挖掘客户兴趣偏好,用大模型强化业务端留客能力,各类理财模型策略累计触客成交量近 4 千亿元,较传统方式成交率提升 16 倍。在智能理财场景,AI技术通过机器学习和深度学习模型,能够帮助投资者更准确地做出投资决策。江苏农行和中国工商银行分别推出了类 ChatGPT 的大模型应用 ChatABC 和基于昇腾 AI 的金融行业通用模型,用于智能化地推荐理财产品。上海浦发银行则利用多模态人机交互、知识图谱等技术,推出了 AI“理财专家”,为消费者推荐合适的理财产品。在信贷审批的风控场景,AI 帮助简化和优化了从信贷决策到量化交易和金融风险管理的流程,亚太区域某头部银行通过 AI 技术实现了用户信贷申请过程从原来的数天缩短到只需一分钟完成申请,最快一秒钟获得审批。智能客服在金融服务中有着显著的应用。以招商银行信用卡公司为例,通过智能客服每天为客户提供超过 200 万以上的在线人机交互,并能够解决 99%的用户问题。智能客服不仅能提升客户服务效率,相对于人工客服,还能够提供 24 小时不间断服务。1234 金融行业在数字化时代领航,开创了 FinTech。今天,AI 大模型与金融行业融合,在数字化所积累的海量数据资产基础上,金融行业具备在数智化时代继续领航的先发优势。以银行为例,正在从办公助手、智能填单等办公辅助逐步走向远程银行、信贷风控助手等生产场景。从对内办公辅助走向对外业务应用,意味着从高容错走向低容错。而正确的建议和选择,需要从海量数据中得出。针对海量数据的高效归集、快速处理、安全可靠,成为了新的挑战。8图 1:某大型金融机构数据量年均增长率1.1.2 完善多源多元海量数据管理,加强数据安全合规建设在人工智能应用逐步普及的过程中,金融机构在数据架构、数据安全和业务连续性等方面面临新的挑战。1、首先,是庞大数据量的管理,金融行业在数据量方面已经达到了 EB(Exabyte,即艾字节)级别。以中国为例,根据北京金融信息化研究所(FITI)2023 年发布的最新报告,目前金融机构的数据量普遍达到 PB 级,其中大型金融机构的数据量超过 100PB,并且未来五年预计年均增幅将达到 24.33%。此外,国有大型银行的核心业务系统存储规模也已达到百 PB 级,票据影像等非核心系统存储规模更是达到了几十PB甚至百PB级。围绕金融行业海量业务数据,如何实现高可靠、高效率的访问,进一步实现数据价值最大化,是金融机构必须考虑的问题,例如,针对海量的数据量及不同的数据类型,采用高性能的存储设备以及优化存储架构,加快 AI 与金融行业的融合。2、其次,金融业务需要处理种类多样的数据类型,经过多年的业务积累和沉淀下来的数据,比如:图片,视频,音频,以及互联网日志等各类金融数据,不但数据格式陈旧复杂,而且分散在不同的业务领域,甚至不同的地域。比如大小机核心系统的数据格式无法直接与开放平台的信用卡系统的数据格式进行数据交换;信贷业务,财富管理业务和互联网业务之间很难实现用户信息共享。将这些分散的数据整合并准备用于人工智能应用是一项艰巨的任务,急需建立一个完善的数据管理系统。如中国某头部银行一直将数据视为基础要素和战略资源,在建立大数据资源管理系统方面,面临有哪些数据,数据在哪里,如何有效利用这些数据的关键问题。05010015020025030020232024202520262027数据量PB5年平均增长率93、最后,金融行业数据处理,还必须满足行业监管和风险控制的合规要求。利用 AI 技术进行个性化推荐和精准广告投放的精准营销场景,对数据管理和隐私保护的挑战进一步增大,进而促进金融合规监管的要求提升。同时,人工智能应用增加了金融机构数据泄露的风险。2024 年 5 月,美国某知名银行遭 LockBit 勒索软件攻击,导致约上百万名客户数据被盗。2024 年 6 月,中国国家金融监督管理总局网站公布,中国某头部银行因数据安全管理不足、灾备管理不足,被罚数百万元。因此,以容灾为基本手段的数据物理安全,和以备份为基本手段的数据逻辑安全保障等多重手段在当前 AI 时代显得尤为重要。如上图所示,国际货币基金组织 IMF 发布的Global Financial Stability Report指出,日益增长的人工智能和数字化应用,显著增加网络数据安全风险。因此,金融机构拥抱 AI 新技术应用,重塑服务模式,唤醒数据价值的同时,要关注 AI 技术对数据管理所带来的挑战,才能有效提升金融服务的效率和品质。图 2:不同业务数据难共享图 3:日益增长的人工智能和数字化应用,增加网络数据安全风险信贷业务互联网金融财富管理业务Nonmalicious:othersMalicious:othersData:unintentional disclosurePhishing,spoofing,and social engineeringNetwork/website disruptionCyber extortionData:malicious breach1.Global Number of Cyber Incidents,2004-23The number of cyber incidents,especially of a malicious nature,hasincreased sharply over the past two decades.20040506070809101112131415161718192021222318,0003,0002,4001,8001,2006000016,00014,00012,00010,0008,0006,0004,0002,000Cyberattacksaccording to ClSSM(right scale)101.2 运营商1.2.1 开发到应用:蓄力大模型训推,对内运营增效,对外赋能千行万业 当前全球运营商形成三波 AI 阵营,第一波智能化先锋正在构建“终端设备、智算资源、模型应用”的全栈 AI 能力,如韩国 SKT、中国移动等;第二波运营商积极布局行业大模型,如新加坡电信 Singtel、德国电信、阿联酋 e&等合资成立全球电信 AI 联盟(Global TelcoAIAlliance,GTAA),以专门开发及推出多语言的电信语言大模型服务话务中心和智慧运营;第三波务实型运营商关注 AI 带来的实际价值,尝试借助第三方合作伙伴的 AI 能力实现降本增效,如 Orange、Vodafone 等计划通过 AI 提升智能客服效率。未来两到三年,运营商的大部分应用和业务都将被 AI 重塑。据 Valuates 预测,2027 年全球电信 AI 市场规模将增长到 150 亿美元,近三年年均复合增长率 42.6%。生成式 AI 主要通过两个方面助力运营商行业:1、AI 应用与运营商现有业务结合,实现业务效率提升利用人工智能的分析、策略优化与预测等能力来赋能网元、网络等业务系统,有助于提升电信网络的智能规建、运维、管控能力,并最终实现 L4/L5 级网络自动驾驶。如:韩国 KT 的 AI 语音机器人具备实时自动总结等功能,将客户请求的时间从 20 秒减少到了 5 秒。中国移动反诈骗系统月度拦截电话量超过 1400 万,准确率高达 98%。2、对外赋能产学研用,推动智能升级一方面,运营商可以直接为大模型企业或教育研究机构提供智算服务,做AI淘金时代“卖铲人”。另一方面,运营商可以将大模型能力外溢至行业客户,面向政务、教育、医疗等推出行业大模型新应用。如:中国移动九天政务大模型为甘肃打造智慧政务助手,构建 20 万实体和 1000 万业务关联的政务知识图谱以及 100 万级标准问答,为省内 2500 万的百姓提供便捷、高效的数智政务服务。“从电信企业向科技企业转型”已成为全球大部分运营商数字化转型的战略共识。随着生成式 AI 走深向实,电信运营商作为通信基础设施的建设者和运营者,拥有先天的资源优势、数据优势、行业使能经验优势,既为 AI 的发展提供基础设施支撑,又将会是 AI 应用落地的先行者。111.2.2 盘活海量数据,助力高效训练,使能大模型行业落地 运营商要抓住大模型的发展机遇,需要构建 AI-Ready 的基础设施,AI-Ready 的前提是Data-Ready。与此同时,AI 集群规模不断扩大,现在已经已迈入万卡时代,大投入能否带来显著收益,将面临两大具体挑战:挑战一:如何盘活运营商数据资产,更好地让大模型应用服务自身业务?在数字化、智能化的趋势下,数据已经成为继土地、劳动力、资本、技术之后的“第五大生产要素”,是驱动数字经济深化发展的核心动力。特别是随着生成式 AI 大爆发,AI 大模型赋予了数据新的生命力,数据蕴含的价值进一步涌现,没有充足、优质的数据,大模型的学习能力将大打折扣。以中国移动计划在 2025 年实现全网 L4 高阶自治为例,需要汇聚 600 万 个 4G/5G 基站、9.9亿用户和全国“4 N 31 X”数据中心等各类数据,当前核心数据规模已达 650PB,每日还会新产生至少5PB数据。只有将这些分散在不同省份、不同用户、不同应用的高价值数据有效组织起来,为大模型注入源源不断的数据“燃料”,才能实现 L4 级网络自动驾驶要求的智能基站节能、智能天线权值优化、投诉智能管理、网络费用稽核等能力,并给出科学的“规、建、维、优、营”的策略建议。挑战二:如何降低 AI 开发和运营成本、拓展政企 AI 边缘应用,加速实现运营商 AI 商业闭环?AI 集群是成本和能耗的吞金兽,如 GPT-3 单次训练的电力消耗相当于 500 吨二氧化碳排放当量,相当于 300 个家庭一年的用电量,而 Sora 的单次训练消耗是 GPT3 的 1000 倍。AI 集群可用度低造成了算力建设成本高、电力空耗等问题,推高了建设和运营成本。运营商需要考虑从“堆算力”到“挖潜力”,科学规划智算底座,比如:合理配置存储集群性能,选择高性能、高可靠的外置存储,提升 AI 集群可用度。此外,生成式 AI 的商业正循环很重要的场景在边缘应用,尤其在 ToB 政企市场有大量 AI 应用市场前景,如医疗自助问诊、制造工业质检、金融智能客服、政务办事助手等,这些场景迫切需要“私域知识库 训练/推理 GPU 检索增强生成 RAG 场景化大模型”这样的一体化方案,运营商需要考虑采用一站式的训/推超融合一体机快速推出产品,实现大模型的商业兑现,打通大模型应用落地“最后一公里”。如中国移动九天超融合信创一体机,为行业用户提供了开箱即用的大模型服务,搭载 139 亿参数语言大模型以及 10 亿级参数视觉大模型,实现设备检查、皮带堆煤、皮带异物、煤量识别、人员违章等功能,助力某矿山客户井下安全管控和生产。121.3 政务1.3.1 服务到治理:优化公共办事服务效率,增强公共业务治理能力牛津智库 Oxford Insights 发布的 2023 年政府人工智慧完备指数(Government Artificial Intelligence Readiness Index 2023),报告对全球国家和地区政府对运用人工智能提供公共服务的准备程度做出评估,涵盖愿景、治理与道德、数字能力等 10 个维度 42 个指标。其中,数据是政务领域人工智能演进的关键推动因素,最常见的是语言类数据总量是图片类数据总量的 8 倍,而当前数据还主要用于客服系统、审批系统、分析决策辅助,并且高收入国家和低收入国家之间在数据收集、数据应用、数据安全方面的差距尤为明显,这反映了全球数字鸿沟的存在。美国在政务领域的人工智能应用的得分排名第一,其次为新加坡和英国,中国排名第十六。世界各国纷纷抢抓人工智能发展的重大机遇,并积极应对人工智能部署于公共服务中所遇到的政策、社会、经济、技术等问题,强调推行国家级的战略计划将会为社会各界带来变革的契机。在政务领域,人们正在探索通过人工智能应用于出入境管理、税收监管、政务问答等公共服务领域,提高公共服务组织的管理效能与风险分析、以及改善与服务对象的互动。人工智能嵌入公共服务治理也面临着实时数据待共享、历史数据待激活、敏感数据待保护等风险挑战。尺寸创新能力人力资本适应性数字容量治理与道德愿景数据代表性数据适应性基础设施政府机构技术部门数据和基础设施图 4:政府 AI 就绪指数的支柱13以出入境管理、税收监管、政务问答等公共服务领域为例,AI 正在深化这些场景,服务大众:1、出入境管理人工智能能够快速处理和分析大量出入境数据,实现自动化身份验证、智能风险评估和实时数据分析,预测移民趋势,优化资源配置,简化审查流程。例如,AI 可以通过生物识别技术快速核实旅客身份,减少人工审核的时间和错误率。同时,AI 还可以分析大量出入境数据,预测潜在的安全威胁,帮助管理部门提前采取措施。这种智能化的管理方式不仅提高了工作效率,还增强了安全性和用户体验。2、税务系统可以升税务管理的效率和准确性。通过 AI 技术,税务部门可以实现自动化数据处理、智能化数据分析和风险评估。例如,AI 可以通过自然语言处理技术自动解析税务文件,提取关键信息,减少人工审核的时间和错误率。实际上,AI 还可以分析历史税务数据,并结合其它类型数据,识别潜在的税务风险,帮助税务人员提前采取措施。例如,通过比较房地产公司的交易数据和实际税务申报数据,并结合建筑行业的标准成本数据(水泥、钢筋等基础材料),快速的评估出税收漏报的可能性。3、政务问答各业务部门对于政策的传播、规则的遵从,以及具体案例的咨询,都存在着大量的问询工作。通过自然语言处理(NLP)和机器学习技术,AI 可以快速理解并回答市民的各种政务问题,提供24小时不间断的服务。例如,AI问答机器人可以在政府网站、微信公众号和APP等多个渠道上运行,随时为市民提供政策解读、办事指南和常见问题解答。这种智能化的问答系统不仅减少了人工客服的工作量,还提高了信息获取的便捷性和准确性。1.3.2 共建跨部门数据流动,保护敏感数据,助力政通人和人工智能在公共服务治理中的应用,虽然能够显著提升效率和服务质量,但也面临着诸多风险和挑战,例如:实时数据的共享需要确保数据的准确性和及时性,同时避免数据孤岛的形成。其次,历史数据的激活和利用需要克服数据格式不统一、数据量庞大等问题。最为关键的是,敏感数据的保护必须得到高度重视,采用加密技术和权限管理措施,确保数据在传输和存储过程中的安全性。1、实时数据待共享以中国社会信用体系建设为例,通过数据共享和信息交换,促进社会诚信建设以及对政府各部门、企业、个人等各种主体的信用评价和监管。针对企业,AI 系统可以实时查看企业的经营状况,税务记录,环保检测情况等信息,及时发现异常行为并发出预警;针对个人,个性化还款计划:AI14可以根据你的财务状况和还款能力,制定个性化的还款计划,帮助你更有效地管理债务,避免逾期还款,增加信用等级,这些 AI 应用不仅提高了社会信用体系的效率和准确性,还促进了信用体系的透明度和公正性。因此数据共享和信息交换对于 AI 非常重要,而数据共享和信息交换的基础是数据可视、可管、可用,这对数据存储提出了高要求。数据存储需要具备高效的数据管理能力:可视数据资产的拥有者和管理者,需要对所有的数据有全貌概览,了解有哪些数据、数据的保存地点以及数据量、数据类型等,相当于维护了一份数据地图。可管在确定了需要进行归集的数据后,需要有一个机制,来实现基于策略的数据流动。可用这意味着原始数据需要被预处理、被转换为 AI 可识别和直接使用的数据。2、历史数据待激活全球多国政务机构持续探索基于历史数据提升服务能力,以税务为代表的部委正在积极激活税收历史数据并应用于 AI,以显著提升税务管理和决策的智能化水平。辅助政策制定不同地区的经济发展水平和税收基础不同,AI 可以分析同一政策在不同地区的效果,帮助政府制定更具针对性的区域税收政策。评估政策效果通过分析过去 5 年的税收数据,AI 可以评估某一税收政策实施前后的税收收入变化。某一减税政策是否真正促进了经济增长,增加了税收收入,还是导致了税收流失。预测政策结果假设政府颁发一种税收优惠政策,通过对相关历史数据的分析,AI 可以预测未来几年内该税收优惠政策给特定行业带来的投资影响和发展变化。AI 对于历史数据需求,超乎了我们的想象,这对数据存储的读取速度提出了极高的要求。为了满足 AI 模型的快速训练和实时推理,存储系统必须具备超高的读取速度,以便迅速访问和处理海量数据。这不仅要求硬件层面的高性能存储设备,如 NVMe SSD,还需要优化的数据管理和缓存策略,以确保数据能够以最快的速度被读取和利用。3、敏感数据待保护公共服务领域涉及到大量的关键敏感数据,例如出入境管理涉及到敏感数据包括个人身份信息(如姓名、出生日期、护照号码)、生物特征数据(如指纹、虹膜数据)、旅行记录(如出入境时间、地点、航班信息)、签证信息等。AI 技术虽然提升了数据处理和分析的效率,但也带来了数据泄露和滥用的潜在风险,特别是在跨境数据传输过程中,敏感信息可能会被不法分子利用。因此建立公共数据管理制度和技术手段必不可少,而作为数据安全的最后一道防线,数据存储起着至关重要的作用。数据加密所有存储的数据必须进行加密处理,以防止未经授权的访问和数据泄露。访问控制严格控制对数据的访问权限,确保只有经过授权的人员才能访问敏感数据。数据备份定期进行数据备份,确保在数据丢失或损坏时能够及时恢复。日志记录记录所有对数据的访问和操作日志,以便在发生安全事件时进行追踪和审计。数据隔离将敏感数据与其他数据隔离存储,减少数据泄露的风险。151.4 制造AI 在智能制造领域提升生产效率和产品质量,应用于 CAD 设计、需求预测、智能排产、预测性维护和决策支持。与此同时,数据收集与分析中的数据量激增、历史数据汇聚、数据清理和数据标签等挑战依然存在。1.4.1 局部到全程:覆盖设计、生产、经营、售后,助力端到端增效随着科技的飞速发展,人工智能技术在制造业中的应用已经从基础的售后机器人扩展到整个生产流程的各个环节,极大地提升了生产效率和产品质量。1、AI 辅助进行 CAD 设计对于大多数制造企业而言,计算机辅助设计(CAD)技术被大范围用于产品的设计阶段,包括外观设计、零部件设计、结构件设计、机械零件设计、模具设计等等。只有在设计阶段制图、建模、仿真越精准,后续在生产阶段才能更快速投产并快速出货。在 AI 时代以前,CAD 设计只能依赖有经验的员工进行产品设计,而后进行评审和检验,耗时耗力且有可能出现错误。AI 的到来带来了质的变化,在设计阶段可以通过 AI 来辅助自动生成 CAD 系统设计方案,也可以根据历史最佳实践快速形成新的设计,甚至支持多阶段并行设计,减少设计周期。设计灵感与创意生成智能设计方案设计流程自动化实施分析大量的设计案例、市场趋势以及用户偏好数据,为设计师提供创意灵感。例如,通过深度学习算法对历年来的流行设计元素进行挖掘,帮助设计师把握时尚潮流根据用户需求和市场定位,自动生成初步的设计草案,为设计师提供一个创新的起点,加速设计过程利用 AI 技术,可以对初步设计方案进行智能优化。AI 能够快速模拟和评估不同设计变体的性能、成本和可行性,帮助设计师在众多方案中选择最优的一个AI 还能提供改进建议,如材料替换、结构调整等,以降低生产成本或提升产品性能AI 能够自动化完成一些重复性高、耗时长的设计任务,如参数化建模、性能仿真等,从而减轻设计师的工作负担,提升设计效率通过与 CAD 等设计软件的集成,AI 可以实现设计流程的自动化,从初步设计到详细设计,再到最终的产品验证,都能够得到 AI 支持222111图 5:AI 辅助进行 CAD 设计162、AI 支持需求预测与智能排产对于大部分制造企业而言,在一年中有销售高峰和冷淡期,而销售的潮汐关联着采购、生产、仓储、供应等多个部门的工作。以往只能通过销售预测来进行排单,预测的准确性直接影响着整个产线。进入 AI 时代后,通过分析销售历史数据、供应链状态和市场价格等因素,AI 可以预测产品在一年中不同阶段的需求量,从而制定合理的生产计划,确保资源的最优配置,进而优化库存水平、降低生产和物流成本,减少生产延误和物料浪费。某大型半导体显示屏制造企业,分析了历史生产数据,并采集分析了整个制造过程中的设备数据、环境数据、产品数据,进而运用 AI 技术对整个制造过程进行智能化改造,实现了制造过程的自动化和智能化,其生产效率和产品质量得到了显著提升,同时还降低了生产成本,保持了半导体显示技术在业界的领先地位。3、AI 在生产过程中做预测性维护生产过程中的设备不可避免的会出现故障甚至停机,动辄小时级的维修严重影响产品的生产进度,尤其在交单高峰期的停机甚至会影响到公司信誉。以往只能通过有经验的老师傅多班 24 小时巡检保障,费人费时费力还没法完全避免设备故障。被动响应到主动维护一直是设备运维的进阶,AI 可以通过实时监测设备运行状态,预测潜在的故障并提前维护,这样可以减少设备停机时间,显著降低维修成本;同时也可以利用机器算法优化生产工艺,调整产品生产参数,并利用 AI 系统自动识别产品缺陷,并大幅提高产品检测速度和准确性。生产过程优化实时监控预测性维护智能排产实时捕捉机器的运行状态、生产速度、物料消耗等数据,迅速识别出生产过程中的瓶颈和问题所在分析历史数据,预测设备可能出现的故障,并提前发出警告,避免企业因设备停机而造成生产中断,提升产线稳定可靠性分析历史生产数据、机器性能、订单需求等多种因素,自动进行生产计划的制定和调整,提高生产流程灵活性和响应速度图 6:AI 在生产过程中的优化某跨国大型生产 PLC(可编程逻辑控制器)的数字化工厂,通过整合和改造数据基础设施,与 PLM、MES、ERP 等数字化系统和平台无缝集成,并广泛应用 IoT 技术收集各类传感器数据5000 万条/天,约 1TB/天并存储。而后使用多种 AI 技术,包括实时数据分析、机器视觉系统等对其中约数百 GB 数据进行分析,包括生产过程监控、产品质量检测、设备主动维护等,不仅提高174、AI 在经营管理中支持决策制造企业先一步发布有竞争力的产品,大概率可以快速赢得市场,甚至在一定程度上影响着市场的走向。怎样通过市场分析和经营管理进行精准的决策一直是企业高层思考的问题?以往只能通过大规模的用户访谈、多年的市场经验、多部门集体研讨来进行决策。虽然部分决策也赢得了市场,但是缺乏数据支持和详尽的决策流程,难以固化为标准决策机制。进入 AI 时代,通过大数据分析ERP系统,关联产品的设计、生产、测试、采购、仓储、供应、销售各个流程的数据,同时结合产线、人力、市场趋势、消费水平等多方面情况,为公司高层提供经营决策分析,有理有据,全过程数据分析链条完整,并且可以根据各个流程的变化,快速分析决策,缩短决策过程的时间,而且决策流程可以被固化。5、AI 支持售后 7*24 咨询服务智能聊天机器人在各个领域均有应用,在制造企业也不例外,通过智能聊天机器人提供 7*24客户咨询服务在制造行业已经被成熟应用。AI 时代的来临,使得回应的内容更加准确、专业、及时,能够快速响应客户需求,解决客户问题,提高客户满意度。1.4.2 唤醒历史沉睡数据,增强全流程生产效率AI 在智能制造领域的应用不仅是技术的革命,也是推动制造业全面数字化转型的核心动力。在智能制造的端到端流程中,可以发现,无论是在经营管理阶段所做的决策分析、设计阶段的辅助设计、生产阶段需求预测和智能排产以及设备维护和产品检测、售后阶段的智能机器人服务响应,均需要大量的数据支持 AI 在对应阶段的作用。而 AI 在使用数据进行分析面临的挑战主要表现在以下几个方面:了生产效率和产品质量,还实现了生产过程的透明化和可追溯性,该工厂的产品上市时间缩短了近20%,生产效率提高了 13%,并且产品质量也得到了显著提升。181、数据收集与分析过程中的挑战诸如在产品的生产测试过程中,实时数据收集与分析,是产品良率和设备长时间正常运行的保证。企业借助各类传感器和物联网设备,能够实时收集制造设备的运行数据,包括温度、速度、压力等关键参数。这些数据经过实时分析,可以即时反馈生产状态,确保生产过程的稳定性和可靠性。除了制造设备的传感器实时数据以外,还需要长时间、高频率的收集产品的质检数据,包括产品质检过程中的图片、音频等。如果要 AI 分析的更加精准,收集这些数据的周期也会从以往的小时级收集到如今分钟/秒级收集递进。伴随着收集的数据种类、数据类型、数据格式、收集时间的变化,收集的数据量呈指数级增长,每天采集到的数据从 MB 到 GB 级甚至 TB 级增长。某全球工程机械的领先企业通过 56 万 台的物联网设备一天收集的数据量就从原来的 GB 级到当前的 10TB 级。收集数据的增多不仅仅是因为 AI 可处理的数据量增多,从原来的 MB 到如今的 GB 级,那么收集的数据量也需要数量级的增长;同时该企业也认识到 AI 给制造行业带来的巨大机会,更多的数据意味着在今后的变局中拥有更多的“有效资产”,具备更牢靠的市场地位和强大的话语权。收集的数据量增加了 1000 倍以上,如何保障这些实时数据能够快速存的下、用的好,就成为制造企业不得不考虑的问题。对于一些大型企业而言,海量的历史数据如何被激活价值,而不是机房里冷冰冰的机器,也是需要考虑的问题。如何进行降本增效一直是摆在制药行业面前的主要难题。一家大型制药企业也面临同样的挑战,怎样在不增加过多质检人力、不增加产线设备的情况下提升产品良率,进而增加盈利?多次探寻均无果的情况下他们盯上了已有的历史记录数据。通过对分布于多个地域的多种类型的历史数据进行多源汇聚的整合,并对生产过程中的生产工艺和设备运行状态进行 AI 分析,识别出了 9 个关键生产工艺参数,通过 AI 模拟实验对这些参数进行优化,最终将药品产率提升了50%,良率也提升了 3%,公司因此每年在单个药物品种就增收 500-1000 万美元。诸如此类,通过深度学习算法,AI 可以从海量历史数据中识别出模式和异常,为生产、测试、仿真、决策提供科学依据。沉睡的历史数据被唤醒,并再次得以分析使用。怎样快速、简单、高效的汇聚多源的历史数据且不影响现有生产系统,汇聚后的数据高效地供AI系统调用就成为制造企业需要关注的问题。192、数据归类与整理过程中的挑战a)数据清理:要确保收集的数据能够被 AI 使用和产生价值,务必要进行数据清理,包括数据补充缺失值、清洗数据集格式、纠正数据的物理和逻辑错误等。某电子制造集团有限公司在使用 AI进行智能排产时发现,通过未经过清理的数据推理的结果总会出现偏差,有时候甚至不能出现结果。通过建立单独 AI 工业数据空间,接入多个工业软件系统,对数据进行汇聚、处理和交叉验证,保障数据和行为可信、可证,同时纠正数据的逻辑错误,输出正确的数据格式,进而才使用这些数据进行 AI 分析和使用,提升了排产效率。为了在数据清理时更加简单,清理的时候无需做太多的无用功,这就要求数据在采集到写入的过程中安全可靠,避免无意义的数据丢失和逻辑错误。怎样保障收集写入的数据安全可靠,不出现逻辑错误,或者在出现逻辑错误的时候能够自动修复,就成为制造企业必须考虑的问题。当然,除了收集中的问题,也需要考虑数据清理的时候可能会对原始数据造成的损坏和污染问题,这也是需要未雨绸缪的地方。b)数据标签:经过清理的数据只有打上数据标签,才能够帮助 AI 在训练时清晰理解数据的上下文,从而做出准确预测,并且相关的数据在使用过程中也会有不同的标签,尤其是生产数据、设备数据、经营数据、运维数据等,在决策、设计、生产、排产、售后过程中的作用不同。不同种类、不同类型、不同容量的数据如果仅依靠人力标注,成本高、耗时长且容易出现人为错误。怎样准确、高效、快速、低成本地去标注数据标签就成为了制造企业也需要考虑的问题。201.5 电力电力系统作为保障国计民生和支撑经济增长的关键基础设施,持续面临电网规模扩大、负荷增 长等挑战。利用 AI 辅助发电管理、输配电网负荷预测、安全巡检和隐患识别等,可有效助力电力供应安全。1.5.1 预测到协同:精准的电力供需预测,使能高效的发输变配协同在新型电力系统的建设中,电力供需预测的精准度和发输变配的高效协同至关重要。通过引入人工智能技术,电力企业可以实现对负荷动态和电价变化的精准预测,从而更好地匹配供需两侧的需求。这种协同不仅提高了电力系统的整体效率,还为实现清洁低碳、安全充裕、经济高效的电力供应奠定了坚实基础。1、发电阶段:AI 建模优化发电管理,减少停机概率,识别潜藏问题在世界 500 强的电力公司中,90%已经使用智能电力分析系统,通过 AI 对包括火力/风力发电机、太阳能板等发电设备的健康状态进行实时诊断,从而优先更换高风险零件,减少计划外的停机时间。比如土耳其电力公司 ENERJISA,通过 AI 分析即时掌握发电机组与输配电路的运作状态,降低了 35%-45%设备停机的时间,确保发电量处于可控标准之内。同时,电力公司还会在发电机内装入 loT 感测器,使用 AI 分析感测器所收集的信息,实时监控发电机的马达及零件状态,提前找出潜在问题。比如通过风速和发电量建立非监督学习(一种 AI算法)的异常检测模型,描绘出正常状态曲线,当发动机的实时状态偏离正常状态曲线,就会及早安排检修,识别是否有潜藏问题。2、供电阶段:AI 分析精准预测发电量和需求量,解决可再生能源的集成问题,平衡供需过往使用燃煤、天然气等一次性能源的发电方式,发电量较易估算。但再生能源由于影响的变量太多,以光电、风电等为代表的再生能源发电量很难预估;且在预测用电需求中,也会因气候异常和生活型态改变等影响,无法通过历史用电资料精准预测用电需求。比如澳洲能源公司 Red Energy,出现过因为用电需求预测模型精准度较低,导致备转电力容量不足,必须临时向其他电力公司高价购买电力,增加公司营运成本。通过改进 AI 的预测模型后,Red Energy 的预测准确率达到 98%,并通过完善的事前规划,以较低价格购入电力,节省超百万美金的购电费用。213、用电阶段:AI 用户分析找出异常数据,排查窃电、篡改电表等异常数据,减少损失,确保电网稳定度以往电力公司在侦测窃电中,只有在专家检修或更换电表时才发现异常,或者有的电力公司会使用随机挑选的方式进行抽查。这两种方式都属于被动式的人工侦测,且投入成本高、排查效率低。电力公司可通过 AI 进行用户分析,在既有业务规则、用户有无篡改电表历史行为的基础上,结合窃电行为模式、用电量和用电目的之间的关联性等分析模型,精准地判断出各个电表的窃电风险,再交由相关人员做进一步的调查,提高侦测率并省下侦测成本。比如,巴西第二大电力公司,通过这种方式不只识别集团窃电的风险,更避免每个月数十万美元的窃电损失。1.5.2 加强多维、高频数据采集和安全留存,促进更精准电力供需预测 通过多维度、高频率的数据采集,电力系统能够实时监测和分析各个环节的运行状态。这种数据采集不仅涵盖传统的电力负荷和电压数据,还包括气象、市场需求、设备健康状态等多方面的信息。利用这些丰富的数据,通过人工智能技术,能够帮助电力企业对发电、输电、变电和配电各环节进行精准控制和优化调度。1、AI 预测用户用电量,增加数据采集量、提高数据采集频率,以得到更精准的预测电力行业通过 AI 分析远程收集的用户用电数据来预测未来的使用电量,以提前准备供需电量。当采集的数据量不足、采集频率过少会导致预测结果产生偏差,这使得电力行业不断提升用户侧的监控器的采集频率以满足 AI 分析模型预测的要求。比如,在 IoT 抄表场景中,最初的设计可通过按周/月收一次用来计费来预测下月的使用电量,后续在 AI 预测模型的训练过程中,发现间隔更短的数据可以更加精准的预测用户使用量,从而提高到数分钟一次,使得能够更高效地预测,满足供需平衡。更大数据采集量、更频繁的数据采集周期,给数据存储设备带来了更大容量和更高性能的需求。2、AI 分析电力设备,扩大数据采集维度、增加采集参数,以提前检修并减少停机概率在发电管理场景,电力行业通过 AI 分析发电机内 loT 感测器收集的电气元件信息,来提前找出潜在问题,及时安排检修。在最初的设计中,会收集发电机各元器件老化程度、故障零件数量和类型等来提前准备替换的零件库。随着感测器收集的数据量增多,在 AI 训练中发现一些非强关联的数据也可以加强 AI 模型的预测准确度,从而增加了 AI 分析仪表盘的维度,如发动机的运转状况、设备健康度、产出能源量等,提高了潜藏问题的发掘能力,降低了停机损失。3、电力安全:勒索攻击不是会不会发生,而是什么时间发生电力作为涉及国计民生的行业,一旦遭遇勒索攻击可造成大量的业务停摆,且随着电力行业的数字化建设深入,近年来已成为黑客的首要攻击目标之一。今年 8 月份,网络安全公司 Bitdefende 公22开了 Solarman 和 Deye 太阳能管理平台中的重大安全漏洞,可影响全球 20%的光伏发电,涉及 190多个国家和地区的 200 多万个光伏电站。新型的勒索攻击不仅使用 AI 模型批量生成新的病毒样本,并且潜伏周期更长,隐蔽性更高,可轻松绕过普通的病毒检测库。比如,非洲某大型电力公司,近年曾经遭受勒索攻击,并被要求支付赎金数十万美元。AI 在电力行业可通过收集核心业务生产系统的正常行为,在数据存储设备上建立 AI 侦测分析模型,判断数据存储侧的异常行为(加密、删除等)、以及短期内的异常存储容量变化,识别潜伏期的勒索攻击,降低被攻击风险。232、AI 辅助科研AI 大模型帮助研究人员快速筛选和分析大量文献,通过语义分析确定研究领域的最新趋势和关键概念。同时 AI for Science(人工智能驱动的科学研究)这一新兴科学研究手段加速发展,它使用已知科学规律进行建模,同时挖掘海量数据的规律,在计算机的强大算力的加持下,进行科学问题研究。例如医疗领域用 AI 分析海量生物医学数据,以探索新治疗方法和药物。图 7:人工智能赋能课程教学各环节人工智能赋能教育教学各环节虚拟教室与虚拟实验室虚拟学习社区在线协同学习实时学情检测智能分析决策个性化教学设计自适应学习路径智能辅助教学工具建设多元化教学资源整合1.6.1 教学到探索:个性化教学,科研加速,AI 反向赋智人类智能化在科研教育行业已经涌现出一批新兴场景的应用,通过以 AI 大模型为代表的智能化技术与科研教育场景应用深度结合,提升教学和研究的效率与质量。1、个性化教学/智能教学辅助AI 根据学生习惯、能力水平和兴趣点提供定制化学习计划和资源,提升学习评估精准度,提供智能辅助教学;典型的应用包括个性化教学方案、智能教育辅助、多元化教学资源整合、虚拟教室、实时学情监测等,通过智能化的实时反馈不断提升教学质量和效率。教育科研行业正经历 AI 带来的深刻变革,智能化展现出巨大潜力,深刻改变了教学、研究与管理方式,同时也给教育科研的 IT 系统建设带来了诸多机遇和挑战。1.6 科研教育24教育科研智能化应用一方面提升了科研教育工作的效率,另一方面通过数据的汇聚、分析和萃取,进一步促进了知识的传承和共享。例如上海交大建设的“交我算”与“教我算”两个平台,覆盖科研和教学服务,需要对接 AI、HPC 等不同算力平台,面临着数据访问协议多样、数据访问效率低等问题。因此,这套平台需要建设统一的存储底座、提供多协议互通等技术来满足多样化的应用需求,以便打造一套高效、高智能的科研平台。1.6.2 围绕高性能、可靠安全的数据供应,构筑反向赋智的基石科研教育在深入发展和应用 AI 的同时,也在数据处理上面临新的要求和挑战:1、超大规模复杂数据集实时分析教育科研智能化的特征主要体现在数据量的庞大、数据类型的多样性以及数据更新与分析的实时性。例如,在个性化教学场景,智能捕捉、收集学生在上课过程中的表情、动作、行为信息,将视频、图像、文本等多种类型的数据进行综合分析。这使得需要保存下来的数据量和复杂度都呈现出指数级的增长,容量扩展受限、机房空间受限、功耗受限成为让数据“存不下”的关键痛点;基于这些分析对学生的未来表现做精准预测,并通过该预测,智能推送个性化学习方案及教学调整建议,这对多类型混合负载的海量数据处理实时性也提出了新的挑战,对视频等大文件处理的高带宽要求和 AI 训练、文本等小文件的高 IOPS 要求难以同时满足,导致数据“用不好”。2、数据安全性要求高AI 时代数据安全和隐私保护成为重要议题,特别是在涉及敏感的教育信息时数据安全就显得尤为重要。例如,科研机构因为其财力雄厚,同时其科研项目往往拥有非常宝贵的数据、一些数据涉及尖端研究相关知识产权,更容易成为黑客攻击和勒索的对象。而教育科研机构面向共享及公开访问的网络设计,实验室、办公甚至移动设备等多设备、跨人群的广泛接入更是为数据安全保护带来了巨大的挑战。3、数据的高效汇聚与流动教育科研领域数据存在资源彼此联系、信息交织汇集、数据来源多样、要素关系分散的特征,需要建立更完善的数据采集和管理系统,实现全局的管理和高效的流动,以确保不同来源和类型的数据能够被有效利用。随着智能化应用的增加,数据跨组织、跨地域、跨时间、跨领域的共享和协同需求将大幅增加,当前 IT 系统的孤岛化建设将极大的制约数据价值的挖掘和发挥。为了应对这些挑战,教育科研行业必须构建更加高效、稳定和可扩展的数据基础设施,包括高效的数据存储解决方案、先进的数据分析工具以及严格的数据管理政策。例如北京大学现代农业研究院小麦抗病遗传育种团队,通过大数据与人工智能应用对植物基因组进行持续研究,以大幅提升25主栽小麦品种的韧性。但对作物基因组的研究分析过程极其复杂,海量数据的处理和读写带来了巨大的挑战。首先,作物基因组研究中涉及到大量的基因组测序、表达谱测定、SNP 分析等数据产生,需要充足容量、巨大吞吐量的数据底座支撑;其次,由于基因测序的整个过程会有持续化的碎片文件读写,绝不允许被中断,这就要求支撑测序应用的存储系统具备极致的稳定性和可靠性,确保数据不会丢失或损坏;其三,在冷冻电镜和基因数据分析工作中,对存储系统的整体性能、小文件处理能力提出更高要求。因此,针对海量的作物基因簇数据的存放、无中断访问、高性能访问,成为摆在该团队面前首先要解决的问题。261.7.1 诊疗到预防:辅助提升诊疗效率,加速康复减少疾病随着AI技术的不断发展,AI与医疗行业的结合越来越深入,其在医疗领域的应用也越来越广泛,AI 给医疗行业带来的变化更加显著,从辅助诊疗、药物研发到疾病预警等多个应用场景,AI 都发挥着重要作用。未来,AI 在医疗领域的发展趋势将深刻影响医疗行业的格局和患者的就医体验。图 8:“医疗 AI”应用场景医学影像健康管理远程医疗疾病预警医疗 AI应用场景个性化治疗医疗机器人辅助诊疗药物研发精准医疗虚拟助理作为知识密集型行业的代表,医疗行业相对更加容易获益于生成式 AI。人工智能正在为医疗行业注入新的活力:辅助诊断,药物研发,疾病预警等。与此同时,如何共享和汇集数据、并保护病患隐私和医疗数据安全,成为医疗行业拥抱 AI 所必须面临的挑战。1.7 医疗1、辅助诊疗AI 技术在基层卫生健康服务中的应用试点启动实施,形成了可复制使用的医学人工智能基层辅助诊疗应用系统。这些系统通过智能分诊、AI 辅助诊疗等方式,帮助医生提升诊疗水平,赋能基层诊疗。例如,一款 AI 智能分割及规划算法的设备适用于脑出血抽吸引流、颅内活检等临床场景,通过 AI 找到斑块位置,精准定位到脑出血点,协助医生完成手术,提高了手术安全性和精准性。2、药物研发传统的药物创新研发遵循“倒摩尔定律”,AI 技术通过数据和算法模型建立的优势,正在为药27物研发带来革命性的变革。通过深度学习模型,可以更快速地分析分子结构,从而加速新药的发现并减少昂贵的实验需求。例如,有研究利用 AI 成功地识别出了一种能够对抗抗生素耐药细菌的药物,在短短21 天内被发现,并在 46 天内完成了实验验证,这比传统的药物研发过程快了数年,大大缩短了药物研发的时间和成本。3、疾病预警AI 与大数据模型的应用使得疾病预警有了“工具”。通过分析国际卫生部门各种疾病方面的资讯和信息,帮助疾控等部门更准确地预测疾病的发展趋势和高发期,从而提前采取相应的防控措施。例如,AI 可以“收集”眼科医生无法识别的细微信息,通过大数据模型分析某种疾病患者视网膜变化,最终完成具有明确标记的疾病检测任务。1.7.2 打通诊疗数据共享,保护数据安全,维护病患隐私随着 AI 技术在医疗领域的广泛应用,在医疗行业的数据上也面临着数据收集难、数据隐私和安全、被勒索病毒攻击等诸多挑战。1、数据收集难AI 以数据为食,获得的数据越多、质量越好,其越能在任务中表现出色。收集的数据必须来自可靠的来源,从不可靠的来源收集数据可能会对 AI 训练的输出产生不利影响。因此,为了获得准确的输出,医院必须从可靠的来源收集训练数据,如从患者的历史和当前病历中找到可靠的数据。2、数据隐私和安全医学领域涉及大量敏感数据,如患者的身份信息、健康状况、疾病诊疗情况、生物基因信息等,不仅涉及患者隐私,还具有特殊的敏感性和重要价值,一旦泄露,可能给患者带来身心困扰和财产损失,甚至对社会稳定和国家安全造成负面影响,因此医疗领域的数据安全非常重要。然而,医疗 AI 的研发与应用,必须依赖大量的医疗数据用于算法训练,数据量越大、越多样,其分析和预测的结果将越精准。但数据收集、分析处理、云端存储和信息共享等大数据技术的应用,加大了数据泄露的风险。3、被勒索病毒攻击AI 技术的发展使得勒索软件可以更精准地选择目标、定制攻击,并且更具欺骗性。通过分析目标的数据和行为模式,勒索软件可以更有效地选择目标,并制定更有针对性的攻击策略。此外,AI可以使得勒索软件在攻击过程中更具自适应性,能够根据受害者的反应来调整攻击方式,增加攻击成功的几率。2023 年中国企业勒索病毒攻击态势分析报告显示,医疗行业已经成为勒索病毒攻击的重灾区。自 2018 年以来,全球已发生 500 次公开确认的针对医疗组织的勒索软件攻击,导致近 1.3 万个独28图 9:2023 年中国企业勒索病毒攻击态势分析报告21.4.5.6%9.7%5.8%5.3%4.4%3.4%3.4%2.9%医疗卫生制造业生活服务信息技术金融政府机关事业单位教育培训交通运输能源工程制造勒索病毒攻击事件受害者行业分布立设施瘫痪,并影响到近 4900 万份病患记录,这些攻击仅由停机造成的经济损失就已超过 920 亿美元。据第三方统计数据显示,医疗行业连续 12 年成为数据泄露成本最高的行业,2022 年医疗机构该数据高达 1010 万美元,与 2020 年相比激增 42%。为了有效解决面临的诸多数据层面的挑战,医疗行业亟需采用专业数据存储产品,通过专业的存储内生安全、容灾备份、安全可信数据流动、防勒索保护技术等,让数据存的下、存的放心、用的安心,助力 AI 加速医疗领域迈向智能世界。29图 10:以数据为纽带,加速数字化和智能化融合成为数智化数字化和智能化分别使用通用算力和智能算力对数据进行处理、分析、价值创造。数据则是连接数字化和智能化的纽带,是两者融合成为数智化的基石,是数字化到数智化成功转型的关键。数字化智能化加速信息处理加速知识转换唤醒历史数据产生更多数据促进更加广泛和深入的数字化数智化1.8 行业数智化:数据是关键今天,包括金融、运营商、政务、制造、电力等在内的多个行业,数字化和智能化都在不断改变这些行业的面貌。数字化将人类社会生产和日常生活中所产生的信息转变为数字格式的数据,极大地提高了信息记录、处理和传播效率。智能化,通过 AI 算力基于数字化所产生的数据进行训练和推理,最大程度地释放数据价值。数字化为智能化提供必需的数据;智能化通过释放数据价值以牵引更多业务场景积极拥抱和扩大数字化;更多的数字化,又产生了更多的数据。可以看到,数字化和智能化相互依赖,又相互促进,逐渐融合成为数智化。数智化是数字化被赋智后的自然延伸,它通过学习数据以产生智能,并将智能应用于数字化,进而推动各行各业数字化向更高效、更智能的方向发展。随着技术的不断进步,数智化将继续深化其在各个领域中的应用,推动社会向智能世界迈进。3031数据为纲:行业数智化呼唤高质量数据和高效数据处理0232数据的规模和质量决定了 AI 智能的高度。以 GPT 为例:GPT-1 采用了 4.8GB 原始数据进行训练;GPT-2 采用了 40GB 经过人类过滤后的数据进行训练;GPT-3 采用了 570GB 数据进行训练,而这 570GB 数据来自对 45TB 原始数据的过滤;ChatGPT/GPT-4 在 GPT-3 训练数据基础上,加入了高质量的标注。从 GPT-1 到 GPT-4,模型架构相似,而模型参数规模、数据集规模和质量不同,产生了不同的 AI 大模型训练结果。GPT 的演进,用事实证明了许多 AI 学者的观点:AI 以数据为中心。千行万业在数智化的过程中,不管是对基础大模型的二次训练和监督微调,还是在应用推理阶段,均离不开大规模高质量数据。在实践中,大多数企业通过唤醒历史数据、采集并保存更多生产数据、人工合成数据这几种方式相互配合,为 AI 算力提供数据。在数据规模和质量满足企业数智化所需的同时,数据效率同样不可被忽略。数据效率从数据保存、访问、能耗和安全等维度,帮助企业用户对数据进行更多维度的审视,让数据不仅供得上,还要供的快、供的稳。332.1 数据觉醒:充分发挥历史数据价值 缺数据,不 AI。数据短缺成为制约大模型发展的瓶颈。当前,大模型正在赋能千行百业,但也面临着海量、优质的行业数据集严重匮乏的挑战。行业数据包含领域特有的知识、术语、规则、流程和逻辑,这使得其往往难以在通用数据集中充分覆盖。与此同时,行业数据具有稀缺性的特点,据智源研究院统计,当前已知的所有开源行业文本类数据集仅有约 1.2TB,远远无法满足千行万业的模型需求。数据在人工智能(AI)领域中扮演着至关重要的角色,在训练模型阶段,AI 模型需要大量的数据来进行训练。这些数据用于学习模式、预测结果和优化性能。没有足够的数据,模型的准确性和效果将受到限制。1、数据驱动决策:AI 系统的决策基于数据。从金融预测到医疗诊断,数据支持着 AI 系统的智能决策。2、迭代改进:数据允许 AI 系统不断迭代和改进。通过分析用户反馈、监控性能指标和更新数据,AI 可以不断优化自身。3、个性化体验:数据使得 AI 能够为每个用户提供个性化的体验。例如,推荐算法根据用户的历史行为和偏好来推送内容。数据觉醒是从数字化时代向智能化时代演进的必经之路:1、激活业务闲置数据业务运转过程中,产生大量的数据。一部分数据是热数据,被频繁访问,随时可能被修改。另外一部分数据,则随着时间的推理,热度逐渐降低,虽然依然保存在主存储中,但是几乎不太可能被再次访问,例如大量的医疗影像数据,在病人痊愈后,相关影像数据可能就不再被访问,进入闲置状态,直到主存储容量被占满后,再被转移到其他存储上。随着人工智能大模型规模不断扩大,对训练数据的需求呈指数级增长。将业务闲置的数据纳入训练数据资源,可有效帮助大模型训练。342、唤醒历史归档数据如企业档案、历史记录、文献资料等,正逐渐被挖掘和利用。这些数据蕴含着宝贵的历史信息,且数据量巨大,可以用于模型训练、趋势洞察、业务预测。a)更丰富的训练数据:历史数据包含了过去的经验、事件和知识。通过激活这些数据,我们可以获得更丰富、更多样化的训练样本,用于训练机器学习模型。这有助于提高模型的准确性和泛化能力。b)趋势洞察分析:历史数据可以用于预测未来趋势。通过分析过去的数据,我们可以发现模式、周期性和趋势,从而预测未来可能发生的事件。这对于业务决策和规划至关重要。c)异常检测和故障预测:历史数据中的异常情况和故障信息可以帮助我们构建异常检测模型。这些模型可以用于实时监测,及早发现潜在问题,从而避免损失。为了确保人工智能的持续进化,必须投资于高质量训练数据的收集和管理:维基百科当前的内容规模约为 4.2 亿个单词。根据 ARK Invest 的“Big Ideas 2023”报告,到 2030 年,模型训练需要具有惊人的 162 万亿个单词。人工智能模型规模和复杂性的增加无疑将导致对高质量训练数据的更大需求。在计算规模不断下降的世界中,数据将成为人工智能发展的主要制约因素。随着人工智能模型变得更加复杂,对多样化、准确和庞大数据集的需求将继续增长。在管理各种历史数据、唤醒历史数据的过程中,需要关注:1、数据来源多样化从各种来源收集数据有助于确保人工智能模型在多样化且具有代表性的样本上进行训练,从而减少偏差并提高其整体性能。对数据基础设施的要求需要能够存储大规模的数据集,包括多样化的来源;快速读写和检索数据,以满足训练模型的需求;保护数据免受未经授权的访问和损坏以及确保数据的持久性和可靠性。2、确保数据质量训练数据的质量对于人工智能模型的准确性和有效性至关重要。应优先考虑数据清理、注释和验证,以确保最高质量的数据集。此外,加载了数据标注,数据清洗等技术的数据基础设施,可以帮助最大化可用训练数据的价值。同样对于数据基础设施的要求是,具备大容量以存储高质量的数据集,而最重要的是可以实现近存计算,构建在存储侧构建数据清洗、标注、验证的能力。3、解决数据隐私问题随着对训练数据的需求不断增长,解决隐私问题并确保数据收集和处理遵循道德准则并遵守数据保护法规至关重要。实施隐私计算等技术可以帮助保护个人隐私,同时仍然能为人工智能训练提供有用的数据。352.2 数据生成与合成:让数据为数智化而生将海量历史数据唤醒,利用这些历史数据进行 AI 大模型训练和推理,有效帮助了 AI 大模型高速发展。在 AI 发展过程中,人们逐渐意识这些海量历史数据虽然对 AI 起到了不可替代的作用,但并非为 AI 而生,例如在数据采集频度、数据格式、数据多样性、数据留存等维度,均存在可以改善的空间。举例,某工厂的汽油储罐需要进行泄露监控和检测,历史上通过摄像头 人工检查的方式开展;伴随着机器视觉大模型的成熟,人们可以利用 AI 对储罐上的油斑进行实时分析,以提前发现泄露隐患;但是,原有监控系统仅仅保留最近 30 到 90 天的监控数据,缺少历史上泄露隐患暴露前的油斑视频,也就让 AI 训练缺少了相应的数据;另外,除了缺少历史视频数据外,老摄像头的清晰度可能仅满足人类肉眼预判隐患,但是 AI 可以分析清晰度更高的视频,进而更加精确地预判隐患。可见,在 AI 的驱动下,人们不仅要思考如何利用好已有的历史数据,还应该思考如何在既有数字化业务中改进数据生成,通过提升数据规模和质量来加速数字化到数智化的转型。另外,除了在现实业务中生成更多高质量数据外,对于某些难以通过在实践中获取的数据,也可以考虑数据合成的方式。2.2.1 数据生成 一般来说,可以参考 5F 方法来思考如何生成并留存更多的高质量数据供 AI 使用。图 11:5F 维度思考高质量数据生成和采集高质量数据FrequencyFieldFormatFull processFuture365F 方法是一个思考框架,帮助行业用户从五个维度去思考如何生成、采集、留存更多高质量数据供 AI 使用。这五个维度分别是:Field(数据生成/采集的现场)、Format(数据生成/采集的格式)、Full process(业务全流程数据)、Frequency(数据生成/采集的频率)、Future(面向未来的数据留存周期)。1、Field,数据生成/采集的现场数据产生于不同的区域和位置。有的来自偏远户外,例如油气勘探、远洋科考;有的来自户内,例如智能电表、智能家居;有的来自于终端设备,例如手机网购、办公便携等。在 AI 大模型爆发之前,人们大多在这些不同的地点,仅采集和记录当前可以被处理的数据。以智能电表为例,最开始仅用于取代人力抄表,实现 AMR(Automatic Meter Reading),后来追加 AMI(Advanced Metering Infrastructure),以对用电情况进行实时分析,支撑输电、配电的高效运作。实际上,现在已经有部分电力公司在思考,利用智能电表搜集更多的环境数据,如温度、湿度、气压、噪音等现场相关信息,借助 AI 进行更加精确的分析预测并提升能源使用效率。例如,某个区域 A 的平均气温在 30 度左右,但是湿度高达 90%,而另外一个区域 B 的平均气温在 35 度左右,而湿度低于 5%。虽然这些数据对于供电不直接相关,但是电力公司可以基于这些信息做出预判:区域 A 住户开启空调的概率高于区域 B,进而对不同区域的供电做出提前部署。2、Format,数据生成/采集的格式因为需求、预算等不同的原因,人们在数字化过程中,会选择适合当时业务的解决方案,而 AI在过去大概率没有被作为一个考量因素。今天,伴随着 AI 逐渐走进千行万业,AI 在数字化建设时必须要被作为一个考量因素,而数据格式是 AI 考量要素的一个重要维度。数据格式,泛指信息以什么样的方式被数字化。例如,一段音频,WAV、FLAC、MP3 等就是不同的格式;一张图片,JPG、GIF、PNG 等就是不同的格式。除了这里提到的编解码格式外,清晰度、分辨率等也属于数据格式的范畴。针对数据格式的考量,需要考虑是否可以满足当前及可见未来的 AI 所需。3、Full process,业务全流程数据现在的 AI 训练,主要还是在学习结果,尤其是正确的结果。而人类实际上的学习过程,不仅仅是通过学习正确的结果来获取知识,同样也会通过学习错误的结果、学习计算/推导过程来获取知识,例如代码编程、图纸设计等。37 AI 能力在持续提升,也在探索对错误结果数据、计算/推导过程数据的学习。而实际上,我们现在对于错误结果数据、计算/推导过程数据的保存,是不完善的,并没有将这些数据纳入到我们的数字化进程中。在 AI 时代,伴随着上下文窗口的持续增大,相信针对这种类型数据的学习,将会是帮助 AI 实现进一步跃升的关键。4、Frequency,数据生成/采集的频率在数字化时代,人们在生产过程中,对数据的采集和留存,整体上有两种方式:a.产生多少数据,就记录多少数据,并匹配相应的计算和网络资源,对这些数据进行处理。典型的场景是金融行业,如在线交易。b.对产生的数据进行周期性采样,并对采样数据进行保存。采样的周期,一般取决于业务系统当前的处理能力和精度。典型的场景是科学研究,如气象监测站、科学育种等。伴随着AI带来的超大规模算力,针对上述第二种场景,现在的情况已经逐渐转变为“数据饥饿”,即 AI 算力等待更多的高质量数据输入。人们应该思考如何适度超前地提高数据收集频率并将这些现实世界中产生的高价值数据有效保存下来,为 AI 提供更多的数据燃料。5、Future,面向未来的数据留存周期在 AI 大模型时代之前,数据被长期留存,主要目的是作为存档以备后续查阅。现在,除了满足法规遵从要求的最短留存时间外,数据需要被留存的时长,需要充分考虑 AI 的发展,提前对数据的留存周期进行考察。即便现在用不到这么多的数据,也需要为未来做提前思考,做到适度提前。例如某国海关对人员出入境记录要求保存5年时间,可以供人们按需查询近年的出入境记录等。但伴随着 AI 大模型持续成熟,5 年的出入境记录数据可能会逐渐无法满足 AI 大模型训练所需,该国海关正在考虑将这些数据保留更长的时间,延长到 10 年甚至 20 年。2.2.2 数据合成数据合成是一种通过计算机算法或模拟生成人工数据的方式,它模仿真实世界数据的统计特性和特征,但并不包含、或仅包含一部分现实世界的真实数据。通过数据合成得到的数据,被称为合成数据,可以用于多种目的,包括数据增强、数据隐私保护、以及在数据稀缺的情况下进行模型训练和测试。38合成数据的优势包括无限量生成数据的能力、隐私保护、减少偏差以及提高数据质量。它允许组织在不违反隐私法规的情况下使用数据,同时提供了一种经济高效的方式来获取更多数据。然而,合成数据也有其局限性,例如合成数据可能无法完全捕捉真实数据的复杂性和多样性,且其生成过程可能需要高水平的专业知识和技术。只要正确认识合成数据、合理利用合成数据,那么合成数据是对在现实世界中获取的真实原始数据的有益补充,可以解决数据稀缺和隐私保护等关键挑战,从而在 AI 研究和应用开发中发挥巨大的作用。1、基于统计分布数据合成该数据合成方法首先分析真实数据集的统计分布,找出其统计学上的分布规律,例如正态分布等;然后,数据专家基于识别出来的分布规律,从零开始或者基于特定的初始数据集进行数据合成,进而创建出在统计学上与原始数据集相似的数据集。2、基于机器学习数据合成这种方式与第一种方式本质相同,唯一的不同是依靠训练机器学习模型以理解真实数据集的统计分布,并基于模型来生成数据,获得与真实数据具有相同统计分布的合成数据。3、基于生成式 AI 数据合成通过对生成式 AI 进行提问或者提示,引导生成式 AI 产生文字、图片、音频、视频等数据。基于生成式 AI 的数据合成,与基于机器学习的数据合成有一些相似,一般来说前者用于生成较为通用的文字、图片等数据,而后者多用于科学科研场景所需要的数值。4、基于随机算法数据合成在消除原始数据的敏感数据、保护个人隐私方面,随机算法可以很好的生成姓名、家庭住址等敏感信息,帮助对原始数据集进行脱敏。合成数据的生成方法主要有四种:392.3 图 12:AI 时代存储极致性能 10 x 性能提升,PB-level带宽,亿级 IOPS 数据编织全局数据可视、可管、可用10倍数据流动 绿色节能 1 PB/U可靠性防勒索保护数据恢复数据韧性高扩展性横向EB级的容量扩容,多GPU、DPU或NPU纵向扩展全新数据范式Vector,Tensor,RAG等AI时代存储KV-Cache1、极致性能数据源分散、归集困难,数据频繁搬迁,PB 级数据预处理往往需要数天;在训练中,大量的小文件加载慢、使得 GPU 等待时间长,同时 Checkpoint 恢复时间长导致 GPU 利用率低。因此为了提升 AI 训练集群的利用率和训练效率,减少算力等待时间,需要存储具有更高的性能,未来需要超越传统存储 10 倍的性能,支持 PB 级带宽以及亿级 IOPS,能够让海量数据的加载、Checkpoint 的写入更加迅速,同时还需要支持多数据协议的以减少数据的拷贝,从而才能极大提升生成式 AI 的全流程效率。2、高扩展性AI 时代,数据成为企业日趋重要的价值资产,数据的留存率越来越高。当前企业数据平均留存已从之前的数月上升到数十年,同时数据增速将会呈现指数级的提升,数据的爆发式增长对存储容数智化时代,AI 新质生产力成为社会发展的核心驱动力,数据成为最重要的生产资料,企业的数据量将呈现指数级的增加和留存,同时AI生产需要完成海量的数据归集、千亿级文件数据的加载,以及断点续训所需要的 Checkpoint 保存和加载,AI 生产力能否充分释放和发挥价值,数据效率将是关键。过去,主要是通过数据存储的性能、容量及可靠性三个维度的优化来不断提升数据效率;面向未来,数智时代的还需增加数据范式、绿色节能与数据编织三个新的维度提升,才能充分提升数据效率、释放数据生产力。数据效率:以高效数据访问使能高效数据处理,加速行业数智化40量提出更高的要求,未来存储集群需要能够支持 EB 级容量的横向扩展,同时每个引擎需要支持多GPU、DPU 或 NPU 纵向扩展,以支持近存计算。3、数据韧性随着数据价值的不断提升,数据韧性及安全变得越来越重要,需要系列措施来保护数据的完整性和可用性。一方面体现在生产过程中的可靠性,数据不丢失、业务零中断,通过架构和技术创新,专业的存储设备在架构、节点冗余设计等方面的可靠性,能够构筑多级的安全可靠机制,实现99.9999%高可用性,不用再担心因数据的问题影响 AI 业务运行;同时针对日益增加的数据勒索风险,需要结合全面的动态检测、主动防御、联动恢复机制,变静态管理为动态检测,变被动响应为联防联动,打造立体化的防勒索解决方案,形成一个完整的防御体系,确保数据的安全。4、数据编织数据资产能够被高效利用的前提,是能否实现数据资产的可视、可管、可用。数据编织,就是能够实现可以随时随地使用任何数据。具体来讲,是通过数据资产的统一视图,实现跨域、跨站点、跨厂家等复杂数据的全局可视、实时更新;其次是能够实现数据目录的智能化,通过 AI 和自动化技术实现数据的自动标签、聚合、检索、呈现,推进数据按内容、合规、热度等维度的全自动化分类分级,并能够根据数据的热温冷分析实现数据的自动流动,实现数据高效经济的储存;同时能够面对海量的文件,实现千亿级文件秒级检索的能力,实现数据的高效查找。5、全新数据范式通过近存计算实现近数据预处理,让数据在存储完成部分过滤、归一、转码与增强的数据准备任务,减少数据搬移,从而提升GPU利用率。同时,把企业最新垂直化的数据进行向量化存储和检索,大幅度降低企业接入和使用 AI 大模型的难度。使能多维“张量”格式的数据,通过智能检索引擎,具备快速的张量数据检索能力;通过内嵌知识库,利用 RAG 技术消除 AI 大模型幻觉。另外,基于多层KV-Cache实现长记忆内存型存储,通过以查代算、推理过程数据在推理集群内共享等方式,减少推理算力的压力,进而有效支持千万 Token 长度的无损超长序列,全面提升推理效率和精度。6、绿色节能节能减排是社会持续发展的基础。到 2026 年,全球数据中心的耗电量预计将达到 2022 年的2.3 倍,相当于日本一个国家全年的耗电量,其中数据中心一半以上的电力消耗都将被 AI 占据。存储作为 AI 数据的载体,随着数据量的增加,需要更加绿色节能的数据存储方案,单位数据存储的能耗优化改进是产业发展的必然需求。通过存储介质应用创新和整机硬件创新,实现小于 1Watt/TB 的存储能效和 1PB/U 的存储密度;同时结合介质创新的大容量 SSD 盘,在节约空间、节省能耗的同时,可以实现相同空间 10 倍容量的提升,从而助力数据中心能耗的降低。41数智化时代数据基础设施展望03423.1 基于存算分离架构的AI-Ready 数据基础设施3.1.1 趋势1、AI 训练走向多模态,数据规模持续增长、类型日趋复杂伴随着 AI 大模型从 NLP 走向多模态,数据快速膨胀,带来了数据量的爆炸和数据处理复杂度的大幅提升。比如过去在 NLP 处理时,参数量规模通常在千亿级左右,训练数据都是简单的数字、文本、图像、音频等;而到了多模态大模型时代,参数量规模已经达到了万亿到十万亿级左右,训练数据追加视频、3D、4D 等等,每条训练数据有几十 GB。数据访问方式,数据归集方式,数据组织形式都发生的根本性的变化。图 13:训练走向多模态,数据量越来越大、类型越来越复杂以存算分离架构部署 AI-Ready 数据基础设施,加速智能涌现 AI 大模型走向多模态,算力集群规模和数据规模持续扩大、系统管理复杂度日渐增长的同时,数据存力逐渐成为 AI 持续高速增长的关键。存算分离架构的灵活性和独立扩展,可有效简化智算集群管理、方便计算和存储分别按需扩展;在此架构下,灵活横向扩展、性能线性增长、多协议互通等能力成为数据基础设施基本要求。千亿模型十万亿多模态模型万亿多模态模型倍剪刀差数据膨胀数据处理复杂度盘古原始数据量:每天数据处理量:模型规模:千亿原始数据量:每天数据处理量:模型规模:万亿训练数据量:亿分钟视频,数据获取方式:多模态原始语料枯竭、需合成生成新数据归集方式全量拷贝 天级延迟延迟变化感知网络爬取拷贝网络爬取 私域数据 数据要素流通网络爬取 私域数据 数据要素流通归集方式图片、音频、视频 多维感知,级异构算力 模型级带宽 亿级文本,大数据带宽图片、音频、视频,异构算力 模型带宽 百万级新访问方式级级为中心分层异构算力级 文本级 视频图片数据类型处理方式性能要求新数据组织形式文件维级向量()维高维张量()文件,数维向量百亿 千亿参数张量、数维向量万亿参数张量,数维向量万亿参数组织形式数据索引43图 14:AI 全流程与计算处理、数据存取的关系阶段一:数据获取,将不同数据源的数据导入到存储中(通常采用数据湖),通过 Spark 等分析软件进行数据收集、过滤、聚类和索引,用于以后的分析和处理。通常,这个阶段需要 EB/PB 级的原始语料数据,通过 NAS、S3 等不同的协议进行访问,涉及到 KB 级大小的文件、MB级大小的图片等,是一个混合 IO 读写模型。阶段二:数据预处理,经过清洗之后的数据,通过数据预处理软件,进行特征提取,特性建模,并进行向量化,我们称之为“特征库”。阶段三:模型训练,通过 AI 训练集群进行轮训(Epoch),并在每个 epoch 期间调整权重和偏置以优化模型质量,最终输出能够解决某类问题的“模型数据库”。这个阶段,每次训练前,需要将海量的训练数据集加载到 GPU 内存中,过程中需要周期性地将 TB 大小的 Checkpoint 文件保存到存储中,故障时又需要从存储中快速地加载 Checkpoint 进行恢复。特别强调的是,这个过程对存储的性能要求极高,而且是越快越好。Meta 的 Llama 3 大模型进行训练的过程中,Meta动用了 1.6 万块 GPU 集群,该训练过程中遭遇了 419 次意外组件故障导致的训练中断,平均每 3小时发生一次,频繁的故障严重影响了 AI 模型的训练效率和稳定性。集群的业务中断时间为:2、伴随 AI 算力集群规模越来越大,算力利用率持续降低AI大模型的训练和推理过程,主要分为四个阶段:数据获取,数据预处理,模型训练,模型推理。多模态原始数据级高质量数据集索引数据高性能层大容量层计算处理流程数据存取流程文件聚合读写(带宽型)()()()海量数据高效存储访问训练数据原始语料数据(级)预处理后训练数据(级)图像、文本、语音、代码等海量原始数据数据清洗生成高质量训练数据集数据预处理原始数据清洗、加工为可训练数据数据获取三方收集、网络爬取、边缘汇聚模型训练小文件读,写模型推理推理检索增强多类型数据访问:等模型训练模型推理图编译小文件周期性保存数据向量数据库向量检索向量数据训练后的知识(级)生成文本生成文本加工后的高质量数据集索引数据预处理中间阶段的过程数据训练过程数据(级)大小文件混合读写文本级,图片级小文件写型过程状态高速保存每节点故障时快速恢复越快越好海量训练集数据加载大文件小文件性能、容量可以按需扩容向量语义检索TXTJPGMP4ZIP=(1-备份间隔CKPT2 故障恢复时间MTTR平均无故障时间MTBF)*365*24(1-)44那么年均集群中断时间为:图 15:年均集群业务中断时间那么在每次故障后如何快速读取数据、尽快重新恢复训练就显得尤为重要。以 Checkpoint 的读写为例:每个 GPU 训练过程中会同步写一个 Checkpoint 分片,所有GPU 产生的 Checkpoint 最终拼装成一个完整的 Checkpoint。任何一个分片错误都将造成这个周期的训练无效。如下图所示,每个训练节点在T0时刻产生N个分片,组合成一个T0时刻完整的Checkpoint 0。如果这些 Checkpoint 分片保存在服务器本地盘中,那么所有节点会通过异步的方式同步至外置存储中。如果节点 2 发生故障,此时训练任务首先会删除该故障节点,切换至新的节点 N,但由于服务器件本地盘无法共享数据,所以只能从外置存储进行加载。由于是异步同步机制,只能加载到数个周期以前的 Checkpoint 分片,造成这几个周期的训练任务无效。另外,外置的对象存储往往性能很差,加载时间很长,在这个加载过程中,整个训练任务处于等待状态,1 个节点拖慢整个集群的恢复效率。阶段四:模型推理,用户输入查询问题时,为了提升大模型推理的准确性,避免其出现幻觉,企业一般都会利用私域的知识对大模型进行微调,并通过检索增强生成(RAG)技术提升回答问题的准备性。图 16:节点故障导致训练无效年均集群业务中断时间(小时)强一致高性能存储本地盘 容量型存储对象存储本地盘NPU 0NPU 8NPU nT0#2T1#2T0#1T1#1T0#1T0#2T2#2T2#1T1#1T0#1异步异步节点节点节点节点隔离NPU 0T0#0T1#0T2#0节点降级读取本地并行读取453、幻觉普遍存在于 AI 推理过程中导致 AI 幻觉的原因是多方面的:a)通用大模型的数据质量不高,规模不够大。如果使用不准确或者错误的数据进行训练,大模型就会产生 AI 幻觉。大模型训练所使用的数据可能包含错误信息,这些信息可能来源于数据收集过程中的错误、数据处理阶段的问题,或者是历史数据遗留问题。不准确的数据会直接影响模型的判断和预测能力,导致模型输出不可靠的结果。如果训练数据在不同群体、类别或场景中存在偏见,那么这种不公平会在模型的推理结果中被放大,进一步影响模型的公正性和普适性。例如,如果一个用于对象识别的模型主要是用浅色对象的数据训练的,它在深色对象上的识别效果可能会显著下降。随着时间推移,某些数据可能会失去现实意义,如果继续使用这些过时数据训练模型,会导致模型无法适应最新的应用场景和需求变化。当模型训练的数据规模不够大时,模型的泛化能力会受到限制,即模型对未见过的数据和新场景的适应性会较差。这通常表现为模型在训练集上表现优异,但在实际应用或测试集上性能明显下降。大规模数据集合应涵盖丰富的场景和多样性,以确保模型具备广泛的知识理解和处理能力。若数据规模虽大但多样性不足,同样会限制模型的应用范围和性能表现。b)通用大模型运用于行业中进行二次训练和微调时,行业数据不够多,数据质量不高,规模也不够大。当行业数据量有限时,通用大模型在进行二次训练时,模型容易在少量的训练数据上过度拟合,导致其在新的、未见过的数据上表现不佳,这种情况在机器学习和深度学习中十分常见,特别是在复杂的模型结构中。另外,小规模的数据集可能不足以涵盖行业中所有重要的场景和情况,这会导致模型的训练不具备足够的代表性,从而在实际应用中出现预测偏差。特定行业的数据分布可能存在明显的长尾效应,即大部分数据集中在少数类别,而其他类别数据稀少,这会造成模型在常见类别上表现良好,而在少数类别上表现较差。如果行业数据质量不高,包含噪声或者错误信息,也可能是标注不一致,甚至是关键信息缺失,这都将影响模型的判断准确度,进而影响最终的应用效果。c)推理缺少行业共识或者基础知识,缺少行业实时信息,时效性不够。大模型如果缺乏对行业共识和基础知识的理解,其推理过程可能无法深入到行业实际问题的核心,导致分析结果停留在表面。在行业决策过程中,模型由于缺乏必要的行业背景知识,可能无法提供有效的决策支持,影响决策的准确性和可靠性。行业特有的模式和规律需要大量专业知识支撑才能识别和学习,缺少这些知识的模型难以准确把握行业特性。另一方面,行业实时信息是模型预测未来趋势的重要依据,对于模型的时效性至关重要,如金融市场的价格变动、供应链管理的库存动态等,缺乏实时信息将导致模型输出过时,无法及时响应行业变化。463.1.2 建议1、采用存算分离架构,分别部署智能算力和存力,各自按需演进在 AI 大模型的部署中,将算力和存力分开部署的存算分离架构显得尤为重要。这种架构不仅能够有效地提升资源利用效率,还能为模型训练和推理提供强大的支持。存算分离使得计算和存储资源可以独立进行横向或纵向扩展,根据实际需求增减资源,避免过度投资和资源浪费。同时,在现阶段 AI 大模型发展中,改变粗放式堆算力模式,选择高性能、高可靠的专业外置存储,合理配置存储集群性能,从 AI 训练的全流程角度优化,降低训练任务中断,提升算力可用度。为了保障整个集群的负载均衡性,在需求高峰期,可以增加计算资源以处理更大的数据量,而无需担心存储瓶颈;反之,在数据密集型任务中,可以单独增强存储性能,提升整体处理速度。用户可以根据不同资源价格走势和自身业务特点,选择性价比最优资源组合,有效控制成本。图 17:存算分离架构帮助各自按需演进图 18:可靠的专业 AI 存储,提升集群可用度另一方面,AI 的发展也会伴随着算力、算法和数据的不断向前演进。存算分离架构允许计算资源和存储资源独立进行技术更新和升级。这意味着可以在不影响到另一方的情况下,采用最新的处理器或优化算法提升计算性能,或者采用新的存储技术提高数据读取速度。在 AI 领域,模型和算法的迭代速度非常快。存算分离架构可以快速适应这些变化。例如,当一个新的 AI 模型需要更多的计算资源时,可以迅速增加 GPU 或 TPU 节点,而无需担心存储瓶颈。由于计算和存储资源是独立的,因此更容易集成最新的技术进展,如新型神经网络架构或优化算法,只需在相应的计算或存储层面进行升级即可。存算分离架构还支持多租户环境,不同的用户可以共享计算和存储资源,同时又能保证资源之间的隔离和实验安全。数据存储独立于计算资源,可以更专注于数据的安全和备份,减少数据错误和丢失的风险。采用高性能(带宽、IOPS)、灵活扩展、可靠的专业 AI 存储,提升集群的可用度。服务器服务器训练服务器预处理服务器推理服务器大容量层存储(原始数据、温数据)高性能层存储外置AI存储集群(1)存算网协同/多协议互通/全局文件系统,加速训练数据集加载30分钟-1分钟(2)CKPT 读写保存,10分钟-秒级(3)快速并发加载CKPT/训练数据集,小时级-秒级数据加载周期性CKPT保存断点续训60%传统方案30%断点续训(4)对比本地盘/对象存储等非专业AI存储可靠性百倍提升472、数据基础设施具备横向扩展能力,性能随容量线性增长当前的 AI 大模型已经从处理单一类型的数据(如文本)发展到处理多种类型的数据(如文本、图像、音视频等)。这种多模态甚至全模态的发展路径将使得训练数据集的规模从 TB 级别上升至PB 乃至 EB 级别。AI 大模型的参数量也从千亿级别向万亿甚至十万亿规模迈进。这意味着所需要的计算资源和存储资源将同步增加,存储系统必须能够适应这一变化,提供足够的容量以及与之匹配的性能。存储需要支持 EB 级的容量扩展,并且在容量扩展的同时性能也要随容量线性增长。随着模型复杂性的增加,数据存取和预处理的复杂度也在上升。存储系统不仅要应对大规模数据的高速存取需求,还要支持复杂的数据处理流程,因此还需要支持 GPU、DPU、NPU 等横向扩展能力,用于 IO 处理的加速。AI 存储系统应该被设计为同时具备高性能层和大容量层,且对外呈现统一的命名空间。这种设计允许数据首次写入时根据策略放置于不同的层级,并可根据访问频度和时间等策略自动进行数据分级迁移,从而优化整体性能与容量利用率。为了应对 AI 全流程中的数据存储和访问需求,AI 存储系统需覆盖从数据获取、预处理、模型训练到模型部署的各个阶段。这不仅简化了数据流转过程,还减少了因数据迁移带来的时间和资源消耗。理想的存储架构应具备全对称式架构设计,无独立的元数据服务节点。随着存储节点数的增加,系统的总带宽和元数据访问能力能够实现线性增长,满足 AI 训练过程对高性能的需求。模型训练网络网络网络数据处理模型设计算力准备模型训推系统调优模型部署数据中心管理基础设施:机房、机柜、电源等能基大容量池数据保护池智能分级高性能池存储设备管理数据中心管理数据管理数据安全策略管理数据加工数据归集数据清洗数据增强知识库计算开发AI数据湖解决方案盘古网络运维智能客服智慧家庭智慧政务智慧医疗图 19:华为 AI 数据湖解决方案48图 20:数据协议不同,数据在存储间需要多次拷贝3、数据基础设施支持多协议,且协议之间互通在 AI 的数据预处理阶段,数据清洗、数据集成、数据转换和数据消减是四个关键步骤。然而,这些步骤往往需要耗费大量时间和资源。数据准备的过程不仅需要处理大量的数据,还需要确保数据的准确性和一致性。由于数据源的多样性和复杂性,处理过程中可能会遇到各种问题,如数据缺失、不一致和冗余等,这些都需要仔细处理和验证。因此,数据准备阶段通常是整个 AI 项目中最耗时的部分之一,例如 PB 级数据,预处理就会历时数月。数据归集对象存储数据预处理对象存储模型训练文件存储模型发布对象存储模型推理文件存储拷贝拷贝拷贝如图20所示,由于数据协议不同,数据在存储间需要多次拷贝。训练准备时涉及亿级文件拷贝,以天级到周级为单位,训练准备耗时长。比如华为的盘古小艺语音模型训练,原始数据 2PB,根据上游业务需求,数据清洗过程膨胀为30 PB,耗时长达几个月。AI 全流程涉及的工具链可能使用不同的协议。优秀的 AI 存储应该支持NAS、大数据、对象等多种协议,且各协议语义无损,确保与原生协议相同的生态兼容性。另外,在 AI 的各个阶段中,数据应当能够实现 0 拷贝和 0 格式转换。通过全局文件系统和多协议互通来提升数据准备的效率,避免数据在数据中心间、设备间的拷贝。并且数据处理和 AI 训练与推理各个阶段之间无需数据拷贝,加速大数据和 AI 平台的部署与并行处理,减少等待时间和性能损失。存储系统还要支持高性能动态混合负载,需要在数据导入、预处理、模型训练等阶段同时处理大小文件的读写操作,并在这些操作中保持高性能,特别是生成 Checkpoint 时的大量写入操作,如图21 所示。训练数据百级原始数据级原始数据向量数据大模型数据数据搬迁写请求显存显存显存解码格式转换缩放裁剪内存数据预处理模型训练数据搬迁读写请求数据搬迁(读写请求)数据搬迁写请求中间数据级内存显存本地盘外置存储数据搬迁读请求图 21:AI 的数据预处理阶段,PB 级数据搬迁影响全流程效率493.2 全闪存助力高效数据处理以全闪存提升数据处理效率,加速数据价值释放伴随 AI 大模型算力集群规模不断增长,算力等待数据所产生的算力空载问题日渐突出,亟需加速数据访问效率以提升算力利用率。与此同时,智能化升级也在加速数字化转型,进而产生更多的业务数据,增加了数字化基础设施处理数据的复杂度和压力。全闪存是数智化时代提升数据处理效率、满足业务需求的最优解,同时满足不断增长的数字化转型和日益深化的智能化变革;与此同时,配合向量 RAG、长上下文记忆存储等新兴数据范式,可以有效简化数据访问,实现以存强算,提升系统整体性能。3.2.1 趋势1、多源异构海量数据预处理日趋复杂,传统数据管理走向综合数据治理当今的数字环境中,社交媒体、物联网设备、在线交易、传感器网络等丰富的数据来源持续产生数据。在数据冗余与复杂度的累积之下,为了从海量无序的数据中加速汲取“营养”,企业需要剔除无效数据和噪音数据以寻找有效特征和价值信息,这需要更强大、更智能的数据处理技术来进行数据的存储、治理与分析。譬如,自动驾驶训练需要汇集各种稀有路况、极端天气下的设备运行状态,以覆盖未来不同场景下的行为预测与决策动作。仅 Waymo 一家公司的公开数据集就包括约 1000 辆测试车、共计10 万英里驾驶时长的采集数据,单辆测试车每天就会生成 20TB 以上的原始数据。在日益激烈的市场竞争之下,从测试验证到规模商用的周期被不断压缩,迫使车企更加快速地从所采集的海量数据中提炼出优质算法,如迁移学习、少样本学习和自监督学习,以快速提升模型的适应性,这就需要更高的数据读取效率。在医疗影像分析(如 CT、MRI、X-ray 等)中也是如此。一次全身 CT 扫描产生数千张图像,数据量可达 GB 级,但真正有诊断价值的决定性信息通常只占很小一部分,一个微小的肿瘤或异常组织可能只占据几张图像的极小区域,其余部分则是正常组织或无关区域,这对关键病灶识别与筛选的效率提出了更高的要求。另外,传统的数据存储主要关注数据的存取、管理和备份恢复,依赖于关系型数据库、文件系统等,以求确保数据的持久性和可访问性。然而今天,企业对数据的态度已经逐步走向数据的综合50治理,一方面强调对数据的全生命周期管理,如整合、清洗、标注、保护、合规处理与价值挖掘。这通常需要将来自不同系统、不同平台、不同设备的数据集成到统一的数据环境中,提供全面统一的数据视图和分析能力,支持数据的跨部门协作与跨地域共享。例如,零售商通过集成来自线上渠道和线下门店的数据(如销售数据、客户反馈、库存信息),提供全渠道的综合客户视图,优化库存管理和营销策略。2、更大规模的算力要求数据存储提供更高性能的数据访问深度学习模型中的神经网络层数与参数量越来越多,催生了越来越高的数据维度和量级。为了训练这些模型,传统的数据处理方法已难以满足需求,传统的关系型数据库与存储主要以索引和关系模型为基础,在处理高维度数据(如嵌入向量)和复杂查询时效率显著降低,比如面对 100 万条记录的响应时间高达 15 秒,而专为高维数据而设计的向量数据库仅需几十毫秒。向量数据允许从数百万个数据点中快速进行相似度计算和最近邻搜索(k-Nearest Neighbors,k-NN),这对于处理大量数据的任务(如图像检索、文本匹配)非常重要,能够大幅提升模型优化、数据处理的效率。例如,在电商营销推荐系统中,用户和商品以特征向量的格式来计算出相似度与关系,从而进行个性化推荐。3、数据实时处理逐渐成为多种业务的基础需求AI 技术逐步融入金融交易、自动驾驶、智能制造等行业,不仅需要传统数据分析能力来定期处理历史静态数据(如季度报表等),更需要实时处理动态的数据流,这需要系统必须能在毫秒级的时间内处理和分析数据,从而做出准确的决策,以帮助企业获得差异化优势。比如,纳斯达克股票交易所需要处理来自全球各地的市场数据,包括股票价格、交易量、订单信息等,每秒需处理数百万个订单和数据包并实时执行交易决策。流式数据处理框架的兴起,如 Apache Flink 和 Kafka Streams,要求数据存储能够更全面地融合各种实时数据格式、更快速地响应数据读写请求,让分析和训练更实时,支持 AI 系统的动态决策能力。3.2.2 建议1、构建以数据综合治理为目的的数据基础设施数据存储从传统的数据管理走向数据综合治理,一方面实现多源异构海量数据的快速归集和汇聚,另一方面通过专业的数据预处理工具链,从海量数据中高效提取所需的训练数据。综合治理一般分为三个层级。首先是设备管理层,在数据中心维度将所有数据存储设备管理起来,做到统一管理、统一运维。其次是数据管理层,借助全局文件系统,将企业分散在所有数据中心的数据都纳入到同一张数据地图,实现可视化管理和调度。最后是数据过滤层,只有将原始数据51过滤处理(也被称为预处理)后,所形成的高质量数据集才能被包括 AI 在内的多种分析平台所高效处理。2、通过全闪存存储和语义创新为算力高效提供数据全闪存存储可极大地缩短数据读取和写入的时间,能提供更高的 IOPS 和更低的响应时延,提升现代数据中心的性能,从而满足企业对实时数据处理和分析的极致要求,显著提高数据处理的效率。不论是面向关系型数据库的集中式架构,还是面向海量非结构化数据的分布式架构,都可以利用闪存的高性能、大容量、低功耗,在有限空间内提供惊人的性能密度和容量密度,从而满足大规模算力对数据的高速访问,支撑大规模算力发挥出其应有的作用。同时,创新的数据访问语义(内存语义、向量语义等)可以缩短算力和数据之间的路径,加速算力对数据的访问。3、统一数据基础设施平台,实现数据高效流转提供数据全生命周期的管理,从数据的生成、存储、处理到最终的归档和销毁,均能高效而可靠地进行。实现多协议融合互通,使得数据可以在不同的存储和计算环境中高效流转,无需进行繁琐的数据迁移操作。这种免迁移的数据流转方式,不仅节省了大量时间和资源,还确保了数据在传输过程中的安全性和完整性,进一步提升了数据处理的效率。523.3 存储内生安全成为基本需求3.3.1 趋势1、数据量增长而备份窗口有限,呼唤更强备份能力ChatGPT、盘古等 AI 大模型的蓬勃发展驱动了数字化领域对于数据价值挖掘能力的需求。各行各业利用 AI 技术挖掘大量结构化和非结构化数据中的隐藏模式和知识,揭示其中的关联、趋势和规律,为大模型提供丰富的训练材料,以产生正确的决策结果。这些数据价值挖掘诉求驱动了用户收集更多维度、更高频次的数据,使得数据量呈指数级增长,数据价值也比以往更高。面对数据的爆发式增长,数据备份迎来新的挑战。在数据短期留存场景中,在原有相同大小的备份时间窗口内,备份存储需要完成更多的高价值数据备份任务,这要求更先进的备份介质和架构,比如采用全闪化的备份介质、利用重删压缩算法备份更多数据、使用数据直通的备份一体机等。对于数据长期留存的场景,很多 AI 模型会调取历史的经验数据来进行二次训练,且由于场景不同,时常出现同一份数据多份数据拷贝的情况。这使得备份归档介质在解决数据留存期问题的基础上,不仅需要具有温冷数据自动分级的能力,还需要具备备份归档数据快速切换的能力。对此,业界厂商已经尝试使用备份归档融合的架构同时保存短长留存周期的数据,通过架构内部的自动分级,实现长期留存数据的快速恢复。2、AI 降低勒索攻击门槛,全面数据保护势在必行生成式 AI 出现以来,传统的安全自动化大大提升,但随之带来的是:勒索软件的变体迭代也更加频繁,网络攻击的门槛被大幅降低。有研究表明 WormGPT、FraudGPT 等工具的出现,生成式 AI 导致网络钓鱼邮件攻击增长 135%。据最新市场调研报告数据,生成式 AI 和云的广泛应用使得恶意机器人(Bad bots)暴涨,占互联网总流量的 73。日本一位没有任何专业 IT 知识的男子,仅使用生成式 AI 的问答功能,制造出能对电脑资料加密、索要赎金的勒索病毒。数据存储是数据安全的起跑线,数据安全不能输在起跑线上智能化升级过程中,一方面加速了数字化转型,产生更多高价值业务数据,另一方面降低了黑客门槛,让勒索攻击更加频繁。不管是产生了更多数据的数字化,还是持续成长的智能化,均需要在数据基础设施层面构建防治结合的数据安全体系,基于存储内生安全,从被动应对攻击走向主动全面防护。53同时,生成式 AI 还可优化勒索攻击的攻击方式,使攻击内容更加难以被辨别,如借助 Bot 自动化攻击手段,让攻击者可以更快速、准确地扫描漏洞或对网络发起攻击,大幅增加网络攻击的波及面和有效性。2023 年 11 月份,中国某黑客组织借助 ChatGPT 进行病毒程序优化、漏洞扫描、渗透获取许可权、植入勒索病毒等一系列攻击手段,造成某公司服务器全部挂死,并以此对受害公司进行勒索。3.3.2 建议1、建设全闪存备份存储,提升备份效率通过全闪介质实现同时间窗内更快的备份与恢复效率,利用重删压缩算法在同容量备份更多副本,恢复更多数据;通过数据直通的三合一架构(备份软件、备份服务器、备份存储)提升可靠性,避免传统服务器堆叠架构的链路闪断风险。针对长期留存和短期留存数据共存的场景,采用备份归档一体架构,将备份归档数据融合,实现数据的无损分级,备份归档数据的无缝切换。2、建设多层防勒索,从被动走向主动,防治结合通过存储、网络等基础设施的结合,采用多层次、端到端的有效防护,可提供抵御勒索软件的最佳防御。网络与存储多层检测及联动的数据保护,通过有效的攻击前预防、攻击时的精准检测及响应和攻击后快速恢复,使勒索攻击防护从被动响应向主动防御转变,帮助用户及时发现并拦截勒索攻击,保护数据不被非法加密和窃取,利用存储快速安全恢复数据,全方位构建防勒索安全防护体系。54图 22:大模型在各领域的业务场景示意图金融医疗政府与公共服务互联网制造电力油气教育交通运营商信贷评估自助问诊孪生城市创意协作工业质检故障诊断断层识别学科对话助手交通规划智能客服投资顾问电子病历重大事件预警AI搜索生产资源规划线路巡检储层预测课堂巩固助手事故预防电信反诈个性化推荐药效评估智能报告生成在线翻译工业机器人配网运行优化油藏甜点搜寻题目推荐助手拥堵治理费用稽查风险评估医疗助手智能会议助手营销文案预测性维护调度演算智慧工地语文作文助手货运监管网规网优编程助手基因测序政务办事助手教育培训知识图谱用电预测化工炼化英语写作助手枢纽管理数字人秘书合规管理疫情预警政务智能热线在线答疑供应链管理统计报表智能审核数学计算助手违停处理XR通话3.4 AI数据湖使能数据可视可管可用3.4.1 趋势1、数据逐渐成为 AI 的差异化竞争力“缺数据,不 AI”已经成为业界共识,数据的规模和质量决定了 AI 的高度。根据2023 Global Trends in AI Report调研统计,构建 AI 基础设施的主要挑战中,数据资产的有序有效管理超越数据安全与计算性能,成为 TOP 1 的挑战。未来 AI 大模型的好坏,20%由算法决定,80%由数据决定。在 DataLearner 大模型综合排行榜中,Meta 公司的 LLaMA3 大模型依靠70B 参数 15 万亿 Token 数量获得 82 分,远超 LLaMA2 大模型使用 70B 参数 2 万亿 Token数量获得的 68.9 分。企业尤其需要关注行业数据、日常运营数据等核心数据资产的原始积累,充足的数据、高质量的数据将帮助企业显著提升 AI 训练和推理的效果。建设 AI 数据湖底座,打破数据烟囱,实现数据可视可管可用伴随 AI 算力集群规模增长,海量多源异构数据的管理已经成为主要挑战之一。数据地图绘制、数据归集、数据预处理、海量数据分级管理和安全保护等工作,是 AI 大模型训练首当其冲的要务。为数智化转型建设 AI 数据湖底座,基于数据编织能力打破数据烟囱,才能实现海量多源异构数据存得下、流的动、用得好。552、数据资产管理成为企业开展 AI 实践的关键准备数据质量是数据资产管理的核心问题之一,在整个 AI 的作业流程中,准备好高质量的数据所耗费的时间占整个 AI 作业的 80%。多数企业面临数据来源众多,数据质量参差不齐,导致很难快速准备好训练 AI 模型所需的大量数据。关键数据资产入库、进行清单化管理是企业开展 AI 实践的关键准备。在大模型训练环节,高质量的 QA 问答对,可以显著改善 AI 大模型的模型精调效果。依赖人工生成问答对存在效率低、输出质量不稳定的问题,业界采用 Self-QA 和 Self-Instruct 技术,通过工具自动生成高质量的 QA 问答对语料。在大模型推理环节,检索增强生成技术(RAG,Retrieval-Augmented Generation)是提升大模型推理精度的关键措施。企业需要将数据资产进行向量化后,在向量数据库中进行保存,以便在 RAG 系统中进行高效的信息检索和生成。3、从训练走向推理,让 AI 进入千行万业已经成为业界共识随着大模型参数规模、上下文长度等技术演进,向量检索库容从千万级走向十亿级,检索时延和精度随之恶化,索引重建需要数周时间,影响大模型推理的商业使用。同时,上下文长度决定大模型的记忆推理能力,长序列推理能够使语义更丰富,生成内容更连贯、准确,超长序列成为大模型推理的主流技术选择。但长序列也面临诸多挑战,例如推理算力成为瓶颈,推理响应缓慢等。因此,无损成为人们在实现长序列过程中的焦点。为实现无损长序列,人们一方面注意到单服务器推理模式已经很难满足业务诉求,推理走向集群化成为必然选择,另一方面模拟人脑的快慢思考方式,基于强一致性的外置独立存储,构建多层 KV-Cache 等技术,帮助推理集群具备长记忆能力,在推理集群内以查代算、过程结果共享,减少推理算力压力。大模型推理的效率和成本,成为商业正循环的核心竞争力。4、善于应用 AI 的企业将从竞争中胜出AI 大模型应用从知识问答、文生图、文生视频等通用应用,演变为大模型 Copilot 辅助 Agent 自主决策的综合应用。能够熟练评估大模型能力,掌握大模型使用和优化方法,将极大提升企业的综合竞争力。比如金融行业,采用 AI 大模型技术可以帮助银行实现精准客户画像,提供更好的个性化推荐和定制化服务;通过人机交互打通智能客服、智能网点等流程,大幅提升终端用户体验。56图 24:医疗大模型工作流程患者医生挂号分诊候诊询问病史启用助手患者主诉检查病历生成内容语音微调病历完成电子病历病情检查接受检查诊前诊中诊后智能应用语音识别自动生成病历初稿自动记录修改反馈优化提升辅助病历质控检查质控效果自助问诊医疗大模型病历生成小样本知识库、质控知识库语义 编码正确数据飞轮迭代优化问诊调用根据描述拆解任务调用问诊导诊的语音识别模型环境、方言、说话人区分语音识别模型智能随访健康宣教随访反馈随访管理临床类科研类基于文献问答和检索,用于医学科研的医疗大模型自助问诊精准预约智能分诊病历生成辅助诊断病历质控随访管理健康宣教复诊打字比如医疗行业,采用 AI 大模型可以通过预约就诊、智能分诊等改善患者院前就医体验;在就诊过程中影像辅助诊疗、辅助病理诊断、精准医疗等,减少医生工作量,提升诊断效率和诊断质;诊后,AI 通过健康管理、知识问答等功能,协助患者进行健康管理,从被动治疗转向主动预防。图 23:PB 级非结构化数据将被激活应用类型客户服务投顾投研核保理赔营销风控数据分析研发内控合规当前小模型现状当前以“搜索”为核心应对用户疑问,重在快速解答大数据对投资者画像与风险洞察,专家规则自动推荐投资产品与组合实现数据资产以及非结构化数据洞见赋能,并利用知识图谱等技术,实现静态分析从依赖人工审核,向利用核赔、理算、控费等规则引擎实时 数据驱动营销,营销内容以模板库建设与积累为主,营销策略依赖专家规则专家规则 特征工程建模,应用于身份识别、贷前辅助审核等,全流程智能风控仍在探索基于数据自助分析平台,支撑业务人员通过可视化、拖拉拽的方式进行数据分析应用敏捷开发模式进行软件和产品研发,但满足研发敏捷性、业务合规性与客户个性化需求的探索仍处于初期普遍运用技术实现文件关键信息的抽取与分类归档,但与文件理解相关的任务需寻求更多技术支持大模型的探索结合多轮对话与探查能力,有效提升用户对话体验;但需完备的伦理、合规等内容审查策略基于财富管理专业知识进行预训练模型,建立围绕个体的智能投顾服务通过海量投资标的信息分析,实现对各类投研数据大模型预训练的分析以及时间序列数据的预测提升信息抽取、聚类与分析的实时效率,提升核保理赔用户体验,降低人力投入营销物料快速生成,支撑个性化营销;基于大模型的智能营销生成舆情报告供风控人员参考大模型将业务问题转化为数据分析问题,进一步转化为,从人人用数走向助理分析用数大模型协助制定符合行业标准的软件研发计划、代码编写与测试等,提升研发敏捷性;自动生成多样化产品定价与组合策略大模型形成对文件的整体认知与理解,大幅降低对人工审核的依赖,同时给出风险警示以及解决方案业务中端业务前端业务后端级非结构化数据将被激活57图 25:华为 AI 数据湖解决方案3.4.2 建议1、建立统一 AI 数据湖,实现数据资产可视、可管、可用更多的行业知识、企业知识的积累,是 AI 大模型迭代升级的前提。当前,企业大量的数据资产分散在分支机构、生产现场,这些数据种类繁多且可能来自不同地域的业务系统、不同合作单位或生态伙伴、甚至是不同厂商的公有云或私有云,形成一个个数据烟囱,制约着 AI 大模型应用的健康发展。企业需要建立统一的数据湖底座,实现全域数据资产的可视、可管、可用。首先是数据资产一张图,实现跨域、跨站点、跨厂家等复杂数据的全局可视、实时更新;其次是数据目录智能化,满足数据自动标签、聚合、检索、呈现,推进数据按内容、合规、热度等维度的全自动化分类分级;最后再结合算存网协同配合,让归集后的数据可以被高效访问和处理,让数据做到真正可用。只有解决跨组织、跨地域、跨应用的数据统一调度问题,为大模型注入源源不断的数据“燃料”,才能让企业的大模型更好地服务自身业务。万卡大集群全局统一命名空间数据湖解决方案智能分级性能层性能层级容量扩展GPUGPUGPUGPU58图 26:检索增强生成 RAG KV-Cache 技术架构图4、利用容灾、备份、防勒索等手段,加强数据分类分级保护大模型诞生于海量数据,这些数据囊括用户的个人信息、企业的私域生产数据等敏感信息。伴随着大模型技术的迅猛发展,一系列数据安全风险也开始浮现。样本数据投毒攻击可能使得模型产构建三层缓存机制,大容量层可保留长序列和多轮对话全量,配合以查代算算法解决记忆缺失导致的交互不连贯、无法处理复杂高级工作采用外挂向量知识库把企业海量私域数据处理成多维向量,给大模型输送最新、最全面的信息解决大模型时效性问题,同时拥有长期记忆检索工作记忆问题召回历史记忆缓存输出解析器目标大模型阶段一:预处理知识补充提示工程行业知识新闻生成张量答案历史问答公共前缀高频文档书籍特征记忆公司披露信息情景记忆百万倍放大问题相似问题 知识阶段二:推理时历史记忆召回读取回写更新阶段三:后处理问题解答准备阶段模型部署知识归集知识清洗知识生成记忆生成大模型工作流KV-CachexPUDRAM2、面向训练,选择专业 AI 存储,提升算力利用率,最大化 AI 投资效率大模型的 Scaling Law 法则持续有效,其技术复杂度正变得越来越高,模型参数量从千亿级到万亿级,集群规模从千卡级到万卡级,训练数据集从TB级到EB级。这意味着更多的数据要处理、更大参数的大模型、更频繁的再训练和调优。不符合要求的 AI 基础设施将会无形中为企业的智能化升级之路带来额外成本。在业界,NVIDIA 与专业存储厂商合作,基于标准文件系统 Share Everything 存储架构,共同打造高性能 AI 训练集群。橡树岭国家实验室也在其下一代智算中心技术建议书中提出,只有 AI-Optimized Storage 才能满足大模型在处理 EB 级数据量时对性能、可靠性的要求。企业需要科学规划智算底座,选择面向 AI 负载优化的专用 AI 存储,从粗放式“堆算力”到“挖潜力”提升集群效率。合理配置存储集群性能,选择高性能、高可靠的外置 AI 存储,可提升集群可用度 10%以上,减少算力等数据造成投资浪费。3、面向推理,采用 RAG、长序列等技术,提升大模型推理性能和准确度企业知识数据日新月异,大模型的周期性训练很难保证时效性、以及在专业知识领域的准确性。从建设成本和应用效果考虑,企业应用 AI 改造方案已逐渐收敛到增强型检索(RAG 技术),通过大模型在生成结果时从数据库中检索出相关知识,生成有参考信息的回答,从而提高推理结果的可信度。在推理阶段,多轮对话、长序列上下文依赖大模型的记忆能力,通过智算处理器 xPU、内存 DRAM、外置存储 SSD 的三层缓存机制,可以将大模型的记忆周期从小时级延展至数年,提升推理的准确度,同时在类似问题的推理需求中通过查询历史结果替代推理来节省算力开销。59生误导性结果,严重影响决策的准确性。模型文件被窃取将导致数亿元投资的成果化为泡影。训练数据被勒索病毒加密则可能导致大模型被迫中断训练,影响企业生产安全。企业需要重视数据资产的分类分级管理,确定数据的拥有者和使用者,确保数据的合规隐私,从管理、应用、网络到存储,构建全方位的安全解决方案。其中,作为数据的最终载体,存储可提供包括存储软硬件系统安全、数据容灾与备份、防勒索保护以及安全管理在内的一整套内生安全解决方案,为数据构筑最后一道安全防线。5、增加 AI 人才培养机制,积极开展 AI 大模型实践AI 大模型应用正在从知识问答、文生图、文生视频等应用,走向以大模型 Copilot 辅助 Agent 自主决策的复杂应用,从企业辅助生产走向核心生产,成为企业提升运营效率的关键抓手。企业应该从顶层设计、组织架构、人才和团队建设等,全面评估生成式AI应用的能力预备水平。例如,在顶层设计上,企业是否建立了评估和跟踪开源AI大模型、数据和培训模型使用的指导方法,是否研究了业界 AI 基础设施最佳实践案例。在组织架构上,是否设立了相关的数据安全、隐私及伦理的专属团队等。在人才和团队建设上,企业应该培养更多具备对 AI 大模型、尤其是 AI 大模型存储方面拥有深入理解、实战经验的专业人员,构建 AI 大模型的人才培养体系。603.5 训/推一体机加速AI大模型落地行业应用3.5.1 趋势1、数据质量参差不齐,数据准备时间长企业大量的原始数据,清洗成可用的数据集,耗时又复杂。首先,收集大量有代表性和高质量的数据并非易事,可能需要从多个来源获取并整合。其次,清洗数据以去除噪声、错误和重复信息需要耗费大量时间和精力。再者,对数据进行准确的标注以满足模型训练的需求,通常需要专业人员参与,这一过程既耗时又要求高度的准确性。另外,在数据准备过程中,由于各部门的参与度不一,数据质量难以统一,进而影响到大模型的使用效果。2、硬件选型难、交付周期长,运维成本高大模型应用需要选择适合的计算、存储、网络等硬件设施。然而硬件种类繁多,性能参数复杂,导致硬件选型难;同时硬件组装、调试、测试、上线等环节复杂,部署上线后的监控、维护和升级等环节繁琐且困难。3、大模型幻觉严重,推理准确度无法满足业务需求大模型在面对复杂场景时,输出结果失真,出现大模型幻觉,不仅降低了模型的准确性,在重要的决策场景中,基于错误的信息可能导致严重的后果。在学术研究和知识传播领域,不准确的内容可能误导读者和研究者,甚至可能引发道德和法律风险。4、数据安全无保证,模型等核心数据资产易泄露行业高价值数据是企业的核心资产,数据安全性要求高;对于模型厂商来说,行业模型是使能企业模型应用的核心组件,也同样需要保证模型的安全可靠,要避免模型泄露风险。AI 训练数据和模型的安全挑战包括以下几个方面:助力 AI 大模型快速落地行业应用,训/推一体机使能千行万业数智化AI 发展如火如荼,各行业均在尝试将 AI 落地到行业应用中,却面临基础设施部署、大模型选择、二次训练和监督微调等方面的困难。训/推一体机通过将基础设施、工具软件等进行预集成,并与 AI 大模型供应商协同,可有效助力 AI 快速落地行业应用,使能千行万业数智化。61a)数据隐私:训练数据可能包含敏感信息,如个人身份信息、财务数据等。b)模型安全:攻击者可能会通过篡改模型参数、注入恶意代码等方式来攻击模型,从而影响模型的输出结果。c)对抗攻击:攻击者可能会通过对抗样本来欺骗模型,使其产生错误的输出结果。d)模型解释性:AI 模型的黑盒特性使得其输出结果难以解释,这可能会导致模型的不可信度和不可靠性。e)模型共享:在模型共享过程中,可能会泄露模型的敏感信息,如模型参数、训练数据等。f)模型部署:在模型部署过程中,可能会面临网络攻击、恶意软件注入等安全威胁,从而影响模型的安全性和可靠性。5、投资回报挑战大AI 大模型目前仍处在探索期,意味着在软硬件的投资不一定可以按时获得预期的回报,可能导致运营成本超预算执行。大规模的数据处理、图形渲染、深度学习训练等任务中,如果 GPU 利用率过低,会显著降低工作效率,延长任务完成时间。对于企业或研究机构而言,会阻碍创新和发展的速度,影响产品的推出或科研成果的产出。623.5.2 建议1、通过预集成数据预处理工具链,快速生成高质量训练数据集高质量的数据是 AI 实现精准推理的基石。AI 专业存储供应商一般会提供数据准备工具链组件,通常提供数十种高性能 AI 算子,能够对多种格式的数据进行自动化清洗(包括解析、过滤、去重、替换等),从而帮助企业用户快速将原始数据转化成高价值的数据集。2、部署全栈预集成训/推一体机用于大模型行业落地训/推超融合一体机通过将计算、存储、网络等硬件预集成、预调优,开箱即用,省去了企业繁琐的选型、组装和调试过程,大大节省了时间和人力成本(包括华为在内的诸多厂商推出训/推一体机,预集成成 GPU/NPU 服务器,网络,以及专业存储设备)。同时,通过预置的全栈设备管理软件,对计算、存储、网络、和容器平台等基础硬件和软件平台进行管理运维,大幅降低 IT人员的日常运维负担,使其可以专注于 AI 业务的实现,而无需为基础设施的搭建和运维感到担忧。很多训/推一体机可以提供高性能机密执行环境,以及数据和模型的机密防护措施。配合数据保护和防勒索,可以对企业用户的关键数据进行充分保护,避免数据资产泄露或者受损。另外,大多数训/推一体机还支持横向扩展,即将多个训/推一体机组合在一起,形成一个更大的训/推一体化平台。这种能力可以帮助众多企业客户按需部署大模型应用,分散投资周期,减小投资回报风险和压力。3、利用 RAG 知识库,消除幻觉实现精准推理通过将高质量数据集嵌入到训/推一体机提供知识库存储中,每当用户提出问题,内嵌的RAG 工程将快速从知识库中检索出预置的知识,帮助推理过程聚焦在正确的上下文环境中,有效解决幻觉问题。另外,通过实时更新知识库,大模型的回答也将具备时效性。内置的模型评估组件可对模型推理的准确度进行评估和追溯,最终实现精准推理。图 27:RAG 知识库工作流程私有数据数据处理工具链框架知识入库AI存储(知识库存储)Embedding模型AI应用大模型向量索引问题上下文问题答案631Government AI Readiness Index 2023https:/ 年中国企业勒索病毒攻击态势分析报告https:/ 电信 AI 产业发展白皮书https:/ 氪研究院|2024 年中国 AI 制造产业研究报告https:/ AI“进军”制造业:应用范式、趋势与问题https:/www.tisi.org/2703410如何利用生成式 AI 优化制造企业的生产流程?https:/ 赋能制造业专题报告:从 9 个细分赛道谈起https:/ Artificial Intelligence:A Surveyhttps:/arxiv.org/pdf/2303.1015815AI 大模型成新赛点!银行业金融科技竞争加剧https:/ AI 大模型应用 ChatABChttps:/ AI,已实现广泛应用https:/ AI 创新融合应用城市排名及展望https:/ Financial Stability Reporthttps:/www.imf.org/en/Publications/GFSR/Issues/2024/04/16/global-financial-stability-report-april-2024?cid=bl-com-SM2024-GFSREA2024001232023 Global Trends in AI Reporthttps:/www.weka.io/wp-content/uploads/files/resources/2023/08/2023-Global-Trends-AI-Report.pdf24大模型综合能力评测对比表https:/ Request for Proposalshttps:/www.olcf.ornl.gov/draft-olcf-6-technical-requirements/26上海交大超算平台用户手册https:/ AI is Creating Explosive Demand for Training Datahttps:/www.unite.ai/how-ai-is-creating-explosive-demand-for-training-data/29全球数据中心用电量到 2026 年或翻番https:/ 借力 AI 少走冤枉路https:/ Hurts per Second How We Got Access to Enough Solar Power to Run the United Stateshttps:/ email cyber attacks increase after rise of ChatGPThttps:/ Bots Account for 73%of Internet Traffic:Analysishttps:/ 755 28780808邮编:免责声明本文档可能含有预测信息,包括但不限于有关未来的财务、运营、产品系列、新技术等信息。由于实践中存在很多不确定因素,可能导致实际结果与预测信息有很大的差别。因此,本文档信息仅供参考,不构成任何要约或承诺,华为不对您在本文档基础上做出的任何行为承担责任。华为可能不经通知修改上述信息,恕不另行通知。版权所有 华为技术有限公司 2024。保留一切权利。非经华为技术有限公司书面同意,任何单位和个人不得擅自摘抄、复制本手册内容的部分或全部,并不得以任何形式传播。商标声明 ,是华为技术有限公司商标或者注册商标,在本手册中以及本手册描述的产品中,出现的其它商标,产品名称,服务名称以及公司名称,由其各自的所有人拥有。顾问:周跃峰指导委员会:肖德刚、庞鑫、杨柏梁、方卫峰、樊杰、王振、申珅、孙睿、薛寒、黄亭、罗燚、仇东华 主编:龚涛、裘方佳编委:华娴、韩茂、庞良硕、陈洋、高覃、苗永刚、蒋华虎、陈振华、冯真、李文秀、刘玮琦、陈辉、蓝国平、陈琳、余乐清、曾帆、袁燕龙、曹晓辉、范珏 (以上排名不分先后)

    发布时间2024-09-19 67页 推荐指数推荐指数推荐指数推荐指数推荐指数5星级
  • 全球计算联盟:全球计算产业发展白皮书(2023版)(85页).pdf

    指导委员会:梅宏、肖然、刘仁辰、陈大纪、窦强、何征宇编写组成员:任翔、赵鑫、钟伟军、李雪莲、李卫忠、胡晓晶、周嘉颖、周绍梁、祝秀秀、王骏超、张伟、何义、曾审聪、赵明惠、王枫、赵世凯、刘魁、陈祖欢、杨统凯、夏俊鸾、徐明灼、郭雅琳、崔安颀、杜伟、杜玉平、朱敏健、罗云、周庆飞、邓学明、曹力、夏天宇、李洋、付佳琪、黄耿、吴灵熙、詹年科、刘一飞、刘玉杰、杨敦峰、白玥、孙烨、季福胜、王鑫、鲍全宇、张楠、徐爽、吕磊、张凯迪、姚秉、周杰、张宇、隋成龙、许刚、任彤、吴平、王丽华、张善伟、陈争胜、张定春、陈新、宋康华、谢津、白岩、戴权、宋梦、戴俊杰、刘宽、李昆、区俊彦、李鸿雁、鞠可一指导单位:中国电子技术标准化研究院华为技术有限公司安谋科技(中国)有限公司飞腾信息技术有限公司蚂蚁科技集团股份有限公司百信信息技术有限公司麒麟软件有限公司云宏信息科技股份有限公司中国长城科技集团股份有限公司NVIDIA技术服务(北京)有限公司阿里巴巴集团控股有限公司百度(中国)有限公司北京宝兰德软件股份有限公司北京东方通科技股份有限公司北京海量数据技术股份有限公司北京神州数码云计算有限公司北京神州数码云科信息技术有限公司北京万里开源软件有限公司北京星辰天合科技股份有限公司此芯科技(上海)有限公司杭州鸿钧微电子科技有限公司华云数据控股集团有限公司昆仑太科(北京)技术股份有限公司南京百敖软件有限公司深圳市杉岩数据技术有限公司深圳市遇贤微电子有限公司四川华鲲振宇智能科技有限责任公司苏州超集信息科技有限公司统信软件技术有限公司武汉长江计算科技有限公司星环信息科技(上海)股份有限公司编写单位:版权声明本白皮书版权属于绿色计算产业联盟。使用说明:未经绿色计算产业联盟事先的书面授权,不得以任何方式复制、抄袭、影印、翻泽本文档的任何部分。凡转载或引用本文的观点、数据,请注明“来源:绿色计算产业联盟”。引 言 第一章 绿色计算产业发展趋势1.1产业空间 1.2产业趋势 1.3技术趋势 第二章 绿色计算处理器和固件生态2.1综述 2.2处理器代表企业 2.3固件代表企业 第三章 绿色计算整机生态3.1综述 3.2代表企业 第四章 绿色计算软件生态4.1综述 4.2操作系统 4.3数据库 4.4虚拟化和容器 4.5分布式存储 4.6大数据 4.7中间件 4.8高性能计算 展 望1111213142223233539404047484851596265707578目 录绿色计算产业发展白皮书2023版是绿色计算产业联盟(GCC)继绿色计算产业发展白皮书2021、2022版之后,第三次发布的绿色计算产业发展白皮书。2023版白皮书聚焦今年绿色计算产业的新发展新变化,梳理了绿色计算的最新产业空间、数据中心的最新需求以及处理器技术新的发展趋势,并汇集了处理器、固件、整机、基础软件和行业应用等软硬件生态的优秀应用案例,为行业和用户提供参考和指引。当前,绿色算力产业发展已驶入快车道,不断涌现出新技术、新业态、新模式,产业实现新突破正当时。白皮书2023版总结归纳了以下八大核心趋势:CONTENTS引 言INTRODUCTION习近平主席在2020年向世界庄严承诺:“我们愿承担与中国发展水平相称的国际责任,为全球环境治理贡献力量。力争于2030年前达到峰值,努力争取2060年前实现碳中和。”2023年2月27日,中共中央、国务院印发了数字中国建设整体布局规划,按照“2522”的整体框架进行布局,在数字中国建设这场伟大的变革中,算力是核心的驱动力,算力规模年均增长率保持在30%左右,预计到 2025年,我国数据中心耗电量预将增长至4000亿千瓦时,占全国用电量比重高达5.8%,在当前碳中和目标下,数据中心能耗转型迫在眉睫。各部委纷纷出台多项政策落实“双碳”战略,其中就包括对数据中心绿色、低碳、集约、高效提出具体要求,持续推进绿色数字中心建设,加快推进数据中心节能改造。自2022年2月,“东数西算”工程正式全面启动以来,在京津冀、长三角、粤港澳大湾区、成渝、内蒙古、贵州、甘肃、宁夏等8地逐步布局建设国家算力枢纽节点,并规划设立10个国家数据中心集群,加快构建我国新型绿色算力网络体系。2023年3月,新一代AI语言大模型GPT-4发布,全球巨头纷纷入局,中国市场也掀起“百模大战”,海量数据集、千亿级参数的AI大模型分布式训练,对绿色算力提出更高的需求。加快建设绿色数据中心,正成为保障资源及环境可持续发展的基本要求,打造绿色智算数字化底座,已从可选项变为必选项。趋势1:落实“双碳”战略,绿色计算从可选项走向必选项绿色计算产业发展白皮书(2023版)趋势2:Arm架构能效比优势显著,为世界提供绿色选项目前,Arm 架构处理器的性能已经赶上甚至在某些领域超越 x86 架构处理器,同时依然能保持较低的功耗,能效比优势十分显著,综合成本较传统服务器有着明显的降低,为数据中心带来绿色新选择。今年2月,国际学术期刊Nucleic Acids Research一篇被评价为“突破性进展”的论文:华中农业大学动物科技学院农业动物遗传育种与繁殖教育部重点实验室主任赵书红教授团队开发的基因组育种大数据计算新工具HIBLUP(天权),首创基于V矩阵的“HE PCG”策略,并针对鲲鹏算力底座链接了鲲鹏数学库KML,实现了在1小时完成方差组分估计及育种值求解,而其他软件需要长达数周甚至数月的时间。阿里云 g6r 是基于 Ampere Altra 云原生处理器,面向容器、微服务、DevOps 等云原生场景的云实例产品。7月,智臾科技宣布完成 DolphinDB 系统在g6r 云实例上的部署,性价比相对传统架构高 40%以上。绿色计算产业发展白皮书(2023版)Arm架构在应用中的能效比的优势,赢得市场越来越多的正向反馈,第三方调研公司给出了整体的数据。Counterpoint 今年2月发布的2022年全球服务器CPU市场报告显示,英特尔数据中心CPU部门收入与2021年相比下滑16%,AMD的数据中心产品组合虽然同比增长62%,但主要侵蚀的是英特尔的份额,两家合计份额下降至90.6%。而基于Arm 的 CPU 收入首次超过 10 亿美元,其中亚马逊云科技(AWS)市场份额为3.16%,相比2021年的1.82%提升了近一倍,紧随其后的Ampere Computing市场份额为1.52%。图表 1云实例对比图表 2全球数据中心CPU市场份额除了在Counterpoint统计中重点提及的亚马逊云科技和Ampere以外,绿色计算产业联盟会员单位英伟达、华为、飞腾、阿里巴巴、百度、遇贤微电子、鸿钧微电子等在Arm 架构产品方面的布局也群星闪耀,实力不容小觑,可以预见,Arm 架构服务器芯片市占率的持续增长已经成为大趋势。今年一季度,Gartner数据显示全球Arm服务器出货量占比达到了约7%,IDC数据则显示同期全球Arm服务器出货量占比约为10%。Arm架构正以能效比的显著优势,为世界提供绿色选项。0203习近平主席在2020年向世界庄严承诺:“我们愿承担与中国发展水平相称的国际责任,为全球环境治理贡献力量。力争于2030年前达到峰值,努力争取2060年前实现碳中和。”2023年2月27日,中共中央、国务院印发了数字中国建设整体布局规划,按照“2522”的整体框架进行布局,在数字中国建设这场伟大的变革中,算力是核心的驱动力,算力规模年均增长率保持在30%左右,预计到 2025年,我国数据中心耗电量预将增长至4000亿千瓦时,占全国用电量比重高达5.8%,在当前碳中和目标下,数据中心能耗转型迫在眉睫。各部委纷纷出台多项政策落实“双碳”战略,其中就包括对数据中心绿色、低碳、集约、高效提出具体要求,持续推进绿色数字中心建设,加快推进数据中心节能改造。自2022年2月,“东数西算”工程正式全面启动以来,在京津冀、长三角、粤港澳大湾区、成渝、内蒙古、贵州、甘肃、宁夏等8地逐步布局建设国家算力枢纽节点,并规划设立10个国家数据中心集群,加快构建我国新型绿色算力网络体系。2023年3月,新一代AI语言大模型GPT-4发布,全球巨头纷纷入局,中国市场也掀起“百模大战”,海量数据集、千亿级参数的AI大模型分布式训练,对绿色算力提出更高的需求。加快建设绿色数据中心,正成为保障资源及环境可持续发展的基本要求,打造绿色智算数字化底座,已从可选项变为必选项。趋势1:落实“双碳”战略,绿色计算从可选项走向必选项绿色计算产业发展白皮书(2023版)趋势2:Arm架构能效比优势显著,为世界提供绿色选项目前,Arm 架构处理器的性能已经赶上甚至在某些领域超越 x86 架构处理器,同时依然能保持较低的功耗,能效比优势十分显著,综合成本较传统服务器有着明显的降低,为数据中心带来绿色新选择。今年2月,国际学术期刊Nucleic Acids Research一篇被评价为“突破性进展”的论文:华中农业大学动物科技学院农业动物遗传育种与繁殖教育部重点实验室主任赵书红教授团队开发的基因组育种大数据计算新工具HIBLUP(天权),首创基于V矩阵的“HE PCG”策略,并针对鲲鹏算力底座链接了鲲鹏数学库KML,实现了在1小时完成方差组分估计及育种值求解,而其他软件需要长达数周甚至数月的时间。阿里云 g6r 是基于 Ampere Altra 云原生处理器,面向容器、微服务、DevOps 等云原生场景的云实例产品。7月,智臾科技宣布完成 DolphinDB 系统在g6r 云实例上的部署,性价比相对传统架构高 40%以上。绿色计算产业发展白皮书(2023版)Arm架构在应用中的能效比的优势,赢得市场越来越多的正向反馈,第三方调研公司给出了整体的数据。Counterpoint 今年2月发布的2022年全球服务器CPU市场报告显示,英特尔数据中心CPU部门收入与2021年相比下滑16%,AMD的数据中心产品组合虽然同比增长62%,但主要侵蚀的是英特尔的份额,两家合计份额下降至90.6%。而基于Arm 的 CPU 收入首次超过 10 亿美元,其中亚马逊云科技(AWS)市场份额为3.16%,相比2021年的1.82%提升了近一倍,紧随其后的Ampere Computing市场份额为1.52%。图表 1云实例对比图表 2全球数据中心CPU市场份额除了在Counterpoint统计中重点提及的亚马逊云科技和Ampere以外,绿色计算产业联盟会员单位英伟达、华为、飞腾、阿里巴巴、百度、遇贤微电子、鸿钧微电子等在Arm 架构产品方面的布局也群星闪耀,实力不容小觑,可以预见,Arm 架构服务器芯片市占率的持续增长已经成为大趋势。今年一季度,Gartner数据显示全球Arm服务器出货量占比达到了约7%,IDC数据则显示同期全球Arm服务器出货量占比约为10%。Arm架构正以能效比的显著优势,为世界提供绿色选项。0203趋势3:算力应用环节的计算绿色化,将成为未来行业发展的重要一环我国高度重视算力基础设施建设,工信部发布新型数据中心发展三年行动计划(20212023年),积极推动数据中心向集约化、规模化、绿色化方向发展。但目前,行业内对于绿色数据中心的研究和实践多停留在电力生产/能源使用、算力供给环节,强调从能源使用效率角度优化数据中心的选址、设计、采购、管理,从计算资源角度优化IT基础设施的设计、建设、使用和回收过程,从而减少对于环境的影响。当前行业重点关注数据中心电能利用效率PUE等指标,并积极应用高效IT设备、高效制冷方案、高效供配电系统、先进储能装置等技术解决方案,但伴随着产业蓬勃发展,PUE值优化空间在逐渐缩小。与此同时,行业对于通过数据中心所产生算力的利用效率的关注度尚且不够,存在较大优化空间。麦肯锡早期曾做过一个调研,商用和企业数据中心的服务器很少超过6%的利用率,而高达30%的服务器处于“昏睡”状态,一直在耗费电力但没有提供有用的信息服务。面向算力应用环节的计算,起到将硬件算力有效转换成业务价值,直接赋能于上层场景的作用,因此,实现该环节的高效与节能,是实现端到端绿色算力的重要一环,也是下一阶段产学研应共同探索的潜在蓝海。趋势4:算力多样性特征广为显现,一云多芯成为云服务标配大规模资源池进行管理与调度,具备高性能分布式云存储、高性能大规模云网络、高性能计算异构算力管理能力,目前已应用于政务、制造、金融等多个行业,落地规模应用600余个,取得了显著的经济和社会效益;浪潮云海OS完成了业界首个“一云多芯”SPEC Cloud基准测试,以X86、Arm、Power等不同架构处理器为基础的产业生态框架已经就绪;易捷行云EasyStack“一云多芯”产品级云产品,支持但不限于X86、Arm等不同CPU架构服务器在一个云内混合部署,解决行业客户对多元算力的需求,同时控制行业公有云运营成本。很显然,在算力供给侧,旨在纳管不同技术路线、不同技术栈,满足应用多样性需求,一云多芯已成为主流云服务商的标配。当前,数据和应用的多样性驱动不同计算架构齐头并进。Arm、RISC-V等通用计算技术路线全面迸发,GPU、NPU、DPU等异构智算平台繁荣发展,算力的多样性特征已广为显现。今年4月,为推动多样性算力技术和产业发展,中国移动、华为、清华大学、中国电信、中国联通等11家初创成员共同发起成立多样性算力产业及标准推进委员会,汇聚算力产业上下游组织涵盖了芯片IP,运营商,设备商,整机、部件,基础软件厂家和科研院所。7月,一云多芯应用创新生态社区宣布成立。中移信息、浪潮云、天翼云、阿里云、中国电子云、联通云、华为云、云轴科技ZStack、华夏银行、农业银行等首批成员参与了启动仪式。阿里云自研的飞天云计算操作系统可同时支持x86、Arm、RISC-V 等多种芯片架构,用一套云端操作系统来管理不同架构的服务器硬件,可将不同架构处理器的运算能力标准化,从根本上解决不同类型处理器共存所带来的多云管理问题;云轴科技ZStack 信创云平台作为唯一兼容x86、Arm、LoongArch和Alpha四种架构、八类平台环境的云平台,是首评云平台中支持架构和平台类别最全的云平台;天翼云一云多芯分布式云操作系统主要面向国产化 CPU芯片架构,针对超趋势5:从2 8到更广泛商业领域,绿色计算越来越受到市场青睐从能用到好用,从2 8核心行业到更广泛的商业领域,基于Arm架构的绿色计算产品在需求侧正越来越受到行业用户的欢迎。尤其是2023年8月,中信银行通用基础设施集成商入围采购项目入围通知书发布,根据招标公告,该项目采购的服务器产品预估采购金额为44.21亿元人民币,其中Arm 芯片服务器为34.01亿元,占比高达76.9%,表明Arm 芯片服务器综合能力不断赢得市场与客户的信赖,市场竞争力持续提升。鲲鹏处理器已呈现“2 8 N”的发展态势,目前已有11家合作伙伴推出基于鲲鹏主板的服务器产品,2022年整机伙伴发货占比达95%,已有4500多个合作伙伴,13500多个解决方案通过鲲鹏兼容性测试认证,在金融、电力、政府、电信等行业全面落地。事实上,飞腾在金融、电信、电力等各个行业所取得的成绩与鲲鹏相比也不逞多让。在金融领域,飞腾CPU已支撑某国有银行OA办公系统上线运行,基于飞腾平台的服务器类、终端类和金融机具类产品成功入围六大行,同时也在金融主管机构实现全入围,终端入围 160多家金融机构,服务器入围80多家金融机构。飞腾产品实现了金融信创单位全覆盖,包含政策性银行、股份制银行、城商银行、保险、证券等其它金融机构。飞腾还积极布局电信市场,与三大运营商建立了全面的合作通道并实现规模化应用。搭载飞腾CPU的服务器在3大运营商的云资源池中得到广泛部署,服务了大量国产化项目;基于飞腾CPU的终端也在不同运营商的多个地市营业厅陆续落地;基于飞腾CPU,已有多家生态伙伴推出了“云电脑”产品,正在与运营商开展相关的适配测试工作。5G方面,飞腾已联合京信等头部生态伙伴推出满足运营商技术标准和设备资质的5G云小站、5G核心网和边缘计算三大系列产品,飞腾5G云小站更是通过中国移动测试的唯一信创方案。0405绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)趋势3:算力应用环节的计算绿色化,将成为未来行业发展的重要一环我国高度重视算力基础设施建设,工信部发布新型数据中心发展三年行动计划(20212023年),积极推动数据中心向集约化、规模化、绿色化方向发展。但目前,行业内对于绿色数据中心的研究和实践多停留在电力生产/能源使用、算力供给环节,强调从能源使用效率角度优化数据中心的选址、设计、采购、管理,从计算资源角度优化IT基础设施的设计、建设、使用和回收过程,从而减少对于环境的影响。当前行业重点关注数据中心电能利用效率PUE等指标,并积极应用高效IT设备、高效制冷方案、高效供配电系统、先进储能装置等技术解决方案,但伴随着产业蓬勃发展,PUE值优化空间在逐渐缩小。与此同时,行业对于通过数据中心所产生算力的利用效率的关注度尚且不够,存在较大优化空间。麦肯锡早期曾做过一个调研,商用和企业数据中心的服务器很少超过6%的利用率,而高达30%的服务器处于“昏睡”状态,一直在耗费电力但没有提供有用的信息服务。面向算力应用环节的计算,起到将硬件算力有效转换成业务价值,直接赋能于上层场景的作用,因此,实现该环节的高效与节能,是实现端到端绿色算力的重要一环,也是下一阶段产学研应共同探索的潜在蓝海。趋势4:算力多样性特征广为显现,一云多芯成为云服务标配大规模资源池进行管理与调度,具备高性能分布式云存储、高性能大规模云网络、高性能计算异构算力管理能力,目前已应用于政务、制造、金融等多个行业,落地规模应用600余个,取得了显著的经济和社会效益;浪潮云海OS完成了业界首个“一云多芯”SPEC Cloud基准测试,以X86、Arm、Power等不同架构处理器为基础的产业生态框架已经就绪;易捷行云EasyStack“一云多芯”产品级云产品,支持但不限于X86、Arm等不同CPU架构服务器在一个云内混合部署,解决行业客户对多元算力的需求,同时控制行业公有云运营成本。很显然,在算力供给侧,旨在纳管不同技术路线、不同技术栈,满足应用多样性需求,一云多芯已成为主流云服务商的标配。当前,数据和应用的多样性驱动不同计算架构齐头并进。Arm、RISC-V等通用计算技术路线全面迸发,GPU、NPU、DPU等异构智算平台繁荣发展,算力的多样性特征已广为显现。今年4月,为推动多样性算力技术和产业发展,中国移动、华为、清华大学、中国电信、中国联通等11家初创成员共同发起成立多样性算力产业及标准推进委员会,汇聚算力产业上下游组织涵盖了芯片IP,运营商,设备商,整机、部件,基础软件厂家和科研院所。7月,一云多芯应用创新生态社区宣布成立。中移信息、浪潮云、天翼云、阿里云、中国电子云、联通云、华为云、云轴科技ZStack、华夏银行、农业银行等首批成员参与了启动仪式。阿里云自研的飞天云计算操作系统可同时支持x86、Arm、RISC-V 等多种芯片架构,用一套云端操作系统来管理不同架构的服务器硬件,可将不同架构处理器的运算能力标准化,从根本上解决不同类型处理器共存所带来的多云管理问题;云轴科技ZStack 信创云平台作为唯一兼容x86、Arm、LoongArch和Alpha四种架构、八类平台环境的云平台,是首评云平台中支持架构和平台类别最全的云平台;天翼云一云多芯分布式云操作系统主要面向国产化 CPU芯片架构,针对超趋势5:从2 8到更广泛商业领域,绿色计算越来越受到市场青睐从能用到好用,从2 8核心行业到更广泛的商业领域,基于Arm架构的绿色计算产品在需求侧正越来越受到行业用户的欢迎。尤其是2023年8月,中信银行通用基础设施集成商入围采购项目入围通知书发布,根据招标公告,该项目采购的服务器产品预估采购金额为44.21亿元人民币,其中Arm 芯片服务器为34.01亿元,占比高达76.9%,表明Arm 芯片服务器综合能力不断赢得市场与客户的信赖,市场竞争力持续提升。鲲鹏处理器已呈现“2 8 N”的发展态势,目前已有11家合作伙伴推出基于鲲鹏主板的服务器产品,2022年整机伙伴发货占比达95%,已有4500多个合作伙伴,13500多个解决方案通过鲲鹏兼容性测试认证,在金融、电力、政府、电信等行业全面落地。事实上,飞腾在金融、电信、电力等各个行业所取得的成绩与鲲鹏相比也不逞多让。在金融领域,飞腾CPU已支撑某国有银行OA办公系统上线运行,基于飞腾平台的服务器类、终端类和金融机具类产品成功入围六大行,同时也在金融主管机构实现全入围,终端入围 160多家金融机构,服务器入围80多家金融机构。飞腾产品实现了金融信创单位全覆盖,包含政策性银行、股份制银行、城商银行、保险、证券等其它金融机构。飞腾还积极布局电信市场,与三大运营商建立了全面的合作通道并实现规模化应用。搭载飞腾CPU的服务器在3大运营商的云资源池中得到广泛部署,服务了大量国产化项目;基于飞腾CPU的终端也在不同运营商的多个地市营业厅陆续落地;基于飞腾CPU,已有多家生态伙伴推出了“云电脑”产品,正在与运营商开展相关的适配测试工作。5G方面,飞腾已联合京信等头部生态伙伴推出满足运营商技术标准和设备资质的5G云小站、5G核心网和边缘计算三大系列产品,飞腾5G云小站更是通过中国移动测试的唯一信创方案。0405绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)趋势6:评测标准化与认证服务,牵引绿色计算全栈解决方案性能提升一直以来,Arm 持续不断引领着行业最佳实践标准和认证的推动。Arm SystemReady 计划于 2020 年正式推出,旨在促进行业内协作,实现无差异化软件开发,助力基于 Arm 架构的生态系统实现跨操作系统的快速部署(操作系统包括 Linux、Windows、BSD 和 VMware)。过去三年里,SystemReady 计划取得了重大突破,为计算奠定了通用软件基础,也为海量应用提供了支持。截至2023年上半年Arm SystemReady 计划累计突破 100 张认证,新的里程碑彰显出该计划强劲的发展势头,也成为推进软件“开机即用(Just Works)”愿景的重要一步。绿色计算产业联盟自成立之初就把标准化工作视为绿色计算产业发展的重要抓手,持续汇聚各方资源、理顺创新链条、优化商业模型,加快构建具有先进性、创新性和国际性的绿色计算生态体系,打造高效率、低成本、低能耗的绿色计算产品。截至目前,绿色计算产业联盟已累计发布19项绿色计算体系标准规范,提升了底层架构的兼容性,促进了Arm 服务器技术的推广应用。2023年,绿色计算产业联盟已立项在研标准包括服务器可服务性评价技术要求云手机用户体验质量评价技术规范移动办公云手机技术规范;计划立项标准包括服务器应用场景性能测试方法 超融合服务器应用场景性能测试方法 分布式数据库;拟发布 绿色计算服务器典型应用场景性能对比测试分析报告(2023)。为规范建设Arm全栈标准体系,促进产品技术迭代升级,更好地展现Arm架构和算力优势,同时通过官方发布权威认证,支持优秀产品与解决方案品牌提升和市场拓展。绿色计算产业联盟开展了“服务器典型应用场景性能评测行动”(简称:PECA评测行动),旨在推动底层服务器硬件和上层应用软件的联合调优,以体现Arm全栈解决方案的整体竞争力,包括大数据、分布式存储、Web应用、高性能计算、集中式关系型数据库、Arm原生云手机、虚拟化7大服务器典型应用场景。目前,已有星环科技一站式大数据基础平台Transwarp Data Hub(TDH)、海量数据Vastbase G100v2.2、云宏CNware WinStack虚拟化云平台软件V8.1、东方通应用服务器TongWeb7.0、星辰天合科技天合翔宇分布式系统V5、华为鲲鹏BoostKit解决方案(HPC)、华为Arm原生云手机、趋势7:中国市场Arm服务器链日益完善,Arm PC产业蓄势待发目前,我国从芯片、整机、操作系统、云平台、中间件到应用软件等技术领域的创新链、产业链已初步形成。华为鲲鹏社区旨在推动鲲鹏全栈开放,使能全产业伙伴创新,覆盖技术支持与开发、生态合作与使能、行业应用与实践、产业沟通与交流等内容,汇聚全产业力量,打造面向鲲鹏产业链上下游的一站式产业社区。目前已有超过4500家伙伴加入,推出超过13500个鲲鹏认证方案。飞腾开放实验室(POL)是面向行业用户提供产品迁移指导、适配验证、PoC验证、产品测评、技术培训等服务的企业级开放实验室,基础实验室涵盖5G、AI、安全可信、嵌入式、智能制造等方向,全国分布式部署。目前已有168个成员单位,25个行业生态联合实验室,4个伙伴共建实验室,3个合作测评认证实验室。2023年5月,微软宣布原生支持Windows on Arm新的应用程序;6月,甲骨文宣布Oracle Database 19c 支持Arm 架构,无论在云端还是本地数据中心,都可以将Oracle Database 19c部署在Arm架构之上。这些重要的里程碑事件,显示出Arm 架构在关键领域的竞争力。7月,中国首个 BMC 根社区OurBMC 社区正式宣布成立。BMC 是嵌入在计算机主板上的专用微控制器,以其多功能、易操作、广兼容、更底层的应用优势愈加受到各行业的青睐,成为服务器基础生态的重要组成部分。OurBMC 社区由飞腾、昆仑太科、百敖等行业头部企业发起成立,旨在推进 BMC 技术快速发展,辐射上下游形成产业共振,加速构建繁荣的信息系统软硬件生态。8月,Arm 虚拟硬件(Arm Virtual Hardware)正式上线百度智能云,不仅将该服务通过云平台扩展到本土的个人开发者,同时也首次带来 Arm 虚拟硬件运行基于 Arm 架构云服务器的高效性能。当 Arm 发布全新 IP 时,开发者不必再等待物理硬件交付即可同步地开展相关的应用开发和验证,提升效率,降低成本。在PC领域,随着Arm架构性能提升和生态的完善,以苹果和高通为首的国际厂商推出可与X86 CPU生产力相媲美的Arm PC SoC,由于Arm架构天然的高能效特性,Arm PC展现出比X86 Pc更优0607在发电、输电、变电、配电等领域,基于飞腾CPU的联合解决方案已全面落地应用或具备应用条件。飞腾CPU已经助力50余家电厂实现自主可控,覆盖火力发电、风力发电、水力发电以及特高压变电站。在京东 618 购物节期间,飞腾CPU成功提供了核心算力支撑并顺利通过技术考验,继关键基础领域获得大规模应用之后,在电商平台等消费级市场也实现了规模化应用。北联国芯Vastbase G100 V2.2、宝兰德BES Application Server Enterprise V9.5.5、爱可生云树数据库软件 ActionDB v1.0、大道云行FASS分布式全闪存储系统 1.5、广电五舟PentaStor分布式存储系统 v2.1.2、宝德计算机PLStor D22000企业级分布式存储系统、万里开源软件万里安全数据库软件 V5.1、深信服信云sCloud 6.8.1、品高软件PolarDB数据管理软件 V2.0、品高软件品高基础架构云资源管理软件 V9.0等17项产品通过了服务器典型应用场景性能评测。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)趋势6:评测标准化与认证服务,牵引绿色计算全栈解决方案性能提升一直以来,Arm 持续不断引领着行业最佳实践标准和认证的推动。Arm SystemReady 计划于 2020 年正式推出,旨在促进行业内协作,实现无差异化软件开发,助力基于 Arm 架构的生态系统实现跨操作系统的快速部署(操作系统包括 Linux、Windows、BSD 和 VMware)。过去三年里,SystemReady 计划取得了重大突破,为计算奠定了通用软件基础,也为海量应用提供了支持。截至2023年上半年Arm SystemReady 计划累计突破 100 张认证,新的里程碑彰显出该计划强劲的发展势头,也成为推进软件“开机即用(Just Works)”愿景的重要一步。绿色计算产业联盟自成立之初就把标准化工作视为绿色计算产业发展的重要抓手,持续汇聚各方资源、理顺创新链条、优化商业模型,加快构建具有先进性、创新性和国际性的绿色计算生态体系,打造高效率、低成本、低能耗的绿色计算产品。截至目前,绿色计算产业联盟已累计发布19项绿色计算体系标准规范,提升了底层架构的兼容性,促进了Arm 服务器技术的推广应用。2023年,绿色计算产业联盟已立项在研标准包括服务器可服务性评价技术要求云手机用户体验质量评价技术规范移动办公云手机技术规范;计划立项标准包括服务器应用场景性能测试方法 超融合服务器应用场景性能测试方法 分布式数据库;拟发布 绿色计算服务器典型应用场景性能对比测试分析报告(2023)。为规范建设Arm全栈标准体系,促进产品技术迭代升级,更好地展现Arm架构和算力优势,同时通过官方发布权威认证,支持优秀产品与解决方案品牌提升和市场拓展。绿色计算产业联盟开展了“服务器典型应用场景性能评测行动”(简称:PECA评测行动),旨在推动底层服务器硬件和上层应用软件的联合调优,以体现Arm全栈解决方案的整体竞争力,包括大数据、分布式存储、Web应用、高性能计算、集中式关系型数据库、Arm原生云手机、虚拟化7大服务器典型应用场景。目前,已有星环科技一站式大数据基础平台Transwarp Data Hub(TDH)、海量数据Vastbase G100v2.2、云宏CNware WinStack虚拟化云平台软件V8.1、东方通应用服务器TongWeb7.0、星辰天合科技天合翔宇分布式系统V5、华为鲲鹏BoostKit解决方案(HPC)、华为Arm原生云手机、趋势7:中国市场Arm服务器链日益完善,Arm PC产业蓄势待发目前,我国从芯片、整机、操作系统、云平台、中间件到应用软件等技术领域的创新链、产业链已初步形成。华为鲲鹏社区旨在推动鲲鹏全栈开放,使能全产业伙伴创新,覆盖技术支持与开发、生态合作与使能、行业应用与实践、产业沟通与交流等内容,汇聚全产业力量,打造面向鲲鹏产业链上下游的一站式产业社区。目前已有超过4500家伙伴加入,推出超过13500个鲲鹏认证方案。飞腾开放实验室(POL)是面向行业用户提供产品迁移指导、适配验证、PoC验证、产品测评、技术培训等服务的企业级开放实验室,基础实验室涵盖5G、AI、安全可信、嵌入式、智能制造等方向,全国分布式部署。目前已有168个成员单位,25个行业生态联合实验室,4个伙伴共建实验室,3个合作测评认证实验室。2023年5月,微软宣布原生支持Windows on Arm新的应用程序;6月,甲骨文宣布Oracle Database 19c 支持Arm 架构,无论在云端还是本地数据中心,都可以将Oracle Database 19c部署在Arm架构之上。这些重要的里程碑事件,显示出Arm 架构在关键领域的竞争力。7月,中国首个 BMC 根社区OurBMC 社区正式宣布成立。BMC 是嵌入在计算机主板上的专用微控制器,以其多功能、易操作、广兼容、更底层的应用优势愈加受到各行业的青睐,成为服务器基础生态的重要组成部分。OurBMC 社区由飞腾、昆仑太科、百敖等行业头部企业发起成立,旨在推进 BMC 技术快速发展,辐射上下游形成产业共振,加速构建繁荣的信息系统软硬件生态。8月,Arm 虚拟硬件(Arm Virtual Hardware)正式上线百度智能云,不仅将该服务通过云平台扩展到本土的个人开发者,同时也首次带来 Arm 虚拟硬件运行基于 Arm 架构云服务器的高效性能。当 Arm 发布全新 IP 时,开发者不必再等待物理硬件交付即可同步地开展相关的应用开发和验证,提升效率,降低成本。在PC领域,随着Arm架构性能提升和生态的完善,以苹果和高通为首的国际厂商推出可与X86 CPU生产力相媲美的Arm PC SoC,由于Arm架构天然的高能效特性,Arm PC展现出比X86 Pc更优0607在发电、输电、变电、配电等领域,基于飞腾CPU的联合解决方案已全面落地应用或具备应用条件。飞腾CPU已经助力50余家电厂实现自主可控,覆盖火力发电、风力发电、水力发电以及特高压变电站。在京东 618 购物节期间,飞腾CPU成功提供了核心算力支撑并顺利通过技术考验,继关键基础领域获得大规模应用之后,在电商平台等消费级市场也实现了规模化应用。北联国芯Vastbase G100 V2.2、宝兰德BES Application Server Enterprise V9.5.5、爱可生云树数据库软件 ActionDB v1.0、大道云行FASS分布式全闪存储系统 1.5、广电五舟PentaStor分布式存储系统 v2.1.2、宝德计算机PLStor D22000企业级分布式存储系统、万里开源软件万里安全数据库软件 V5.1、深信服信云sCloud 6.8.1、品高软件PolarDB数据管理软件 V2.0、品高软件品高基础架构云资源管理软件 V9.0等17项产品通过了服务器典型应用场景性能评测。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)图表 3全球笔记本市场出货量份额数据来源:Counterpoint图表 4 Arm架构处理器笔记本示例5月,MAXHUB 正式推出搭载飞腾 CPU 的台式电脑,打造 MAXHUB 办公空间数字化解决方案,实现更快计算能力与更高性能,满足复杂应用场景下用户对性能和信息安全的需求,为专业办公赋能。6月,飞腾开发者平台联合中国桌面操作系统根社区 openKylin 推出飞腾开发者平台首个联合技术板块openKylin 专区,在开源、自愿、平等、协作的基础上,共享生态资源,建立软硬件生态兼容高效合作方式,推动 Linux 开源技术及软硬件生态繁荣发展。8月,此芯科技与安谋科技在上海签署合作备忘录,携手在Arm PC、AI、生态开发板等领域深化合作,共同推进桌面级智能Arm v9生态开发板的商业化落地和Arm Pc生态建设。随着端侧AI应用的快速增加,Arm SoC灵活的架构中可以集成高算力NPU,实现AI应用的高效部署和低功耗实现。比如针对视频会议支持新的AI特性:背景噪音消除、眼部交互、自动取景、背景模糊等,以及未来AIGC的端侧推理的部署。总之,Arm的高效异构计算架构以及天生的低功耗特性,使得Arm SoC在现在和将来会引领Arm PC生态在PC产业不断取得发展。09异的电池续航能力和更轻薄的特性,吸引大批消费者购买,在短短几年内Arm Pc在全球笔电市场的占比快速提升。Arm的多核异构CPU架构设计,用大核来提供高性能计算力,以小核来满足轻负载计算,实现了性能和功耗的均衡,满足PC用户在不同场景下的需求,提供优异的用户体验。趋势8:产业发展,人才为本,绿色大赛助力开源生态高质量发展产业发展,人才为本。随着绿色计算产业的蓬勃发展,绿色计算亟需高质量的人才。为激发开源创新活力,培养开源实践人才,助力开源生态建设,探索开源教育改革,绿色计算产业联盟持续打造的中国软件开源创新大赛已成功连续举办了5届,累计覆盖1000多所高校,80000多位参赛选手,举办了50多次Arm 服务器架构和开源软件系统培训。今年,第六届“中国软件开源创新大赛”在国家自然科学基金委信息科学部的指导下,由中国计算机学会(CCF)主办,西北工业大学、绿色计算产业联盟、CCF 开源发展委员会联合承办,以“小我创造无限精彩”为主题,围绕“开源项目贡献”“开源任务挑战”“开源案例教学”“开源代码评注”四大赛道展开,助力开源生态建设的高质量发展,各项赛事及交流活动正在全国各地紧锣密鼓地进行。此外,华为、飞腾、蚂蚁等绿色计算产业联盟会员举办的开发者大赛也如火如荼地进行中。自2020年创办至今,鲲鹏应用创新大赛已连续举办三届。5月,鲲鹏应用创新大赛2023正式启动,总奖金池1000万。大赛以“数智未来,因你而来”为主题,由华为技术有限公司主办,鲲鹏生态创新中心承办,并联合中国软件行业协会、绿色计算产业联盟、中国计算机行业协会、智能基座虚拟教研室、101计划虚拟教研室、武汉光谷超级算力科技有限公司、国家超级计算深圳中心、CCF武汉分部共同举办。相较往届,鲲鹏应用创新大赛2023在人群覆盖、专业领域和参赛权益等维度再08绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)图表 3全球笔记本市场出货量份额数据来源:Counterpoint图表 4 Arm架构处理器笔记本示例5月,MAXHUB 正式推出搭载飞腾 CPU 的台式电脑,打造 MAXHUB 办公空间数字化解决方案,实现更快计算能力与更高性能,满足复杂应用场景下用户对性能和信息安全的需求,为专业办公赋能。6月,飞腾开发者平台联合中国桌面操作系统根社区 openKylin 推出飞腾开发者平台首个联合技术板块openKylin 专区,在开源、自愿、平等、协作的基础上,共享生态资源,建立软硬件生态兼容高效合作方式,推动 Linux 开源技术及软硬件生态繁荣发展。8月,此芯科技与安谋科技在上海签署合作备忘录,携手在Arm PC、AI、生态开发板等领域深化合作,共同推进桌面级智能Arm v9生态开发板的商业化落地和Arm Pc生态建设。随着端侧AI应用的快速增加,Arm SoC灵活的架构中可以集成高算力NPU,实现AI应用的高效部署和低功耗实现。比如针对视频会议支持新的AI特性:背景噪音消除、眼部交互、自动取景、背景模糊等,以及未来AIGC的端侧推理的部署。总之,Arm的高效异构计算架构以及天生的低功耗特性,使得Arm SoC在现在和将来会引领Arm PC生态在PC产业不断取得发展。09异的电池续航能力和更轻薄的特性,吸引大批消费者购买,在短短几年内Arm Pc在全球笔电市场的占比快速提升。Arm的多核异构CPU架构设计,用大核来提供高性能计算力,以小核来满足轻负载计算,实现了性能和功耗的均衡,满足PC用户在不同场景下的需求,提供优异的用户体验。趋势8:产业发展,人才为本,绿色大赛助力开源生态高质量发展产业发展,人才为本。随着绿色计算产业的蓬勃发展,绿色计算亟需高质量的人才。为激发开源创新活力,培养开源实践人才,助力开源生态建设,探索开源教育改革,绿色计算产业联盟持续打造的中国软件开源创新大赛已成功连续举办了5届,累计覆盖1000多所高校,80000多位参赛选手,举办了50多次Arm 服务器架构和开源软件系统培训。今年,第六届“中国软件开源创新大赛”在国家自然科学基金委信息科学部的指导下,由中国计算机学会(CCF)主办,西北工业大学、绿色计算产业联盟、CCF 开源发展委员会联合承办,以“小我创造无限精彩”为主题,围绕“开源项目贡献”“开源任务挑战”“开源案例教学”“开源代码评注”四大赛道展开,助力开源生态建设的高质量发展,各项赛事及交流活动正在全国各地紧锣密鼓地进行。此外,华为、飞腾、蚂蚁等绿色计算产业联盟会员举办的开发者大赛也如火如荼地进行中。自2020年创办至今,鲲鹏应用创新大赛已连续举办三届。5月,鲲鹏应用创新大赛2023正式启动,总奖金池1000万。大赛以“数智未来,因你而来”为主题,由华为技术有限公司主办,鲲鹏生态创新中心承办,并联合中国软件行业协会、绿色计算产业联盟、中国计算机行业协会、智能基座虚拟教研室、101计划虚拟教研室、武汉光谷超级算力科技有限公司、国家超级计算深圳中心、CCF武汉分部共同举办。相较往届,鲲鹏应用创新大赛2023在人群覆盖、专业领域和参赛权益等维度再08绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)10上新台阶,更进一步赋能开发者人才培养。大赛首次独立设置高校赛和科研赛,面向高校及科研机构的开发者群体开放,与企业赛一起,在开发者人群层面形成更广范围的覆盖。为持续推进数字技术创新,围绕三大赛事设有行业应用创新赛道、HPC应用创新赛道、openEuler开源创新赛道、openGauss开源创新赛道、机密计算创新赛道共计五大赛道,赛道的专业领域得以进一步延伸。飞腾连续三年在中国研究生电子设计竞赛、全国大学生集成电路创新创业大赛等国家级学科赛事中设立“飞腾杯”赛道,通过设置企业命题、参与命题评审、提供参赛开发板、组织专题讲座、提供技术辅导、冠名企业奖项等多种形式,助力创新人才快速成长,在竞赛平台中脱颖而出。两项赛事中飞腾赛道共有500余支队伍参赛,百余所高校的参赛作品均采用飞腾芯片来展开研究与设计,有效提升高校人才生态建设。8月下旬,飞腾公司与萤火工场联合研发的开源硬件产品飞腾派正式发布。该产品是首款基于飞腾定制芯片的国产化开源硬件产品,采用飞腾自主设计的定制款嵌入式CPU,以“硬件足够实惠、软件足够便利”为设计目标,具有芯片定制、接口丰富、体积小巧、系统开源四大特点。目前,飞腾派已在教育教学、人工智能、自动化控制等方面实现落地应用。同时,还公布了飞腾派“种子计划”,拟在飞腾派发布一年内,以创新大赛、现场交流会、产品赋能培训会等形式,培育不少于 10000 名飞腾派开发者,将助力更多客户认可国产方案、采用国产方案,激活和哺育国产开源软硬件生态,为国家信息产业培养更多复合型人才。2022年,在绿色计算产业联盟指导下,蚂蚁集团主办了“绿色计算大赛”,成功打造了一场聚焦绿色计算主题的行业大赛。蚂蚁集团开放了自身几年来探索绿色计算技术的经验和实际案例,并设计成相关赛题,从系统软件层、云原生技术层、算法层等全方位考察算力利用效率与绿色低碳技术能力,吸引了超2000名的国内外高校学子和企业工程师参赛角逐。展望未来,绿色计算产业联盟将持续凝聚行业优势力量,引领产业从“行业渗透”向“生态繁荣”进阶,促进产业升级变革。聚沙成塔,积水成渊,发挥全方位、多角度优势,为打造绿色计算产业发展格局创造新机会,以标准评测为引领,共建新型绿色零碳生态圈,激发会员各自所长,实现能力拼图,一起碳路中国,共赢未来。第一章 CHAPTER 1绿色计算产业发展趋势绿色计算产业发展白皮书(2023版)10上新台阶,更进一步赋能开发者人才培养。大赛首次独立设置高校赛和科研赛,面向高校及科研机构的开发者群体开放,与企业赛一起,在开发者人群层面形成更广范围的覆盖。为持续推进数字技术创新,围绕三大赛事设有行业应用创新赛道、HPC应用创新赛道、openEuler开源创新赛道、openGauss开源创新赛道、机密计算创新赛道共计五大赛道,赛道的专业领域得以进一步延伸。飞腾连续三年在中国研究生电子设计竞赛、全国大学生集成电路创新创业大赛等国家级学科赛事中设立“飞腾杯”赛道,通过设置企业命题、参与命题评审、提供参赛开发板、组织专题讲座、提供技术辅导、冠名企业奖项等多种形式,助力创新人才快速成长,在竞赛平台中脱颖而出。两项赛事中飞腾赛道共有500余支队伍参赛,百余所高校的参赛作品均采用飞腾芯片来展开研究与设计,有效提升高校人才生态建设。8月下旬,飞腾公司与萤火工场联合研发的开源硬件产品飞腾派正式发布。该产品是首款基于飞腾定制芯片的国产化开源硬件产品,采用飞腾自主设计的定制款嵌入式CPU,以“硬件足够实惠、软件足够便利”为设计目标,具有芯片定制、接口丰富、体积小巧、系统开源四大特点。目前,飞腾派已在教育教学、人工智能、自动化控制等方面实现落地应用。同时,还公布了飞腾派“种子计划”,拟在飞腾派发布一年内,以创新大赛、现场交流会、产品赋能培训会等形式,培育不少于 10000 名飞腾派开发者,将助力更多客户认可国产方案、采用国产方案,激活和哺育国产开源软硬件生态,为国家信息产业培养更多复合型人才。2022年,在绿色计算产业联盟指导下,蚂蚁集团主办了“绿色计算大赛”,成功打造了一场聚焦绿色计算主题的行业大赛。蚂蚁集团开放了自身几年来探索绿色计算技术的经验和实际案例,并设计成相关赛题,从系统软件层、云原生技术层、算法层等全方位考察算力利用效率与绿色低碳技术能力,吸引了超2000名的国内外高校学子和企业工程师参赛角逐。展望未来,绿色计算产业联盟将持续凝聚行业优势力量,引领产业从“行业渗透”向“生态繁荣”进阶,促进产业升级变革。聚沙成塔,积水成渊,发挥全方位、多角度优势,为打造绿色计算产业发展格局创造新机会,以标准评测为引领,共建新型绿色零碳生态圈,激发会员各自所长,实现能力拼图,一起碳路中国,共赢未来。第一章 CHAPTER 1绿色计算产业发展趋势绿色计算产业发展白皮书(2023版)伴随东数西算、算力网络、一体化大数据中心、智能计算中心等战略工程的推进,我国计算产业迈入新的高速发展阶段。新阶段带来了很多挑战,同时也给整个计算产业界带来更多机遇,新技术、新产品、新业态、新商业模式正在大量涌现。1.1产业空间绿色计算以基于开放授权Arm处理器技术为基础,继在控制器和移动计算领域的成功之后,以节能和安全为特点的Arm处理器技术逐渐成为计算基础设施的新标准。全球范围内,Arm架构CPU在服务器市场处于快速上升期。Bernstein Research的一份研究报告显示,目前全球近10的服务器已经用上Arm架构,其中多达40Arm服务器位于中国,中国市场Arm服务器市场份额占比已经超过15%。图表 5 Arm服务器全球份额图表 6 全球Arm服务器中国出货占比主要的公有云服务都提供基于Arm的实例,包括AWS、Azure、谷歌云、阿里云等。其中以AWS为首的Graviton最具市场规模,Bernstein Research报告2022年期,Graviton占20%左右的AWS CPU实例,AWS数据中心部署了全球50%以上的Arm服务器CPU。从而刺激其他主要的云端服务商跟进。另据Canalys分析师预测,2026年Arm架构将占据云服务器市场一半以上市场份额。1312图表 7 主要公有云服务商提供基于Arm实例在全球PC市场,Arm架构CPU同样处于快速上升期。Bernstein Research报告估计,2022年Q4出货的个人电脑(不包括Chromebook)中,Arm芯片约占12%,其中绝大多数是Mac电脑。另据Canalys分析师预测,2026年Arm架构将占据PC市场30%的份额。1.2产业趋势云计算、人工智能、元宇宙、5G网络、物联网、区块链等新技术的广泛采用,不断地丰富人们生活和提高社会生产力,同时也带来日益的数据量爆炸和计算能力需求的提高。目前基础设施转为定制化打造,从 SSD 到 HDD,从 DPU 到视频加速器,服务器 CPU 算是最后的标准产品,将不会作为通用型产品继续发展。与此同时,计算工作负载正极力增长,而且愈加复杂。ML 和 AI 正在发挥取代作用。另外一个问题则是功耗问题,目前大型互联网公司的电力支出仅微次于电信网络运营商。为了满足这些需求,未来的云基础设施将需要应对即将到来的数据爆炸和日益复杂的工作负载的有效处理,同时提高能效并最大限度地减少碳足迹。这就是为什么业界越来越多地寻求更高性能、高能效、专业处理和工作负载加速,以重新定义和改变计算基础设施。1.从数据中心的需求到处理器的技术发展,绿色计算产业对于性能、能效和安全性提出更高的要求数据中心的算力需求持续增长,AI成为重要计算任务。根据 IDC 数据显示,2020-2025 年全球产生或复制数据量以CAGR 23%保持增长,并预计每四个月对算力的需求就会翻一倍。在“双碳”目标大背景下,减少碳排放,节能减排是重中之重。数据中心是数字基础设施的重要载体,作为典型的耗能大户,面临的节能任务更加艰巨与紧迫。随着网络与计算业务的快速发展,越来越多的关键性服务和高价值数据被迁移到了云端和边缘,与传统的本地数据保护策略不同,对数据的保护也变得更加复杂。从欧盟 GDPR 到我国个人信息保护法,数据隐私监管保护的范围愈加扩大,力度日益增强,对关键数据和业务进行安全保护,是合规遵从的关键因素。随着摩尔定律走向终结,解决方案提供商正在寻求专业化处理能力。Armv9-A架构,在安全性、能效和性能方面都有提升,通过越来越多的芯片产品将 Neoverse 的卓越性能、每瓦性能和 TCO 优势带到基础设施领域。构建端到端的绿色算力链路,已成为我国算力行业发展的大势所趋。我国高度重视算力基础设施建设,工信部发布新型数据中心发展三年行动计划(20212023年),积极推动数据中心向集约化、规模化、绿色化方向发展。但目前,行业内对于绿色数据中心的研究和实践多停留在电力生产/能源使用、算力供给环节,强调从能源使用效率角度优化数据中心的选址、设计、采购、管理,从计算资源角度优化IT基础设施的设计、建设、使用和回收过程,从而减少对于环境的影响。根据信通院面向算力应用环节的计算绿色化白皮书,算力行业应从端到端的视角出发,构建从电力生产、算力生产到业务应用各个环节的绿色算力,以实现算力产业从节能向绿色、增效并绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)伴随东数西算、算力网络、一体化大数据中心、智能计算中心等战略工程的推进,我国计算产业迈入新的高速发展阶段。新阶段带来了很多挑战,同时也给整个计算产业界带来更多机遇,新技术、新产品、新业态、新商业模式正在大量涌现。1.1产业空间绿色计算以基于开放授权Arm处理器技术为基础,继在控制器和移动计算领域的成功之后,以节能和安全为特点的Arm处理器技术逐渐成为计算基础设施的新标准。全球范围内,Arm架构CPU在服务器市场处于快速上升期。Bernstein Research的一份研究报告显示,目前全球近10的服务器已经用上Arm架构,其中多达40Arm服务器位于中国,中国市场Arm服务器市场份额占比已经超过15%。图表 5 Arm服务器全球份额图表 6 全球Arm服务器中国出货占比主要的公有云服务都提供基于Arm的实例,包括AWS、Azure、谷歌云、阿里云等。其中以AWS为首的Graviton最具市场规模,Bernstein Research报告2022年期,Graviton占20%左右的AWS CPU实例,AWS数据中心部署了全球50%以上的Arm服务器CPU。从而刺激其他主要的云端服务商跟进。另据Canalys分析师预测,2026年Arm架构将占据云服务器市场一半以上市场份额。1312图表 7 主要公有云服务商提供基于Arm实例在全球PC市场,Arm架构CPU同样处于快速上升期。Bernstein Research报告估计,2022年Q4出货的个人电脑(不包括Chromebook)中,Arm芯片约占12%,其中绝大多数是Mac电脑。另据Canalys分析师预测,2026年Arm架构将占据PC市场30%的份额。1.2产业趋势云计算、人工智能、元宇宙、5G网络、物联网、区块链等新技术的广泛采用,不断地丰富人们生活和提高社会生产力,同时也带来日益的数据量爆炸和计算能力需求的提高。目前基础设施转为定制化打造,从 SSD 到 HDD,从 DPU 到视频加速器,服务器 CPU 算是最后的标准产品,将不会作为通用型产品继续发展。与此同时,计算工作负载正极力增长,而且愈加复杂。ML 和 AI 正在发挥取代作用。另外一个问题则是功耗问题,目前大型互联网公司的电力支出仅微次于电信网络运营商。为了满足这些需求,未来的云基础设施将需要应对即将到来的数据爆炸和日益复杂的工作负载的有效处理,同时提高能效并最大限度地减少碳足迹。这就是为什么业界越来越多地寻求更高性能、高能效、专业处理和工作负载加速,以重新定义和改变计算基础设施。1.从数据中心的需求到处理器的技术发展,绿色计算产业对于性能、能效和安全性提出更高的要求数据中心的算力需求持续增长,AI成为重要计算任务。根据 IDC 数据显示,2020-2025 年全球产生或复制数据量以CAGR 23%保持增长,并预计每四个月对算力的需求就会翻一倍。在“双碳”目标大背景下,减少碳排放,节能减排是重中之重。数据中心是数字基础设施的重要载体,作为典型的耗能大户,面临的节能任务更加艰巨与紧迫。随着网络与计算业务的快速发展,越来越多的关键性服务和高价值数据被迁移到了云端和边缘,与传统的本地数据保护策略不同,对数据的保护也变得更加复杂。从欧盟 GDPR 到我国个人信息保护法,数据隐私监管保护的范围愈加扩大,力度日益增强,对关键数据和业务进行安全保护,是合规遵从的关键因素。随着摩尔定律走向终结,解决方案提供商正在寻求专业化处理能力。Armv9-A架构,在安全性、能效和性能方面都有提升,通过越来越多的芯片产品将 Neoverse 的卓越性能、每瓦性能和 TCO 优势带到基础设施领域。构建端到端的绿色算力链路,已成为我国算力行业发展的大势所趋。我国高度重视算力基础设施建设,工信部发布新型数据中心发展三年行动计划(20212023年),积极推动数据中心向集约化、规模化、绿色化方向发展。但目前,行业内对于绿色数据中心的研究和实践多停留在电力生产/能源使用、算力供给环节,强调从能源使用效率角度优化数据中心的选址、设计、采购、管理,从计算资源角度优化IT基础设施的设计、建设、使用和回收过程,从而减少对于环境的影响。根据信通院面向算力应用环节的计算绿色化白皮书,算力行业应从端到端的视角出发,构建从电力生产、算力生产到业务应用各个环节的绿色算力,以实现算力产业从节能向绿色、增效并绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)14151.3技术趋势1.3.1数据中心客户需求和技术趋势重的延伸,实现绿色数据中心向端到端面向业务应用的全流程转型,实现单一产品视角转向软硬协同一体化的视角。2、绿色计算产业的标准工作应该重点从性能、能效和安全角度出发,持续推动相关标准和评测规范的制定和落地标准体系是指引产业方向、推动产业各方达成产业共识、促进商用进程的重要力量。标准和评测工作首先应根据业务的诉求,满足数据中心应用(例如人工智能、大数据分析、高性能计算、移动应用上云、容器等)对软硬件基础设施在性能、能效和安全等方面不断提升的需求。针对多样性算力的不同应用和产品,存在着不同的算力评价方法和工具,导致用户在评价和选型时难以适从,亟需完善多样性算力的评价体系和工具。联盟和标准协会是聚拢各方力量,建立和完善标准的重要组织形式,目前绿色计算产业联盟GCC、边缘计算产业联盟ECC、金融开放联盟、中国电子工业标准化技术协会(CESA)、欧洲OEHI(Open Edge HPC Initiative)、机密计算联盟(CCC)等联盟和组织都在积极推动产业上下游共同制定开放的绿色计算产业标准。3、产业链上下游企业、开发者和用户需求的真正满足,亟需繁荣和多样性的绿色计算软硬件生态计算产业是一个充分开放的体系,构建一个更加成熟的绿色计算产业,需要产业链上成千上万的上下游企业、上千万的开发者以及千行百业的用户共同努力和相向而行才能成功。中国每年近千万高校毕业生的人才基础,以及众多软硬件和服务提供商,充分具备发展绿色计算产业生态的基本要素,但仍存在生态碎片化、条块化的挑战,各个领域都需要产业领先者来聚合产业资源、引领产业发展方向。当今的国际形势对计算产业的稳定供应带来极大不确定性,世界比任何时候都需要多元化稳定可靠的算力基础设施供应,以支持各行业业务平稳发展。通过绿色算力创新部署,构建多样性算力平台,可实现算力特点和业务特点的更好匹配,以达到更高的业务质量和安全,满足千行百业数字化转型算力需求。1、算力需求持续增长,AI成为重要计算任务根据 IDC 数据显示,2020-2025 年全球产生或复制数据量以CAGR 23%保持增长,并预计每四个月对算力的需求就会翻一倍。海量数据增长、数据频繁交互以及各类应用激增带来的巨大流量增长,加速数据中心网络向更高性能和更高灵活性方向演进。数据中心网络打破传统端口速率十倍增长的十年代际演进周期,加速向 100 Gbps、200 Gbps、400 Gbps,甚至 800 Gbps、1.6 Tbps 发展。根据华为预测,2030年通用算力对比2020年增长10倍,AI算力对比2020年增长 500倍。TrendForce集邦咨询预估2023年AI服务器(包含搭载GPU、FPGA、ASIC等)出货量近120万台,同比增长38.4%,占整体服务器出货量近9%,至2026年将占15%。20222026年AI服务器出货量年复合增长率同步上调至22%,AI芯片2023年出货量将增长46%。多样性算力需求突出:异构计算,GPU&DPU满足数据为中心的多样化应用场景的计算需求全球数据量激增促使数据中心网络从“以计算为中心”转向“以数据为中心”,加速数据传输、提升用户体验,需要最小化后端请求的尾部延迟。网络带宽和连接数的剧增进一步推进算力需求爆炸式增长,而摩尔定律日趋极限,CPU 性能增长速度逐渐放缓。寻求更符合多样化应用需求的计算芯片已成为业界共识。云化基础设施平台基于 CPU 完成网络数据转发的传统模式出现瓶颈。CPU 串行计算模式难以在高并发网络数据转发工作中发挥最大计算能力,另外网络带宽的增长速度远超 CPU 的算力增长速度,网络数据转发占用的 CPU 资源不断增大。数据处理单元(DPU)用于处理云计算的幕后工作:数据包检查和虚拟机监控程序管理等严格且对时间敏感的安全任务。网络、存储和安全任务现在可以消耗实例所需资源多达服务器CPU周期的30%。使用针对这些任务优化的专用处理器,能够将CPU集中用于工作负载而不是基础设施任务,可在电力和资本支出方面获得TCO好处。2、片间互连异构集成,Chiplet模式加速兴起进入后摩尔时代,异构集成(HI)和系统级封装(SiP)是重要出路。Chiplet模式采用不同于SoC设计的方式,将大尺寸的多核心的设计,分散到较小的芯片,再通过先进封装的形式以一种类似搭积木的模式实现整合,更能满足现今高效能计算处理器的需求;而弹性的设计方式不仅提升灵活性,也能有更好的良率及节省成本优势,并减少芯片设计时程,加速芯片上市的时间。综合而言,相对于SoC,Chiplet将有设计弹性、成本节省、加速上市等三大优势。英特尔与AMD、Arm、高通、微软、谷歌、Meta、台积电、日月光、三星等十家行业巨头正式成立UCIe(通用芯粒高速互连)产业联盟,意欲共同打造Chiplet互连标准,携手推动Chiplet接口规范的标准化。国内厂商方面,包括芯原、超摩科技、灿导、芯和等多家半导体企业已经陆续加入。阿里巴巴也成为首家加入UCIe董事会的中国大陆企业。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)14151.3技术趋势1.3.1数据中心客户需求和技术趋势重的延伸,实现绿色数据中心向端到端面向业务应用的全流程转型,实现单一产品视角转向软硬协同一体化的视角。2、绿色计算产业的标准工作应该重点从性能、能效和安全角度出发,持续推动相关标准和评测规范的制定和落地标准体系是指引产业方向、推动产业各方达成产业共识、促进商用进程的重要力量。标准和评测工作首先应根据业务的诉求,满足数据中心应用(例如人工智能、大数据分析、高性能计算、移动应用上云、容器等)对软硬件基础设施在性能、能效和安全等方面不断提升的需求。针对多样性算力的不同应用和产品,存在着不同的算力评价方法和工具,导致用户在评价和选型时难以适从,亟需完善多样性算力的评价体系和工具。联盟和标准协会是聚拢各方力量,建立和完善标准的重要组织形式,目前绿色计算产业联盟GCC、边缘计算产业联盟ECC、金融开放联盟、中国电子工业标准化技术协会(CESA)、欧洲OEHI(Open Edge HPC Initiative)、机密计算联盟(CCC)等联盟和组织都在积极推动产业上下游共同制定开放的绿色计算产业标准。3、产业链上下游企业、开发者和用户需求的真正满足,亟需繁荣和多样性的绿色计算软硬件生态计算产业是一个充分开放的体系,构建一个更加成熟的绿色计算产业,需要产业链上成千上万的上下游企业、上千万的开发者以及千行百业的用户共同努力和相向而行才能成功。中国每年近千万高校毕业生的人才基础,以及众多软硬件和服务提供商,充分具备发展绿色计算产业生态的基本要素,但仍存在生态碎片化、条块化的挑战,各个领域都需要产业领先者来聚合产业资源、引领产业发展方向。当今的国际形势对计算产业的稳定供应带来极大不确定性,世界比任何时候都需要多元化稳定可靠的算力基础设施供应,以支持各行业业务平稳发展。通过绿色算力创新部署,构建多样性算力平台,可实现算力特点和业务特点的更好匹配,以达到更高的业务质量和安全,满足千行百业数字化转型算力需求。1、算力需求持续增长,AI成为重要计算任务根据 IDC 数据显示,2020-2025 年全球产生或复制数据量以CAGR 23%保持增长,并预计每四个月对算力的需求就会翻一倍。海量数据增长、数据频繁交互以及各类应用激增带来的巨大流量增长,加速数据中心网络向更高性能和更高灵活性方向演进。数据中心网络打破传统端口速率十倍增长的十年代际演进周期,加速向 100 Gbps、200 Gbps、400 Gbps,甚至 800 Gbps、1.6 Tbps 发展。根据华为预测,2030年通用算力对比2020年增长10倍,AI算力对比2020年增长 500倍。TrendForce集邦咨询预估2023年AI服务器(包含搭载GPU、FPGA、ASIC等)出货量近120万台,同比增长38.4%,占整体服务器出货量近9%,至2026年将占15%。20222026年AI服务器出货量年复合增长率同步上调至22%,AI芯片2023年出货量将增长46%。多样性算力需求突出:异构计算,GPU&DPU满足数据为中心的多样化应用场景的计算需求全球数据量激增促使数据中心网络从“以计算为中心”转向“以数据为中心”,加速数据传输、提升用户体验,需要最小化后端请求的尾部延迟。网络带宽和连接数的剧增进一步推进算力需求爆炸式增长,而摩尔定律日趋极限,CPU 性能增长速度逐渐放缓。寻求更符合多样化应用需求的计算芯片已成为业界共识。云化基础设施平台基于 CPU 完成网络数据转发的传统模式出现瓶颈。CPU 串行计算模式难以在高并发网络数据转发工作中发挥最大计算能力,另外网络带宽的增长速度远超 CPU 的算力增长速度,网络数据转发占用的 CPU 资源不断增大。数据处理单元(DPU)用于处理云计算的幕后工作:数据包检查和虚拟机监控程序管理等严格且对时间敏感的安全任务。网络、存储和安全任务现在可以消耗实例所需资源多达服务器CPU周期的30%。使用针对这些任务优化的专用处理器,能够将CPU集中用于工作负载而不是基础设施任务,可在电力和资本支出方面获得TCO好处。2、片间互连异构集成,Chiplet模式加速兴起进入后摩尔时代,异构集成(HI)和系统级封装(SiP)是重要出路。Chiplet模式采用不同于SoC设计的方式,将大尺寸的多核心的设计,分散到较小的芯片,再通过先进封装的形式以一种类似搭积木的模式实现整合,更能满足现今高效能计算处理器的需求;而弹性的设计方式不仅提升灵活性,也能有更好的良率及节省成本优势,并减少芯片设计时程,加速芯片上市的时间。综合而言,相对于SoC,Chiplet将有设计弹性、成本节省、加速上市等三大优势。英特尔与AMD、Arm、高通、微软、谷歌、Meta、台积电、日月光、三星等十家行业巨头正式成立UCIe(通用芯粒高速互连)产业联盟,意欲共同打造Chiplet互连标准,携手推动Chiplet接口规范的标准化。国内厂商方面,包括芯原、超摩科技、灿导、芯和等多家半导体企业已经陆续加入。阿里巴巴也成为首家加入UCIe董事会的中国大陆企业。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)随着摩尔定律走向终结,解决方案提供商正在寻求专业化处理能力。越来越多的基于Arm Neoverse芯片产品将卓越性能、每瓦性能和 TCO 优势带到基础设施领域。1、单核性能提升采用更宽的微架构,以容纳更多的指令,来支持高性能和超级计算需求。宽深架构加上可伸缩矢量扩展SVE,能够更好提高单核性能,并为SoC设计者提供了实现灵活性。SVE 和 SVE2 支持可变长度矢量寄存器,允许开发人员部署和运行128位到2048位的代码,而无需重新编译,从而加快上市时间并为客户提供更多选择。SVE可以支持气候建模、疫苗研究和材料研究等科学工作负载,支持向量长度无关(VLA)编程解决自动矢量化的传统障碍。SVE2 扩展了 SVE 指令集,支持包括HPC 和 ML 之外的数据处理领域,包括加速计算机视觉、多媒体等多种应用使用的常见算法16173.低功耗,节能减排需求在“双碳”目标大背景下,减少碳排放,节能减排是重中之重。数据中心是数字基础设施的重要载体,作为典型的耗能大户,面临的节能任务更加艰巨与紧迫。最新数据显示,我国数据中心用电量已经占到了全社会用电量的2.6%左右。随着数据流量呈指数增长,数据中心设备功耗也在不断攀升,电能消耗数目弥巨和运营成本居高不下的问题愈发凸显,其能耗问题将成为重点整治对象。数据中心能源侧的碳排放主要来自IT设备及基础设施的电力消耗,数据统计,在数据中心能耗结构中,主设备耗电占45U%,空调设备占35E%,电源及其他设备占10%。当前大型互联网公司的电力支出占到总拥有成本(TCO)的30-40%,仅微次于电信网络运营商,功耗问题不容小觑。节能降耗无疑是数据中心的重中之重。企业积极践行碳减排工作,开始综合考虑IT产品能耗比和碳排放量头部企业开始不断探索节能减排新方式,例如,在IT层面采购低能耗的软硬件产品,并利用技术手段进行实时碳足迹监控和碳排放的核算。“绿色节能”已逐步成为除价格、业务性能之外的新考量点。企业面临降本增效压力,精细化IT治理成为发展刚需企业对扩大IT支出的态度愈发谨慎,从以“可用”为目标对相关IT解决方案进行高投入,转向以“性价比”为目标综合评估业务投入产出比进行IT支出。这些因素都驱动着企业向降本增效,精细化IT运营方式的方向转型。在硬件层面通过利旧、提升产品效能等方式,在软件层面通过IT成本监控和治理、提升面向业务应用的算力资源利用效率等方式,实现精细化的IT成本管控。其中,算力资源利用效率起到将硬件算力转换,从而直接赋能于更多数字业务发展的作用,因此具有巨大关注价值和提效空间。4.安全,机密计算需求在计算的过程中,数据存在三种状态:传输中、静止和使用中。数据于网络中传输属于“传输中”状态,存储的数据属于“静止”状态,正在处理的数据属于“使用中”状态。传统的安全技术对静态存储或网络传输状态的数据可以进行有效保护,但解决不了的个人信息或者重要业务数据使用阶段的安全问题和风险,包括云计算服务中多租户数据安全问题。机密计算通过在可信硬件基础上配套软件构建加密、隔离、可证明的计算环境,在该环境中执行计算来保护运行中的数据和代码,它可以从服务器芯片级保障 OS kernel、Hypervisor 等特权软件在已经遭到破坏甚至本来就是恶意的情况下,仍然可以保证系统运行时敏感数据和代码的机密性和完整性。产业界对机密计算的需求来自多个方面,其一,是来自行业与用户的互信需求,需要在不可信的环境中保护用户数据安全及隐私;其二,来自行业自身的防御需求,在不可信的环境中通过有效手段,如增加攻击复杂性、实施深度防御等,来保护企业数据安全;其三,来自机构之间数据共享的需求,通过机密计算保障互信不足的合作方仍然能进行数据合作。1.3.2处理器技术趋势图表 8 Arm 可伸缩矢量扩展SVE-SVE2提升性能SME是在可伸缩向量扩展(Scalable Vector Extensions,SVE和SVE2)的基础上建立的,并增加了有效处理矩阵的能力,主要功能包括:矩阵tile的存储存取,插入,提取 tile向量,包括on-the-fly 转置计算SVE向量的外积(Outer product)Streaming SVE 模式2、多核异构网状互连应用所需的性能无法通过纯粹以CPU为中心的解决方案实现服务器架构,而是需要基于高效异构的解决方案。包括各类加速器,例如图形处理单元、FPGA、智能网卡/DPU和许多其他特定域的可编程设备。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)随着摩尔定律走向终结,解决方案提供商正在寻求专业化处理能力。越来越多的基于Arm Neoverse芯片产品将卓越性能、每瓦性能和 TCO 优势带到基础设施领域。1、单核性能提升采用更宽的微架构,以容纳更多的指令,来支持高性能和超级计算需求。宽深架构加上可伸缩矢量扩展SVE,能够更好提高单核性能,并为SoC设计者提供了实现灵活性。SVE 和 SVE2 支持可变长度矢量寄存器,允许开发人员部署和运行128位到2048位的代码,而无需重新编译,从而加快上市时间并为客户提供更多选择。SVE可以支持气候建模、疫苗研究和材料研究等科学工作负载,支持向量长度无关(VLA)编程解决自动矢量化的传统障碍。SVE2 扩展了 SVE 指令集,支持包括HPC 和 ML 之外的数据处理领域,包括加速计算机视觉、多媒体等多种应用使用的常见算法16173.低功耗,节能减排需求在“双碳”目标大背景下,减少碳排放,节能减排是重中之重。数据中心是数字基础设施的重要载体,作为典型的耗能大户,面临的节能任务更加艰巨与紧迫。最新数据显示,我国数据中心用电量已经占到了全社会用电量的2.6%左右。随着数据流量呈指数增长,数据中心设备功耗也在不断攀升,电能消耗数目弥巨和运营成本居高不下的问题愈发凸显,其能耗问题将成为重点整治对象。数据中心能源侧的碳排放主要来自IT设备及基础设施的电力消耗,数据统计,在数据中心能耗结构中,主设备耗电占45U%,空调设备占35E%,电源及其他设备占10%。当前大型互联网公司的电力支出占到总拥有成本(TCO)的30-40%,仅微次于电信网络运营商,功耗问题不容小觑。节能降耗无疑是数据中心的重中之重。企业积极践行碳减排工作,开始综合考虑IT产品能耗比和碳排放量头部企业开始不断探索节能减排新方式,例如,在IT层面采购低能耗的软硬件产品,并利用技术手段进行实时碳足迹监控和碳排放的核算。“绿色节能”已逐步成为除价格、业务性能之外的新考量点。企业面临降本增效压力,精细化IT治理成为发展刚需企业对扩大IT支出的态度愈发谨慎,从以“可用”为目标对相关IT解决方案进行高投入,转向以“性价比”为目标综合评估业务投入产出比进行IT支出。这些因素都驱动着企业向降本增效,精细化IT运营方式的方向转型。在硬件层面通过利旧、提升产品效能等方式,在软件层面通过IT成本监控和治理、提升面向业务应用的算力资源利用效率等方式,实现精细化的IT成本管控。其中,算力资源利用效率起到将硬件算力转换,从而直接赋能于更多数字业务发展的作用,因此具有巨大关注价值和提效空间。4.安全,机密计算需求在计算的过程中,数据存在三种状态:传输中、静止和使用中。数据于网络中传输属于“传输中”状态,存储的数据属于“静止”状态,正在处理的数据属于“使用中”状态。传统的安全技术对静态存储或网络传输状态的数据可以进行有效保护,但解决不了的个人信息或者重要业务数据使用阶段的安全问题和风险,包括云计算服务中多租户数据安全问题。机密计算通过在可信硬件基础上配套软件构建加密、隔离、可证明的计算环境,在该环境中执行计算来保护运行中的数据和代码,它可以从服务器芯片级保障 OS kernel、Hypervisor 等特权软件在已经遭到破坏甚至本来就是恶意的情况下,仍然可以保证系统运行时敏感数据和代码的机密性和完整性。产业界对机密计算的需求来自多个方面,其一,是来自行业与用户的互信需求,需要在不可信的环境中保护用户数据安全及隐私;其二,来自行业自身的防御需求,在不可信的环境中通过有效手段,如增加攻击复杂性、实施深度防御等,来保护企业数据安全;其三,来自机构之间数据共享的需求,通过机密计算保障互信不足的合作方仍然能进行数据合作。1.3.2处理器技术趋势图表 8 Arm 可伸缩矢量扩展SVE-SVE2提升性能SME是在可伸缩向量扩展(Scalable Vector Extensions,SVE和SVE2)的基础上建立的,并增加了有效处理矩阵的能力,主要功能包括:矩阵tile的存储存取,插入,提取 tile向量,包括on-the-fly 转置计算SVE向量的外积(Outer product)Streaming SVE 模式2、多核异构网状互连应用所需的性能无法通过纯粹以CPU为中心的解决方案实现服务器架构,而是需要基于高效异构的解决方案。包括各类加速器,例如图形处理单元、FPGA、智能网卡/DPU和许多其他特定域的可编程设备。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)3)Secure El2多个供应商提供的多个可信应用都运行在安全世界中,将这些应用相互隔离变得越来越重要。Secure El2扩展增加了对安全世界中虚拟化的支持,并启用安全分区管理器。安全分区管理器支持安全的空间分区,为分区提供所需的安全访问,同时将它们彼此隔离。4)Armv9 CCA机密计算架构为了解决保护数据的技术挑战,Armv9架构引入了Arm机密计算架构(CCA)。机密计算通过在基于硬件的安全环境中执行计算,使部分代码和数据在使用时不受非法访问或修改,甚至不受特权软件的影响。Armv8架构基于TrustZone TEE实现机密计算面临两个方面挑战,一是无法隔离安全世界TEE,使得可信应用必须信任设备,二是不支持动态分配安全内存。Armv9 CCA将引入动态创建域的概念,所有应用程序都可以使用这个概念,这个域与安全世界和非安全世界都是隔离的,而且可以动态分配域使用的内存。例如,在业务应用程序中,域可以在使用、静态和传输过程中保护商业敏感数据和代码不受系统其他部分的影响。1819计算性能越来越高的同时,系统间互连的挑战越来越大,Arm 系统 IP CMN对于实现可扩展效率至关重要,它允许合作伙伴从低核心数扩展到最多 256 个核心,并以每秒近 4 兆字节的带宽实现。此外,CMN支持AMBA CHI、DDR5、UCIe、PCIe、CXL等主流外围设备和芯片间互操作标准,确保兼容性。图表 9 Arm芯片互联接口技术介绍3、性能与功耗平衡Arm开发了新的电源管理和低延迟工具,使系统软件能够在TDP限制定义的预定义电源和热包线内进行电源性能权衡。这些低延迟工具完全可编程,以扩展动态电压频率缩放(DVFS)的典型功能。其中包括最大功耗缓解机制(MPMM),它是一个可调的电源管理系统,允许客户以尽可能高的频率运行高核数处理器,而调度限制(DT)系统可以在某些工作负载和高IPC时降低功耗,比如矢量化工作。4、安全可信安全在基础设施中的重要性怎么强调都不为过,多年来云服务提供商已经提供加密服务来对在存储以及在传输过程中的数据进行保护,机密计算通过保护正在使用的数据(在处理或运行中的数据),从而消除了数据计算时的安全漏洞,ArmV8-A架构下可以基于TrustZone TEE来实现机密计算,ArmV9-A CCA能更好满足机密计算所需的更高隔离和内存动态分配要求。Arm也提供了许多新安全功能来帮助解决基础设施的安全需求:1)指针身份验证(PAC)和分支目标指令(BTI)防止面向返回的编程跳转的代码重用攻击,提供使恶意参与者可以利用的可用小工具最小化的机制。在glibc上,启用PAC和BTI将可用小工具的数量减少了97%以上,而代码大小的损失仅为1%到-2%。2)内存标记扩展(MTE)内存安全问题占安全漏洞的70%以上,MTE提供了一种检测内存安全冲突的机制。MTE通过提高测试和模糊化的有效性,帮助在部署之前检测潜在的漏洞。MTE还可以帮助在部署后检测大规模的漏洞,易于部署的内存安全违规检测和缓解措施可以防止一大类安全漏洞被利用。图表 10 从Armv8-A TrustZone TEE 到 Armv9-A RME机密计算架构1.3.3 Arm Neoverse产品路标Arm 在整个基础设施市场中正快速迭代创新,其路线图包括应用于云、高性能计算(HPC)和 人工智能(AI)领域的追求极致性能、优异的总拥有成本 V 系列;应用于云、5G、网络和边缘领域,注重平衡性、能效比N 系列;以及应用于 5G、网络和基础设施边缘领域,主攻高能效的 E 系列。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)3)Secure El2多个供应商提供的多个可信应用都运行在安全世界中,将这些应用相互隔离变得越来越重要。Secure El2扩展增加了对安全世界中虚拟化的支持,并启用安全分区管理器。安全分区管理器支持安全的空间分区,为分区提供所需的安全访问,同时将它们彼此隔离。4)Armv9 CCA机密计算架构为了解决保护数据的技术挑战,Armv9架构引入了Arm机密计算架构(CCA)。机密计算通过在基于硬件的安全环境中执行计算,使部分代码和数据在使用时不受非法访问或修改,甚至不受特权软件的影响。Armv8架构基于TrustZone TEE实现机密计算面临两个方面挑战,一是无法隔离安全世界TEE,使得可信应用必须信任设备,二是不支持动态分配安全内存。Armv9 CCA将引入动态创建域的概念,所有应用程序都可以使用这个概念,这个域与安全世界和非安全世界都是隔离的,而且可以动态分配域使用的内存。例如,在业务应用程序中,域可以在使用、静态和传输过程中保护商业敏感数据和代码不受系统其他部分的影响。1819计算性能越来越高的同时,系统间互连的挑战越来越大,Arm 系统 IP CMN对于实现可扩展效率至关重要,它允许合作伙伴从低核心数扩展到最多 256 个核心,并以每秒近 4 兆字节的带宽实现。此外,CMN支持AMBA CHI、DDR5、UCIe、PCIe、CXL等主流外围设备和芯片间互操作标准,确保兼容性。图表 9 Arm芯片互联接口技术介绍3、性能与功耗平衡Arm开发了新的电源管理和低延迟工具,使系统软件能够在TDP限制定义的预定义电源和热包线内进行电源性能权衡。这些低延迟工具完全可编程,以扩展动态电压频率缩放(DVFS)的典型功能。其中包括最大功耗缓解机制(MPMM),它是一个可调的电源管理系统,允许客户以尽可能高的频率运行高核数处理器,而调度限制(DT)系统可以在某些工作负载和高IPC时降低功耗,比如矢量化工作。4、安全可信安全在基础设施中的重要性怎么强调都不为过,多年来云服务提供商已经提供加密服务来对在存储以及在传输过程中的数据进行保护,机密计算通过保护正在使用的数据(在处理或运行中的数据),从而消除了数据计算时的安全漏洞,ArmV8-A架构下可以基于TrustZone TEE来实现机密计算,ArmV9-A CCA能更好满足机密计算所需的更高隔离和内存动态分配要求。Arm也提供了许多新安全功能来帮助解决基础设施的安全需求:1)指针身份验证(PAC)和分支目标指令(BTI)防止面向返回的编程跳转的代码重用攻击,提供使恶意参与者可以利用的可用小工具最小化的机制。在glibc上,启用PAC和BTI将可用小工具的数量减少了97%以上,而代码大小的损失仅为1%到-2%。2)内存标记扩展(MTE)内存安全问题占安全漏洞的70%以上,MTE提供了一种检测内存安全冲突的机制。MTE通过提高测试和模糊化的有效性,帮助在部署之前检测潜在的漏洞。MTE还可以帮助在部署后检测大规模的漏洞,易于部署的内存安全违规检测和缓解措施可以防止一大类安全漏洞被利用。图表 10 从Armv8-A TrustZone TEE 到 Armv9-A RME机密计算架构1.3.3 Arm Neoverse产品路标Arm 在整个基础设施市场中正快速迭代创新,其路线图包括应用于云、高性能计算(HPC)和 人工智能(AI)领域的追求极致性能、优异的总拥有成本 V 系列;应用于云、5G、网络和边缘领域,注重平衡性、能效比N 系列;以及应用于 5G、网络和基础设施边缘领域,主攻高能效的 E 系列。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)2021图表 11 Arm Neoverse平台路标1、Neoverse V系列Neoverse V2提供了市场领先的单线程性能,V2平台采用最新的64位的Armv9-A指令集和广泛部署的CMN-700 mesh互连技术,带宽高达4TB/s,同时系统末级缓存容量最高512MB,是上代的四倍。增加了2MB的专用L2缓存,比V1平台翻一倍;采用SVE2可以帮助满足更多非HPC ML类型的工作负载,将矢量引擎重构为4通道的128位,并对微架构进行了调整,以提高其有效吞吐量。V2之后的下一代V系列产品,代号Poseidon平台,将会加入PCIe 6.0、CXL 3.0总线,支持RME的机密计算安全架构。2、Neoverse N?N系列方面继续保持市场领先的性能功耗比,已有Intel,Marvel等多家厂商发布了基于N系列的DPU产品。Neoverse N2是N系列第一个基于Armv9架构的平台,在安全性、能耗以及性能方面都有全面的提升。相比于N1,N2的单线程性能提升了40%。新一代N系列产品将在性能和效率方面实现代际提升。3、Neoverse E?Neoverse E系列正广泛应用于数据平面处理、5G RAN、边缘网络和加速器等领域。Neoverse E2平台,结合Arm Cortex-A510 CPU与可扩展的Neoverse CMN-700,条件相对受限的应用也能充分利用诸如可扩展的核心数量范围、Arm System Ready兼容性等云技术。1.3.4芯片产品进展近年来,Arm 及合作伙伴一直在推动整个行业的多项新创新。推动了许多与基础设施相关的行业第一,包括第一个实现每秒 TB 级内存带宽芯片、第一个超过 100 核芯片、第一个实现 DDR5 和 PCIe Gen 5、第一个实现 LPDDR 5 和第一个 DPU都基于Arm实现。图表 12 基于Arm的基础设施芯片创新图表 13 基于Arm的基础设施芯片性能提升除了 CPU 之外,全球主要的超大规模数据中心供应商还利用 基于Arm DPU 来重建其基础设施。目前市场上的多种 DPU 均基于 Neoverse 平台;包括 AWS Nitro、Marvel OCTEON、Intel Mount Evans 和 AMD Pensando。图表 14 基于Arm的DPU芯片此外,Arm、软银和 NVIDIA 之间的最新合作旨在重塑 5G 数据中心。作为合作的一部分,Grace Hopper Superchip 正在为人工智能数据中心提供支持,该数据中心旨在提高投资回报率(ROI),同时为长期存在的问题提供解决方案,包括 Open RAN 面临的挑战以及边缘人工智能支持的承诺 5G 和物联网。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)2021图表 11 Arm Neoverse平台路标1、Neoverse V系列Neoverse V2提供了市场领先的单线程性能,V2平台采用最新的64位的Armv9-A指令集和广泛部署的CMN-700 mesh互连技术,带宽高达4TB/s,同时系统末级缓存容量最高512MB,是上代的四倍。增加了2MB的专用L2缓存,比V1平台翻一倍;采用SVE2可以帮助满足更多非HPC ML类型的工作负载,将矢量引擎重构为4通道的128位,并对微架构进行了调整,以提高其有效吞吐量。V2之后的下一代V系列产品,代号Poseidon平台,将会加入PCIe 6.0、CXL 3.0总线,支持RME的机密计算安全架构。2、Neoverse N?N系列方面继续保持市场领先的性能功耗比,已有Intel,Marvel等多家厂商发布了基于N系列的DPU产品。Neoverse N2是N系列第一个基于Armv9架构的平台,在安全性、能耗以及性能方面都有全面的提升。相比于N1,N2的单线程性能提升了40%。新一代N系列产品将在性能和效率方面实现代际提升。3、Neoverse E?Neoverse E系列正广泛应用于数据平面处理、5G RAN、边缘网络和加速器等领域。Neoverse E2平台,结合Arm Cortex-A510 CPU与可扩展的Neoverse CMN-700,条件相对受限的应用也能充分利用诸如可扩展的核心数量范围、Arm System Ready兼容性等云技术。1.3.4芯片产品进展近年来,Arm 及合作伙伴一直在推动整个行业的多项新创新。推动了许多与基础设施相关的行业第一,包括第一个实现每秒 TB 级内存带宽芯片、第一个超过 100 核芯片、第一个实现 DDR5 和 PCIe Gen 5、第一个实现 LPDDR 5 和第一个 DPU都基于Arm实现。图表 12 基于Arm的基础设施芯片创新图表 13 基于Arm的基础设施芯片性能提升除了 CPU 之外,全球主要的超大规模数据中心供应商还利用 基于Arm DPU 来重建其基础设施。目前市场上的多种 DPU 均基于 Neoverse 平台;包括 AWS Nitro、Marvel OCTEON、Intel Mount Evans 和 AMD Pensando。图表 14 基于Arm的DPU芯片此外,Arm、软银和 NVIDIA 之间的最新合作旨在重塑 5G 数据中心。作为合作的一部分,Grace Hopper Superchip 正在为人工智能数据中心提供支持,该数据中心旨在提高投资回报率(ROI),同时为长期存在的问题提供解决方案,包括 Open RAN 面临的挑战以及边缘人工智能支持的承诺 5G 和物联网。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)23第二章 CHAPTER 2绿色计算处理器和固件生态2.1综述随着大数据、物联网、人工智能等技术快速发展,数据呈现爆炸式增长的态势,这也对于云端的计算力提出了更高的要求,推动了全球服务器及服务器CPU市场的持续增长。曾几何时,Intel在全球服务器CPU市场可谓是一家独大,但随着摩尔定律的放缓,以及云计算、端云协同对于计算架构需求的变化,云端计算架构体系开始重构,Arm架构在服务器CPU市场渐成气候。Arm架构跨越性能鸿沟,Arm阵营全方位推进:原有数据中心服务器算力的提升,主要是依赖于摩尔定律推动之下的CPU的半导体制程工艺的提升和CPU内核架构的提升。2018年,Arm推出了针对数据中心服务器及边缘服务器市场的全新Neoverse平台,包括Neoverse V/N/E系列,并确认每一代Neoverse平台都将带来30%的性能提升。随后众多企业推出了基于Neoverse的服务器CPU,例如亚马逊已经发布了三代Graviton处理器,并大范围运用到亚马逊的云中;Nvidia则是发布了应用于超算和AI场景的Grace CPU;微软、谷歌也正在研发基于相应的服务器CPU。云计算、移动互联网加持,推动Arm软件生态发展:随着IT架构“云化”转型的进一步深入,Arm的众核并行计算优势开始凸显。在此背景之下,不少软件厂商开始基于成熟的开源软件打造不依赖于x86架构的商业化解决方案。同时,随着移动互联网、5G技术和边缘计算的发展,推动了算力空间开始发生结构性变化,云端计算的协同发展是大趋势。目前移动终端和IoT市场超过90%的CPU是基于Arm架构,终端侧Arm的软件生态极其丰富,这也使得云端侧的软件开发者开始兼顾Arm生态,支持Arm相关生态的底层系统和上层应用也逐渐增加,比如三大Linux发行版(Ubuntu、Suse和Redhat)都已经直接有支持Arm Server的版本。据相关数据统计,今年一季度Arm在全球服务器市场的出货量份额已经达到了10%,其中40%出货是在中国市场。虽然目前大多数服务器仍然是基于x86处理器,但越来越多的应用开始运行在基于Arm架构的服务器CPU上。2.2处理器代表企业2.2.1 华为1、鲲鹏计算介绍数字经济时代,ICT技术的蓬勃发展加速计算应用创新多元化的应用场景和数据类型,驱动计算架构向多样性发展。其中,以鲲鹏为代表的基于Arm架构的计算平台,因其多核、低功耗、端云同构等特点在场景多样化计算时代具备显著优势。目前,越来越多的行业如电信、金融、政务、能源等,均选择将应用部署在鲲鹏平台之上。绿色计算产业发展白皮书(2023版)23第二章 CHAPTER 2绿色计算处理器和固件生态2.1综述随着大数据、物联网、人工智能等技术快速发展,数据呈现爆炸式增长的态势,这也对于云端的计算力提出了更高的要求,推动了全球服务器及服务器CPU市场的持续增长。曾几何时,Intel在全球服务器CPU市场可谓是一家独大,但随着摩尔定律的放缓,以及云计算、端云协同对于计算架构需求的变化,云端计算架构体系开始重构,Arm架构在服务器CPU市场渐成气候。Arm架构跨越性能鸿沟,Arm阵营全方位推进:原有数据中心服务器算力的提升,主要是依赖于摩尔定律推动之下的CPU的半导体制程工艺的提升和CPU内核架构的提升。2018年,Arm推出了针对数据中心服务器及边缘服务器市场的全新Neoverse平台,包括Neoverse V/N/E系列,并确认每一代Neoverse平台都将带来30%的性能提升。随后众多企业推出了基于Neoverse的服务器CPU,例如亚马逊已经发布了三代Graviton处理器,并大范围运用到亚马逊的云中;Nvidia则是发布了应用于超算和AI场景的Grace CPU;微软、谷歌也正在研发基于相应的服务器CPU。云计算、移动互联网加持,推动Arm软件生态发展:随着IT架构“云化”转型的进一步深入,Arm的众核并行计算优势开始凸显。在此背景之下,不少软件厂商开始基于成熟的开源软件打造不依赖于x86架构的商业化解决方案。同时,随着移动互联网、5G技术和边缘计算的发展,推动了算力空间开始发生结构性变化,云端计算的协同发展是大趋势。目前移动终端和IoT市场超过90%的CPU是基于Arm架构,终端侧Arm的软件生态极其丰富,这也使得云端侧的软件开发者开始兼顾Arm生态,支持Arm相关生态的底层系统和上层应用也逐渐增加,比如三大Linux发行版(Ubuntu、Suse和Redhat)都已经直接有支持Arm Server的版本。据相关数据统计,今年一季度Arm在全球服务器市场的出货量份额已经达到了10%,其中40%出货是在中国市场。虽然目前大多数服务器仍然是基于x86处理器,但越来越多的应用开始运行在基于Arm架构的服务器CPU上。2.2处理器代表企业2.2.1 华为1、鲲鹏计算介绍数字经济时代,ICT技术的蓬勃发展加速计算应用创新多元化的应用场景和数据类型,驱动计算架构向多样性发展。其中,以鲲鹏为代表的基于Arm架构的计算平台,因其多核、低功耗、端云同构等特点在场景多样化计算时代具备显著优势。目前,越来越多的行业如电信、金融、政务、能源等,均选择将应用部署在鲲鹏平台之上。绿色计算产业发展白皮书(2023版)24252019年华为正式发布鲲鹏计算产业。鲲鹏计算产业是基于鲲鹏处理器的基础软硬件设施、行业应用及服务,涵盖从底层硬件、基础软件到上层行业应用的全产业链条。鲲鹏计算产业是基于鲲鹏计算平台的基础软硬件设施、行业应用及服务,涵盖从底层硬件、基础软件到上层行业应用的全产业链条。华为向业界开放鲲鹏全栈能力,包括进一步开放鲲鹏主板,使能伙伴差异化创新,推出场景适配性更好的整机产品;开源操作系统openEuler、企业级开源数据库openGauss、使能合作伙伴推出商业发行版,繁荣基础软件生态;开放鲲鹏应用使能套件(鲲鹏BoostKit,英文名:Kunpeng BoostKit)和鲲鹏开发套件(鲲鹏DevKit,英文名:Kunpeng DevKit),使能伙伴和开发者快速创新行业应用。硬件方面,鲲鹏主板走向更加开放的局面,华为自身仅聚焦“CPU 内存”最小计算单元,通过天池架构全量组件化创新,实现从使能伙伴创新走向伙伴主导创新的转变。基础软件方面,开源操作系统openEuler,开创性的提出全场景操作系统理念,通过全栈原子化解耦,实现版本灵活构建、服务自由组合。通过一套操作系统架构,实现了对服务器、云计算、边缘计算和嵌入式等场景的支持。企业级开源数据库openGauss5.0在2023年3月份上线,架构内核持续创新,支撑企业核心业务。应用软件方面,提供鲲鹏DevKit和鲲鹏BoostKit两个使能套件,使能极简开发、极致性能。持续升级鲲鹏开发工具DevKit,在原有迁移、原生开发能力持续增强基础上,新增提供组件化、服务化能力,让开发更便捷。2023年发布鲲鹏DevKit23.0,通过工具组件化,使得开发者以前需要手动提交适配之后的代码到开发流水线,到现在,可以将DevKit按需集成到现有DevOps流水线中,每天自动扫描、修改、提交代码,非常便捷的发布版本;而且,还可以一键开通云开发服务,随时随地迁移、开发。性能优化上,发布鲲鹏BoostKit23.0,升级“5大”场景化(大数据场景、HPC场景、机密计算场景、数据库场景、分布式存储场景)能力,同时持续贡献、迭代基础软件openEuler和openGauss内核能力,通过软硬协同,充分释放鲲鹏算力,使能行业应用极致性能。2、生态进展目前,已有11家合作伙伴推出基于鲲鹏主板的服务器产品,2022年整机伙伴发货占比达95%;已有4500多个合作伙伴,13500多个解决方案通过鲲鹏兼容性测试认证,在金融、电力、政府、运营商等行业全面落地;国内外主流操作系统伙伴均已发布openEuler商业发行版本,数十家数据库伙伴均发布openGauss商业发行版本;在全国建设24个鲲鹏生态创新中心;发展超过200万鲲鹏开发者,面向硬件、软件和应用全栈创新。鲲鹏当前已广泛服务与政府、金融、运营商、电力等行业,成为行业的首选技术路线。1、OurBMC社区介绍BMC全称为基板管理控制器(Baseboard Management Controller),是服务器的管理控制单元,是用于监控和管理服务器的专用控制器,有设备信息管理、服务器状态监控管理、服务器远程控制管理、维护管理等功能。BMC以其多功能、易操作、广兼容、更底层的应用优势愈加受到各行业的青睐,成为服务器基础生态的重要组成部分。飞腾联合昆仑太科、百敖等行业头部企业发起成立BMC开源技术根社区OurBMC,旨在推进BMC技术快速发展,辐射上下游形成产业共振,加速构建繁荣的信息系统软硬件生态。OurBMC社区成立大会暨理事会第一次会议于2023年7月12日在北京成功举行,标志着中国首个BMC根社区OurBMC 社区正式成立。OurBMC社区将充分发挥各成员在BMC领域的技术专长,以及多年的开源社区的开发和贡献经验,秉持开放、平等、协作、创新的原则,将社区建设为由基础软硬件企业、第三方机构、高等院校、个人开发者等共同参与贡献的社区。社区将致力于为BMC开发者提供国内首个开源BMC技术平台,涵盖BMC软件、系统内核、启动固件、硬件等BMC全栈软硬件,用于使用、交流和创新BMC技术,立足开放合作和技术创新,共同推进BMC技术和相关软硬件生态的繁荣发展。飞腾基于自研芯片飞腾腾珑E2000实现了对OpenBMC的适配,为客户提供全方位的BMC软硬件解决方案,并开放E2000 BMC板卡的DDR4及Gen-Z硬件接口规范、硬件图的参考设计;提供可视化的固件配置工具,且支持安全启动。目前已实现共飞腾一期首批软硬件产品落地,100%国产化设计,飞腾服务器配套飞腾BMC,兼容性更强;重点完成了redfish、IPMI、KVM、UOL等关键核心功能开发与验证;软件方面从uboot、kernel、filesystem到tools,自底向上开源支持。同时飞腾还积极投身OurBMC社区建设,在社区贡献飞腾E2000 BMC的uboot、内核、板级BSP的全套源码,协助客户实现BMC产品的迭代升级,共建BMC生态。2、基础算法库PhyLibs介绍飞腾秉持绿色计算的理念,在持续推进处理器设计革新的同时,也高度重视从硬件算力到软件算能的萃取。目前,以高性能计算、多媒体处理、安全、人工智能等热点领域为牵引,飞腾对信号处理库、线性代数库、基础数学库、密码算法库、图像处理库、AI加速库以及网络加速库等基础软件进行了深度优化,增强底层实现与飞腾处理器硬件架构的亲和性,重构算法设计突破算力效能瓶颈,实现了飞腾高性能基础算法库PhyLibs,核心算能均有显著提升。PhyLibs信号处理库符合vsipl规范,提供向量运算、矩阵运算、快速傅里叶变换、滤波函数、希尔伯特变换、卷积等高性能计算接口。相比公版vsipl,向量运算模块加速比在1.18-30.38之间、加速比2.0以上函数占比55.2%,矩阵运算模块加速比在1.17-508.00之间、加速比2.0以上函数占比56.3%,信号处理模块加速比在1.36-45.021之间、加速比2.0以上函数占比51.3%。PhyLibs基础数学库广泛应用于科学与工程计算,主要包括三角函数、幂函数、双曲函数、指数函数、对数函数等,优化前后总体加速比在1.09-22.06之间,加速比2.0以上函数占68.18%。PhyLibs密码库支持国家商用密码算法,性能相比较业内标杆有大幅提升。其中,相比开源社区密码库,SM4 CTR算法提升20%,SM4-ECB、SM4-CFB算法在短字节(512Byte)下提升30%,SM4 CBC算法提升300%。SM3算法相比OpenSSL v3.1.1提升40%,祖冲之EIA3算法相比IPSec-mb-Arm提升 50%,SM2签名算法相比GmSSL v2提升900%。飞腾基于PhyLibs密码库实现了密码协处理引擎,支持用户按需调配算力、与异构硬件密码引擎算能融合,向上适配OpenSSL、DPDK等开源密码库中间件,高效支撑Nignx等应用。飞腾将继续以PhyLibs为抓手,推动硬件、软件协同优化设计,让算力更丰沛、算能更高效,更好地赋能绿色计算生态。2.2.2 飞腾绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)24252019年华为正式发布鲲鹏计算产业。鲲鹏计算产业是基于鲲鹏处理器的基础软硬件设施、行业应用及服务,涵盖从底层硬件、基础软件到上层行业应用的全产业链条。鲲鹏计算产业是基于鲲鹏计算平台的基础软硬件设施、行业应用及服务,涵盖从底层硬件、基础软件到上层行业应用的全产业链条。华为向业界开放鲲鹏全栈能力,包括进一步开放鲲鹏主板,使能伙伴差异化创新,推出场景适配性更好的整机产品;开源操作系统openEuler、企业级开源数据库openGauss、使能合作伙伴推出商业发行版,繁荣基础软件生态;开放鲲鹏应用使能套件(鲲鹏BoostKit,英文名:Kunpeng BoostKit)和鲲鹏开发套件(鲲鹏DevKit,英文名:Kunpeng DevKit),使能伙伴和开发者快速创新行业应用。硬件方面,鲲鹏主板走向更加开放的局面,华为自身仅聚焦“CPU 内存”最小计算单元,通过天池架构全量组件化创新,实现从使能伙伴创新走向伙伴主导创新的转变。基础软件方面,开源操作系统openEuler,开创性的提出全场景操作系统理念,通过全栈原子化解耦,实现版本灵活构建、服务自由组合。通过一套操作系统架构,实现了对服务器、云计算、边缘计算和嵌入式等场景的支持。企业级开源数据库openGauss5.0在2023年3月份上线,架构内核持续创新,支撑企业核心业务。应用软件方面,提供鲲鹏DevKit和鲲鹏BoostKit两个使能套件,使能极简开发、极致性能。持续升级鲲鹏开发工具DevKit,在原有迁移、原生开发能力持续增强基础上,新增提供组件化、服务化能力,让开发更便捷。2023年发布鲲鹏DevKit23.0,通过工具组件化,使得开发者以前需要手动提交适配之后的代码到开发流水线,到现在,可以将DevKit按需集成到现有DevOps流水线中,每天自动扫描、修改、提交代码,非常便捷的发布版本;而且,还可以一键开通云开发服务,随时随地迁移、开发。性能优化上,发布鲲鹏BoostKit23.0,升级“5大”场景化(大数据场景、HPC场景、机密计算场景、数据库场景、分布式存储场景)能力,同时持续贡献、迭代基础软件openEuler和openGauss内核能力,通过软硬协同,充分释放鲲鹏算力,使能行业应用极致性能。2、生态进展目前,已有11家合作伙伴推出基于鲲鹏主板的服务器产品,2022年整机伙伴发货占比达95%;已有4500多个合作伙伴,13500多个解决方案通过鲲鹏兼容性测试认证,在金融、电力、政府、运营商等行业全面落地;国内外主流操作系统伙伴均已发布openEuler商业发行版本,数十家数据库伙伴均发布openGauss商业发行版本;在全国建设24个鲲鹏生态创新中心;发展超过200万鲲鹏开发者,面向硬件、软件和应用全栈创新。鲲鹏当前已广泛服务与政府、金融、运营商、电力等行业,成为行业的首选技术路线。1、OurBMC社区介绍BMC全称为基板管理控制器(Baseboard Management Controller),是服务器的管理控制单元,是用于监控和管理服务器的专用控制器,有设备信息管理、服务器状态监控管理、服务器远程控制管理、维护管理等功能。BMC以其多功能、易操作、广兼容、更底层的应用优势愈加受到各行业的青睐,成为服务器基础生态的重要组成部分。飞腾联合昆仑太科、百敖等行业头部企业发起成立BMC开源技术根社区OurBMC,旨在推进BMC技术快速发展,辐射上下游形成产业共振,加速构建繁荣的信息系统软硬件生态。OurBMC社区成立大会暨理事会第一次会议于2023年7月12日在北京成功举行,标志着中国首个BMC根社区OurBMC 社区正式成立。OurBMC社区将充分发挥各成员在BMC领域的技术专长,以及多年的开源社区的开发和贡献经验,秉持开放、平等、协作、创新的原则,将社区建设为由基础软硬件企业、第三方机构、高等院校、个人开发者等共同参与贡献的社区。社区将致力于为BMC开发者提供国内首个开源BMC技术平台,涵盖BMC软件、系统内核、启动固件、硬件等BMC全栈软硬件,用于使用、交流和创新BMC技术,立足开放合作和技术创新,共同推进BMC技术和相关软硬件生态的繁荣发展。飞腾基于自研芯片飞腾腾珑E2000实现了对OpenBMC的适配,为客户提供全方位的BMC软硬件解决方案,并开放E2000 BMC板卡的DDR4及Gen-Z硬件接口规范、硬件图的参考设计;提供可视化的固件配置工具,且支持安全启动。目前已实现共飞腾一期首批软硬件产品落地,100%国产化设计,飞腾服务器配套飞腾BMC,兼容性更强;重点完成了redfish、IPMI、KVM、UOL等关键核心功能开发与验证;软件方面从uboot、kernel、filesystem到tools,自底向上开源支持。同时飞腾还积极投身OurBMC社区建设,在社区贡献飞腾E2000 BMC的uboot、内核、板级BSP的全套源码,协助客户实现BMC产品的迭代升级,共建BMC生态。2、基础算法库PhyLibs介绍飞腾秉持绿色计算的理念,在持续推进处理器设计革新的同时,也高度重视从硬件算力到软件算能的萃取。目前,以高性能计算、多媒体处理、安全、人工智能等热点领域为牵引,飞腾对信号处理库、线性代数库、基础数学库、密码算法库、图像处理库、AI加速库以及网络加速库等基础软件进行了深度优化,增强底层实现与飞腾处理器硬件架构的亲和性,重构算法设计突破算力效能瓶颈,实现了飞腾高性能基础算法库PhyLibs,核心算能均有显著提升。PhyLibs信号处理库符合vsipl规范,提供向量运算、矩阵运算、快速傅里叶变换、滤波函数、希尔伯特变换、卷积等高性能计算接口。相比公版vsipl,向量运算模块加速比在1.18-30.38之间、加速比2.0以上函数占比55.2%,矩阵运算模块加速比在1.17-508.00之间、加速比2.0以上函数占比56.3%,信号处理模块加速比在1.36-45.021之间、加速比2.0以上函数占比51.3%。PhyLibs基础数学库广泛应用于科学与工程计算,主要包括三角函数、幂函数、双曲函数、指数函数、对数函数等,优化前后总体加速比在1.09-22.06之间,加速比2.0以上函数占68.18%。PhyLibs密码库支持国家商用密码算法,性能相比较业内标杆有大幅提升。其中,相比开源社区密码库,SM4 CTR算法提升20%,SM4-ECB、SM4-CFB算法在短字节(512Byte)下提升30%,SM4 CBC算法提升300%。SM3算法相比OpenSSL v3.1.1提升40%,祖冲之EIA3算法相比IPSec-mb-Arm提升 50%,SM2签名算法相比GmSSL v2提升900%。飞腾基于PhyLibs密码库实现了密码协处理引擎,支持用户按需调配算力、与异构硬件密码引擎算能融合,向上适配OpenSSL、DPDK等开源密码库中间件,高效支撑Nignx等应用。飞腾将继续以PhyLibs为抓手,推动硬件、软件协同优化设计,让算力更丰沛、算能更高效,更好地赋能绿色计算生态。2.2.2 飞腾绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)1、产品介绍 全新AmpereOne 系列处理器5月,Ampere Computing 宣布推出5nm全新AmpereOne 系列处理器,该处理器拥有多达 192 个单线程 Ampere 核,内核数量为业界最高。这是第一款基于 Ampere 新自研核的产品,由 Ampere 自有 IP 全新打造。26273、生态进展截至2023年6月底,飞腾的生态伙伴数量已经近5500家,包括集成商合作伙伴300 家、硬件合作伙伴1230 家、软件合作伙伴3900 家。目前,飞腾已联合数千家国内软硬件厂商,支撑了3630多款飞腾平台设备上市,已经和正在适配的软件超过11200种,与近2万款开源软件产品完成了适配,兼容200万级移动APP应用,构建起了国内最完善、最庞大的从端到云的信息化建设全栈生态体系。2.2.3 安晟培图表 15 AmpereOne系列处理器示例AmpereOne 具备大型云优化私有缓存以及针对 AI 等高增长的云应用的新功能。这些新功能,如网格拥塞管理(Mesh Congestion Management)、细粒度电源管理(Fine Grained Power Management)和内存标签(Memory Tagging)等,为高性能、高利用率的多用户环境(如云)提高了性能一致性、可管理性和安全性。通过增加 8 通道的 DDR5 内存和128 通道的 PCIe Gen5 Io,整个平台实现了扩展。这些技术创新为Ampere 客户的云原生工作负载提供了最高的整体性能、可扩展性和密度。此外,得益于低延迟和高吞吐量,Ampere 云原生处理器在 AI 推理方面较其他 CPU 有 2 倍以上的性能优势。2、生态进展Ampere 的客户群包括谷歌云、微软 Azure、甲骨文云、阿里巴巴和腾讯等领先的云服务提供商(CSP),以及 HPE 和 Supermicro 等领先的原始设备制造商(OEM),这也体现了客户对 Ampere 产品组合的信心。2.2.4 英伟达1、产品介绍 NVIDIA Grace Hopper 超级芯片NVIDIA Grace Hopper 超级芯片是一款专为大规模 AI 和高性能计算应用打造的加速 CPU,可以为运行 TB 级数据的应用提供高达 10 倍的性能。该芯片通过 NVIDIA NVLink-C2C 互连技术将 Grace 和 Hopper 架构相结合,为加速 AI 和 HPC 应用提供 CPU GPU 相结合的一致内存模型。技术规格:Grace Arm Neoverse V2 CPU 高达 480GB 的 LPDDR5X内存 高达 96GB 的 HBM3 NVLink-C2C:900GB/s一致性接口,比 PCIe 5.0 快 7 倍 节能 1,000W 模块(CPU,GPU和内存)可运行完整的 NVIDIA 软件栈和平台,包括 NVIDIA HPC SDK、NVIDIA AI 和 NVIDIA Omniverse图表 16 NVIDIA Grace Hopper 超级芯片示例在今年SIGGRAPH大会上,NVIDIA 发布新一代GH200 Grace Hopper 平台,该平台基于全球首款搭载 HBM3e 处理器的 Grace Hopper 超级芯片,专为加速计算和生成式 AI 时代而构建。新平台专为处理大语言模型、推荐系统、矢量数据库等全球最复杂的生成式 AI 工作负载而构建,将提供多种配置选择。该平台采用双配置提供的内存容量和带宽比当前产品分别增加了 3.5 倍和 3 倍包括一个拥有 144 个 Arm Neoverse 内核、8 petaflops 的 AI 性能和 282GB 最新 HBM3e 内存技术的单个服务器。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)1、产品介绍 全新AmpereOne 系列处理器5月,Ampere Computing 宣布推出5nm全新AmpereOne 系列处理器,该处理器拥有多达 192 个单线程 Ampere 核,内核数量为业界最高。这是第一款基于 Ampere 新自研核的产品,由 Ampere 自有 IP 全新打造。26273、生态进展截至2023年6月底,飞腾的生态伙伴数量已经近5500家,包括集成商合作伙伴300 家、硬件合作伙伴1230 家、软件合作伙伴3900 家。目前,飞腾已联合数千家国内软硬件厂商,支撑了3630多款飞腾平台设备上市,已经和正在适配的软件超过11200种,与近2万款开源软件产品完成了适配,兼容200万级移动APP应用,构建起了国内最完善、最庞大的从端到云的信息化建设全栈生态体系。2.2.3 安晟培图表 15 AmpereOne系列处理器示例AmpereOne 具备大型云优化私有缓存以及针对 AI 等高增长的云应用的新功能。这些新功能,如网格拥塞管理(Mesh Congestion Management)、细粒度电源管理(Fine Grained Power Management)和内存标签(Memory Tagging)等,为高性能、高利用率的多用户环境(如云)提高了性能一致性、可管理性和安全性。通过增加 8 通道的 DDR5 内存和128 通道的 PCIe Gen5 Io,整个平台实现了扩展。这些技术创新为Ampere 客户的云原生工作负载提供了最高的整体性能、可扩展性和密度。此外,得益于低延迟和高吞吐量,Ampere 云原生处理器在 AI 推理方面较其他 CPU 有 2 倍以上的性能优势。2、生态进展Ampere 的客户群包括谷歌云、微软 Azure、甲骨文云、阿里巴巴和腾讯等领先的云服务提供商(CSP),以及 HPE 和 Supermicro 等领先的原始设备制造商(OEM),这也体现了客户对 Ampere 产品组合的信心。2.2.4 英伟达1、产品介绍 NVIDIA Grace Hopper 超级芯片NVIDIA Grace Hopper 超级芯片是一款专为大规模 AI 和高性能计算应用打造的加速 CPU,可以为运行 TB 级数据的应用提供高达 10 倍的性能。该芯片通过 NVIDIA NVLink-C2C 互连技术将 Grace 和 Hopper 架构相结合,为加速 AI 和 HPC 应用提供 CPU GPU 相结合的一致内存模型。技术规格:Grace Arm Neoverse V2 CPU 高达 480GB 的 LPDDR5X内存 高达 96GB 的 HBM3 NVLink-C2C:900GB/s一致性接口,比 PCIe 5.0 快 7 倍 节能 1,000W 模块(CPU,GPU和内存)可运行完整的 NVIDIA 软件栈和平台,包括 NVIDIA HPC SDK、NVIDIA AI 和 NVIDIA Omniverse图表 16 NVIDIA Grace Hopper 超级芯片示例在今年SIGGRAPH大会上,NVIDIA 发布新一代GH200 Grace Hopper 平台,该平台基于全球首款搭载 HBM3e 处理器的 Grace Hopper 超级芯片,专为加速计算和生成式 AI 时代而构建。新平台专为处理大语言模型、推荐系统、矢量数据库等全球最复杂的生成式 AI 工作负载而构建,将提供多种配置选择。该平台采用双配置提供的内存容量和带宽比当前产品分别增加了 3.5 倍和 3 倍包括一个拥有 144 个 Arm Neoverse 内核、8 petaflops 的 AI 性能和 282GB 最新 HBM3e 内存技术的单个服务器。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)2829图表 17 NVIDIA GH200 Grace Hopper 平台示例借助 NVIDIA MGX 服务器,任何系统制造商都可以快速、经济地将 Grace Hopper 超级芯片添加到 100 多款服务器机型中。NVIDIA Grace CPU 的每瓦性能是传统 x86-64 平台的两倍,是目前最快的 Arm 数据中心 CPU,专为实现高单线程性能、高内存带宽和出色的数据移动功能而设计。该设计实现了带宽、能效、容量和成本的最佳平衡。2、生态进展 NVIDIA对Arm软件开发者的支持NVIDIA 为开发者提供包括库、SDK等在内的工具,帮助他们实现云和数据中心、高性能计算、边缘AI和机器人、PC系统和应用。NVIDIA HPC SDK 包含针对 Arm CPU 的性能优化的编译器,提供向量化和多核支持。CUDA-X 基于 NVIDIA CUDA 构建,是 Arm 系统上经过优化的各库的集合。适用于 Arm 的 CUDA 工具套件提供了开发环境,用于在 Arm 上创建 GPU 加速的高性能应用。NVIDIA NGC 是 GPU 优化软件的中心,包含框架容器、带示例代码的演示等,有助于在基于 Arm 的 NVIDIA Jetson 设备上加速开发边缘 AI 应用。2.2.5 阿里云1、产品介绍 倚天处理器在2021杭州云栖大会上,阿里巴巴发布首款通用芯片倚天710,这是一款为云而生的芯片,针对云计算的特点做了大量优化。架构层面,倚天710采用最新Armv9架构,多达128核,主频最高3.2GHz,可同时兼顾性能和功耗。同时,集成了业界最领先的DDR5、PCIE5.0等技术,能有效提升芯片的传输速率,并且可适配云的不同应用场景。图表 18 倚天710云原生处理器芯片2、产品介绍 飞天云计算操作系统云计算操作系统作为面向互联网上应用的核心基础软件,向下管理数据中心资源,向上提供公共服务及编程接口。飞天(APsara)是阿里云自主研发、服务全球的超大规模的云计算操作系统,突破关键核心技术,达到国际先进水平,实现按需 高效输出部署,降低架构复杂性和保证架构稳定性,同时实现了多元异构数据同时在线,具备高可靠、高可用、高性能和大规模的应用特点。图表 19 飞天云计算操作系统3、标杆案例 绿色数据中心阿里云一直重视环保和可持续发展,将绿色计算作为业务发展重点考虑之一,提出基础设施碳中和战役,加强节能减排。阿里云采取了多种措施来降低能源消耗和减少碳排放,例如优化数据中心基础设施、采用可再生能源等绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)2829图表 17 NVIDIA GH200 Grace Hopper 平台示例借助 NVIDIA MGX 服务器,任何系统制造商都可以快速、经济地将 Grace Hopper 超级芯片添加到 100 多款服务器机型中。NVIDIA Grace CPU 的每瓦性能是传统 x86-64 平台的两倍,是目前最快的 Arm 数据中心 CPU,专为实现高单线程性能、高内存带宽和出色的数据移动功能而设计。该设计实现了带宽、能效、容量和成本的最佳平衡。2、生态进展 NVIDIA对Arm软件开发者的支持NVIDIA 为开发者提供包括库、SDK等在内的工具,帮助他们实现云和数据中心、高性能计算、边缘AI和机器人、PC系统和应用。NVIDIA HPC SDK 包含针对 Arm CPU 的性能优化的编译器,提供向量化和多核支持。CUDA-X 基于 NVIDIA CUDA 构建,是 Arm 系统上经过优化的各库的集合。适用于 Arm 的 CUDA 工具套件提供了开发环境,用于在 Arm 上创建 GPU 加速的高性能应用。NVIDIA NGC 是 GPU 优化软件的中心,包含框架容器、带示例代码的演示等,有助于在基于 Arm 的 NVIDIA Jetson 设备上加速开发边缘 AI 应用。2.2.5 阿里云1、产品介绍 倚天处理器在2021杭州云栖大会上,阿里巴巴发布首款通用芯片倚天710,这是一款为云而生的芯片,针对云计算的特点做了大量优化。架构层面,倚天710采用最新Armv9架构,多达128核,主频最高3.2GHz,可同时兼顾性能和功耗。同时,集成了业界最领先的DDR5、PCIE5.0等技术,能有效提升芯片的传输速率,并且可适配云的不同应用场景。图表 18 倚天710云原生处理器芯片2、产品介绍 飞天云计算操作系统云计算操作系统作为面向互联网上应用的核心基础软件,向下管理数据中心资源,向上提供公共服务及编程接口。飞天(APsara)是阿里云自主研发、服务全球的超大规模的云计算操作系统,突破关键核心技术,达到国际先进水平,实现按需 高效输出部署,降低架构复杂性和保证架构稳定性,同时实现了多元异构数据同时在线,具备高可靠、高可用、高性能和大规模的应用特点。图表 19 飞天云计算操作系统3、标杆案例 绿色数据中心阿里云一直重视环保和可持续发展,将绿色计算作为业务发展重点考虑之一,提出基础设施碳中和战役,加强节能减排。阿里云采取了多种措施来降低能源消耗和减少碳排放,例如优化数据中心基础设施、采用可再生能源等绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)3031 加强节能减排:采取了多种措施来降低能源消耗和减少碳排放,例如优化数据中心基础设施、使用液冷技术降低PUE等。推广绿色技术:积极推广可持续发展的技术解决方案,例如采用可再生能源、高效节能的服务器等。推进数据中心可持续发展:通过加强数据中心能源管理、优化温室气体排放等措施,推动数据中心的可持续发展。促进数据安全和隐私保护:在数据中心中加强数据安全和隐私保护,保护客户数据的安全和隐私。图表 20 阿里云绿色数据中心2.2.6 遇贤微电子1、公司及产品介绍遇贤微电子成立于2020年,致力于为云计算数据中心提供芯片、平台和系统,目前是LF Edge、OpenEuler、GCC等成员。第一代产品规格:160核数据中心CPU,3.2GHz和620 SPECint2017。高性能数据中心CPU产品简介:关键特性:CPU:基于Arm Neoverse N2 架构,比Neoverse N1架构提升 3545%。核心功耗比前两代芯片节省30%;支持2x128b SVE/NEON、MPAM、虚拟化扩展等技术;核心:单片160 N2核心,支持cache一致性片间CCIX/CXL互联,核心支持CMN互联;总线:支持经过优化的高速片间互联,实现SOC片间核间访问性能提速;外设:支持PCIe5.0,支持DDR5控制器;功耗:约为 200300W;支持DVFS;算力:SPECint 2017 160 核 620分;安全:支持Secure El2;RAS:V8.2 RAS技术。2、生态建设多核高性能Arm服务器助力云原生&边缘计算云游戏遇贤微电子和Linux基金会Akraino社区合作基于Arm架构的云原生平台并联合发布基于Arm高性能CPU的边缘计算云游戏白皮书,该平台支持Android云游戏和 VR/AR 等 Arm 应用,主要有以下特点:计算的分布式部署提高整体并发性 云服务架构带来运营及维护的高效率图表 21 基于Arm高性能CPU的边缘计算云游戏白皮书绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)3031 加强节能减排:采取了多种措施来降低能源消耗和减少碳排放,例如优化数据中心基础设施、使用液冷技术降低PUE等。推广绿色技术:积极推广可持续发展的技术解决方案,例如采用可再生能源、高效节能的服务器等。推进数据中心可持续发展:通过加强数据中心能源管理、优化温室气体排放等措施,推动数据中心的可持续发展。促进数据安全和隐私保护:在数据中心中加强数据安全和隐私保护,保护客户数据的安全和隐私。图表 20 阿里云绿色数据中心2.2.6 遇贤微电子1、公司及产品介绍遇贤微电子成立于2020年,致力于为云计算数据中心提供芯片、平台和系统,目前是LF Edge、OpenEuler、GCC等成员。第一代产品规格:160核数据中心CPU,3.2GHz和620 SPECint2017。高性能数据中心CPU产品简介:关键特性:CPU:基于Arm Neoverse N2 架构,比Neoverse N1架构提升 3545%。核心功耗比前两代芯片节省30%;支持2x128b SVE/NEON、MPAM、虚拟化扩展等技术;核心:单片160 N2核心,支持cache一致性片间CCIX/CXL互联,核心支持CMN互联;总线:支持经过优化的高速片间互联,实现SOC片间核间访问性能提速;外设:支持PCIe5.0,支持DDR5控制器;功耗:约为 200300W;支持DVFS;算力:SPECint 2017 160 核 620分;安全:支持Secure El2;RAS:V8.2 RAS技术。2、生态建设多核高性能Arm服务器助力云原生&边缘计算云游戏遇贤微电子和Linux基金会Akraino社区合作基于Arm架构的云原生平台并联合发布基于Arm高性能CPU的边缘计算云游戏白皮书,该平台支持Android云游戏和 VR/AR 等 Arm 应用,主要有以下特点:计算的分布式部署提高整体并发性 云服务架构带来运营及维护的高效率图表 21 基于Arm高性能CPU的边缘计算云游戏白皮书绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)2、生态建设鸿钧微电子将提供编译器工具链的优化工具,通过编译器优化提升实际应用环境的软件性能,为用户的应用部署提供协助。主要包括高性能编译增强:通过内存优化增强,自动向量化等,提升指令和数据吞吐量;加速指令集:优选NEON/SVE等指令,运行时库优化,发挥芯片算力。图表 22 中国联通算力服务原生白皮书3233基于算力服务原生CPU服务平台遇贤微电子和行业伙伴支持中国联通对算力服务原生的定义内涵、总体架构、关键技术进行了分析,通过发展算力服务原生技术,实现“一套代码全网通用”的目标,合作共建、联合推动算力服务原生统一的标准体系。遇贤微电子将推出超多核(160核)高性能CPU,支撑运营商进行算力网络研究与建设。与业界合作共建、联合推动算力服务原生统一的标准体系,繁荣开源生态。该方案主要有以下特点:AI场景加速计算方面:遇贤CPU支持众多人工智能与机器学习硬件加速特性,如SVE2可变长向量处理、BF16浮点数等。异构算力下统一软硬件生态方面:引入抽象层级,如对芯片封装、PINMAP等物理形态进行抽象,实现同一架构多个芯片能够支持单板层面兼容。算力服务原生的安全可信方面:采用以硬件保护软件的新型安全防护技术,提供硬件主动防御,弥补以往”用软件保护软件”的软肋。2.2.7 鸿钧微电子1、公司及产品介绍杭州鸿钧微电子科技有限公司创立于2021年,致力于开发基于Arm架构的面向数据中心的通用CPU,为业界提供“更高效能、更易部署”的服务器CPU和系统解决方案,推动全球数据中心的变革!公司开发中的服务器CPU拥有超过80个CPU内核,并支持DDR5以及PCI Gen5高速外设接口,产品预计于2024年上市。图表 23 编译器工具链优化工具鸿钧微电子还将提供基础软件栈的适配与优化套件,包括基础软件增强套件,例如针对OS/BIOS/BMC基本功能和增强功能,提高可靠性和运维能力;同时提供软件升级和适配工具套件,主要包括各类软件迁移工具和性能分析工具集,支持适配高版本基础软件,获取更高性能。图表 24 基础软件开发套件3、生态应用MySQL在Arm架构平台上的优化MySQL是一款开源的关系型数据库管理系统。它被广泛用于各类业务场景中,是最受欢迎的数据库之一。MySQL具有可靠性高、性能强、可扩展性好、安全性好等特点。为充分发挥Arm服务器CPU的优势,公司团队开展了MySQL在Arm平台上的优化工作。优化方法论:业界对于MySQL性能的评价指标认知统一,即吞吐量和延迟。因此,性能优化工作的重点均落在提高系统单位时间吞吐量和降低延迟两方面。而优化过程则遵循“应用层系统层微架构层”的顺序,逐层完成工作负载的特征刻画与瓶颈定位,进而开展优化工作。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)2、生态建设鸿钧微电子将提供编译器工具链的优化工具,通过编译器优化提升实际应用环境的软件性能,为用户的应用部署提供协助。主要包括高性能编译增强:通过内存优化增强,自动向量化等,提升指令和数据吞吐量;加速指令集:优选NEON/SVE等指令,运行时库优化,发挥芯片算力。图表 22 中国联通算力服务原生白皮书3233基于算力服务原生CPU服务平台遇贤微电子和行业伙伴支持中国联通对算力服务原生的定义内涵、总体架构、关键技术进行了分析,通过发展算力服务原生技术,实现“一套代码全网通用”的目标,合作共建、联合推动算力服务原生统一的标准体系。遇贤微电子将推出超多核(160核)高性能CPU,支撑运营商进行算力网络研究与建设。与业界合作共建、联合推动算力服务原生统一的标准体系,繁荣开源生态。该方案主要有以下特点:AI场景加速计算方面:遇贤CPU支持众多人工智能与机器学习硬件加速特性,如SVE2可变长向量处理、BF16浮点数等。异构算力下统一软硬件生态方面:引入抽象层级,如对芯片封装、PINMAP等物理形态进行抽象,实现同一架构多个芯片能够支持单板层面兼容。算力服务原生的安全可信方面:采用以硬件保护软件的新型安全防护技术,提供硬件主动防御,弥补以往”用软件保护软件”的软肋。2.2.7 鸿钧微电子1、公司及产品介绍杭州鸿钧微电子科技有限公司创立于2021年,致力于开发基于Arm架构的面向数据中心的通用CPU,为业界提供“更高效能、更易部署”的服务器CPU和系统解决方案,推动全球数据中心的变革!公司开发中的服务器CPU拥有超过80个CPU内核,并支持DDR5以及PCI Gen5高速外设接口,产品预计于2024年上市。图表 23 编译器工具链优化工具鸿钧微电子还将提供基础软件栈的适配与优化套件,包括基础软件增强套件,例如针对OS/BIOS/BMC基本功能和增强功能,提高可靠性和运维能力;同时提供软件升级和适配工具套件,主要包括各类软件迁移工具和性能分析工具集,支持适配高版本基础软件,获取更高性能。图表 24 基础软件开发套件3、生态应用MySQL在Arm架构平台上的优化MySQL是一款开源的关系型数据库管理系统。它被广泛用于各类业务场景中,是最受欢迎的数据库之一。MySQL具有可靠性高、性能强、可扩展性好、安全性好等特点。为充分发挥Arm服务器CPU的优势,公司团队开展了MySQL在Arm平台上的优化工作。优化方法论:业界对于MySQL性能的评价指标认知统一,即吞吐量和延迟。因此,性能优化工作的重点均落在提高系统单位时间吞吐量和降低延迟两方面。而优化过程则遵循“应用层系统层微架构层”的顺序,逐层完成工作负载的特征刻画与瓶颈定位,进而开展优化工作。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)2.2.8 此芯科技3435优化工作介绍:针对应用层将重点围绕三个方面给出优化方案,分别包括典型场景识别、重点代码实现理解以及社区调研;针对系统层的优化重点则是分析资源的使用,包括针对MySQL Workload性能瓶颈分析,重点监控包括CPU使用率、内存使用率等的硬件指标,通过分析这些指标定位到资源瓶颈,然后结合MySQL的业务特点进行优化;针对微架构层,可以参考Arm官方文档,明确Arm核心有关的微架构设计以及相关性能指标,明确微架构性能瓶颈的定位和优化方法。优化结论:基于Arm平台,分别针对应用层、系统层和微架构层开展优化,每个优化措施均能带来一定的效率提升,结合具体的应用场景,有的能有着50%的性能提升。而具体可选择的优化措施,则更多依赖于用户的实际使用场景。1、公司及产品介绍此芯科技是一家专注于开发智能SoC芯片以及高能效算力解决方案的科技企业。公司于2021年10月成立,由国内外知名芯片和IT企业的核心技术和管理人员创立,公司拥有业界资深的智能计算架构和全建制研发设计团队,在CPU内核研发,SoC,全栈软件开发和系统设计等领域具备雄厚的技术积累,致力于开发兼容Arm指令集的高能效计算解决方案,为智能芯片2.0时代贡献力量。此芯科技的第一颗在研高效能Arm SoC采用高达两位数的CPU内核架构,内置高性能GPU并可通过高速PCIe总线外接独立显卡,满足PC用户图形计算要求。该SoC除了支持PC级高速存储接口之外,还采用高带宽和高容量内存总线,不仅可以支持CPU和GPU计算所要求的高速内存数据交换,也可以满足内置高算力NPU在端侧大模型部署中对大容量内存数据的读写要求。此芯科技的首颗SoC,支持Arm V9最新安全特性并集成自研安全引擎,满足国密算法和安全需求。基于该芯片的Arm PC方案在软件架构,系统设计和生态建设上,也全面支持Arm Pc的技术要求和发展趋势。图表 25 此芯科技首颗SoC架构框图2、生态进展此芯科技自去年加入Linaro Windows工作组之后,发起成立了Client PC合作项目,旨在推动基于UEFI ACPI标准的Arm PC启动架构标准化,通过统一的系统固件支持Windows和Linux等多种操作系统。这将有助于整机厂商快速推出Arm PC整机产品,也是为Windows on Arm生态的推进发挥关键的作用。今年春季,Arm软件生态全球峰会Linaro Connect在英国伦敦举办,此芯科技联合Arm和Linaro的技术专家在峰会上发表了主题为“ACPI for Arm Client PC”的技术演讲,对Linaro Client PC项目的工作进行了总结,并与来自全球不同厂商的开发者共同探讨如何实现针对Arm PC的ACPI标准化支持。Linaro CTO Grant Likely在其主题演讲中也介绍了由此芯科技发起成立并重点参与的Client PC项目,强调了通过统一的固件来支持Windows和Linux等多种操作系统对于Arm Pc生态发展的重要性。另外,此芯科技携手安谋科技和国产操作系统厂商共同推动Arm PC生态建设。此芯科技已加入 deepin 深度社区和openKylin社区,联合社区生态伙伴共同推动Arm PC的软硬件标准化,加速Linux桌面图形系统和AI软件框架的技术发展,旨在打造Linux桌面操作系统和Arm架构高能效智能芯片融合发展的创新生态。2.3固件代表企业2.3.1 昆仑太科1、产品介绍 新一代昆仑智能绿色固件产品 新一代昆仑智能绿色固件系列产品,包括新一代昆仑BIOS固件、昆仑BMC固件、昆仑卫士终端运维管理系统、昆仑卫士数据中心运维管理系统四大系列产品,将针对通用计算和智能计算等多样化算力需求,突破智能计算、绿色节能、统一通信等关键技术,适用于通用终端、服务器、边缘计算、特种计算等各类型计算设备,支撑构建更加完善的绿色计算设备开发生态、集成生态和用户生态。新一代昆仑智能绿色固件系列产品如图所示。图表 26 新一代昆仑智能绿色固件系列产品绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)2.2.8 此芯科技3435优化工作介绍:针对应用层将重点围绕三个方面给出优化方案,分别包括典型场景识别、重点代码实现理解以及社区调研;针对系统层的优化重点则是分析资源的使用,包括针对MySQL Workload性能瓶颈分析,重点监控包括CPU使用率、内存使用率等的硬件指标,通过分析这些指标定位到资源瓶颈,然后结合MySQL的业务特点进行优化;针对微架构层,可以参考Arm官方文档,明确Arm核心有关的微架构设计以及相关性能指标,明确微架构性能瓶颈的定位和优化方法。优化结论:基于Arm平台,分别针对应用层、系统层和微架构层开展优化,每个优化措施均能带来一定的效率提升,结合具体的应用场景,有的能有着50%的性能提升。而具体可选择的优化措施,则更多依赖于用户的实际使用场景。1、公司及产品介绍此芯科技是一家专注于开发智能SoC芯片以及高能效算力解决方案的科技企业。公司于2021年10月成立,由国内外知名芯片和IT企业的核心技术和管理人员创立,公司拥有业界资深的智能计算架构和全建制研发设计团队,在CPU内核研发,SoC,全栈软件开发和系统设计等领域具备雄厚的技术积累,致力于开发兼容Arm指令集的高能效计算解决方案,为智能芯片2.0时代贡献力量。此芯科技的第一颗在研高效能Arm SoC采用高达两位数的CPU内核架构,内置高性能GPU并可通过高速PCIe总线外接独立显卡,满足PC用户图形计算要求。该SoC除了支持PC级高速存储接口之外,还采用高带宽和高容量内存总线,不仅可以支持CPU和GPU计算所要求的高速内存数据交换,也可以满足内置高算力NPU在端侧大模型部署中对大容量内存数据的读写要求。此芯科技的首颗SoC,支持Arm V9最新安全特性并集成自研安全引擎,满足国密算法和安全需求。基于该芯片的Arm PC方案在软件架构,系统设计和生态建设上,也全面支持Arm Pc的技术要求和发展趋势。图表 25 此芯科技首颗SoC架构框图2、生态进展此芯科技自去年加入Linaro Windows工作组之后,发起成立了Client PC合作项目,旨在推动基于UEFI ACPI标准的Arm PC启动架构标准化,通过统一的系统固件支持Windows和Linux等多种操作系统。这将有助于整机厂商快速推出Arm PC整机产品,也是为Windows on Arm生态的推进发挥关键的作用。今年春季,Arm软件生态全球峰会Linaro Connect在英国伦敦举办,此芯科技联合Arm和Linaro的技术专家在峰会上发表了主题为“ACPI for Arm Client PC”的技术演讲,对Linaro Client PC项目的工作进行了总结,并与来自全球不同厂商的开发者共同探讨如何实现针对Arm PC的ACPI标准化支持。Linaro CTO Grant Likely在其主题演讲中也介绍了由此芯科技发起成立并重点参与的Client PC项目,强调了通过统一的固件来支持Windows和Linux等多种操作系统对于Arm Pc生态发展的重要性。另外,此芯科技携手安谋科技和国产操作系统厂商共同推动Arm PC生态建设。此芯科技已加入 deepin 深度社区和openKylin社区,联合社区生态伙伴共同推动Arm PC的软硬件标准化,加速Linux桌面图形系统和AI软件框架的技术发展,旨在打造Linux桌面操作系统和Arm架构高能效智能芯片融合发展的创新生态。2.3固件代表企业2.3.1 昆仑太科1、产品介绍 新一代昆仑智能绿色固件产品 新一代昆仑智能绿色固件系列产品,包括新一代昆仑BIOS固件、昆仑BMC固件、昆仑卫士终端运维管理系统、昆仑卫士数据中心运维管理系统四大系列产品,将针对通用计算和智能计算等多样化算力需求,突破智能计算、绿色节能、统一通信等关键技术,适用于通用终端、服务器、边缘计算、特种计算等各类型计算设备,支撑构建更加完善的绿色计算设备开发生态、集成生态和用户生态。新一代昆仑智能绿色固件系列产品如图所示。图表 26 新一代昆仑智能绿色固件系列产品绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)1、产品介绍 固件核心框架及产品ByoCore 2.0基于多年的固件开发积累,南京百敖软件发布了固件核心框架及产品ByoCore 2.0,产品支持各种主流CPU架构,并在众多信创整机和国际通用整机中得到了落地。该产品在符合最新国际国内标准的同时汇集多个百敖特色功能模块,在一套代码架构下支持所有国内与国际主流处理器的不同形态整机。产品支持海光、兆芯、飞腾、海思/鲲鹏、龙芯、赛舫和英特尔、AMD等厂家的全系列CPU,形成全品类优势,全面提升通用性,降低开发难度,缩减开发周期。百敖ByoCore 2.0创新性地采用“分仓 清单”式的代码管理方法,“积木 云端”式的固件开发模式,将先进的大型系统软件研发管理流程引入到固件开发领域,形成固件开发框架。3637新一代昆仑BIOS固件,具有异构硬件平台统一支撑、操作系统统一接口,支持安全启动、可信计算、国密算法,支持各类主流外设板卡在终端、服务器、智能计算设备中适配应用,提供BIOS固件层服务能力。新一代昆仑BIOS固件可高效解决计算设备硬件平台、板卡、系统兼容适配复杂、设备形成能力周期长等痛点问题,为客户提供高效率、低成本BIOS固件解决方案。新一代昆仑BMC固件,突破设备智能故障预测、安全可信启动、跨架构BMC硬件支撑等核心技术;基于硬件/软件加解密算法,可根据应用需求提供不同等级的密码计算和安全验证机制,提升服务器系统整体安全能力;可适配多类型BMC硬件,构建高安全BMC解决方案和商用BMC解决方案。昆仑BMC固件全面满足包括通用服务器、边缘计算服务器和特种服务器等在内的多样化算力服务器对于带外管理应用需求,广泛应用于金融、通信、能源、互联网等重点行业领域中。昆仑卫士终端运维管理系统,基于终端设备BIOS固件持久化守护技术,可支持信创终端计算设备和商用计算终端设备,实现跨硬件平台、不依赖操作系统运行的终端设备集中维护管控和安全管理,为各类型终端计算设备提供自设备底层到应用层的可见、可控、可恢复能力。昆仑卫士终端管理系统,解决集团用户海量终端计算设备运维保障和安全管理实现复杂、操作困难、维护成本高等痛点问题,保障复杂网络环境下海量计算终端稳定可靠、安全受控运行,目前已经在教育、医疗、云终端租赁等行业领域取得了规模应用。昆仑卫士数据中心运维管理系统,采用包括Redfish、IPMI、SNMP、RESTful API、Web等行业标准协议和接口,实现与设备平台、供应商无关的统一数据中心带外管理解决方案。昆仑卫士数据中心管理系统不仅可提供数据中心设备和设施实时运行健康状况监控和警报,同时具有能耗智能管理控制、智能容量规划部署、设备负载自动分配等能力,解决大中型数据中心大规模设备/设施设备降本节能、绿色减碳、稳定可靠运行现实急需和痛点,并实现数据中心部署容量灵活可扩展,增容增效。目前,昆仑卫士数据中心管理系统已在金融、能源、电力等行业领域得到应用。2、生态进展2022年,昆仑太科公司与龙芯、飞腾、申威、海光、兆芯、麒麟、普华等数十家产业生态合作伙伴,成立了OpenKunlun开源固件社区,本着“开放共享、技术自主,丰富生态、助力产业”的理念,致力于中国固件技术生态自主演进发展,支撑中国计算设备产业健康快速发展。2023年,昆仑太科公司与飞腾、百敖、浪潮等合作伙伴,共同成立了中国首个BMC根社区OurBMC社区,旨在推进中国BMC 技术快速发展,加速构建自主、安全、全面的 BMC 技术链路。昆仑太科公司还是OpenKylin社区、龙蜥社区等开源社区成员单位,积极为中国计算产业生态贡献自己力量。同时,昆仑太科积极与包括显卡、网卡、内存、可信模块等板卡/部件厂商技术合作,加强昆仑固件产品基础适配能力,助力各厂商加强其生态适配能力,更高效的开拓市场、取得效益;与各大整机、主板厂商进行深入技术生态合作,为各类终端、服务器计算设备提供包括固件和设备管理整体解决方案,支撑厂商更好的与客户应用需求结合,提升用户接受度,扩大产品销售量。2.3.2 百敖软件图表 27 百敖ByoCore 2.0核心框架在此固件框架平台的基础上,兼容最新国际标准和国内标准的同时,汇集多个百敖特色功能模块(如ByoSafe、特色RAS功能等),整合国密算法、国密签名、国密信任链重建等重点安全需求,向上打通了芯片,向下链接统信和麒麟等国产操作系统,完成安全闭环,从而用一套代码框架和工具链支持所有主流CPU,以及其下游整机产品,并支持各类定制化需求功能。图表 28 百敖ByoCore 2.0采用积木式开发绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)1、产品介绍 固件核心框架及产品ByoCore 2.0基于多年的固件开发积累,南京百敖软件发布了固件核心框架及产品ByoCore 2.0,产品支持各种主流CPU架构,并在众多信创整机和国际通用整机中得到了落地。该产品在符合最新国际国内标准的同时汇集多个百敖特色功能模块,在一套代码架构下支持所有国内与国际主流处理器的不同形态整机。产品支持海光、兆芯、飞腾、海思/鲲鹏、龙芯、赛舫和英特尔、AMD等厂家的全系列CPU,形成全品类优势,全面提升通用性,降低开发难度,缩减开发周期。百敖ByoCore 2.0创新性地采用“分仓 清单”式的代码管理方法,“积木 云端”式的固件开发模式,将先进的大型系统软件研发管理流程引入到固件开发领域,形成固件开发框架。3637新一代昆仑BIOS固件,具有异构硬件平台统一支撑、操作系统统一接口,支持安全启动、可信计算、国密算法,支持各类主流外设板卡在终端、服务器、智能计算设备中适配应用,提供BIOS固件层服务能力。新一代昆仑BIOS固件可高效解决计算设备硬件平台、板卡、系统兼容适配复杂、设备形成能力周期长等痛点问题,为客户提供高效率、低成本BIOS固件解决方案。新一代昆仑BMC固件,突破设备智能故障预测、安全可信启动、跨架构BMC硬件支撑等核心技术;基于硬件/软件加解密算法,可根据应用需求提供不同等级的密码计算和安全验证机制,提升服务器系统整体安全能力;可适配多类型BMC硬件,构建高安全BMC解决方案和商用BMC解决方案。昆仑BMC固件全面满足包括通用服务器、边缘计算服务器和特种服务器等在内的多样化算力服务器对于带外管理应用需求,广泛应用于金融、通信、能源、互联网等重点行业领域中。昆仑卫士终端运维管理系统,基于终端设备BIOS固件持久化守护技术,可支持信创终端计算设备和商用计算终端设备,实现跨硬件平台、不依赖操作系统运行的终端设备集中维护管控和安全管理,为各类型终端计算设备提供自设备底层到应用层的可见、可控、可恢复能力。昆仑卫士终端管理系统,解决集团用户海量终端计算设备运维保障和安全管理实现复杂、操作困难、维护成本高等痛点问题,保障复杂网络环境下海量计算终端稳定可靠、安全受控运行,目前已经在教育、医疗、云终端租赁等行业领域取得了规模应用。昆仑卫士数据中心运维管理系统,采用包括Redfish、IPMI、SNMP、RESTful API、Web等行业标准协议和接口,实现与设备平台、供应商无关的统一数据中心带外管理解决方案。昆仑卫士数据中心管理系统不仅可提供数据中心设备和设施实时运行健康状况监控和警报,同时具有能耗智能管理控制、智能容量规划部署、设备负载自动分配等能力,解决大中型数据中心大规模设备/设施设备降本节能、绿色减碳、稳定可靠运行现实急需和痛点,并实现数据中心部署容量灵活可扩展,增容增效。目前,昆仑卫士数据中心管理系统已在金融、能源、电力等行业领域得到应用。2、生态进展2022年,昆仑太科公司与龙芯、飞腾、申威、海光、兆芯、麒麟、普华等数十家产业生态合作伙伴,成立了OpenKunlun开源固件社区,本着“开放共享、技术自主,丰富生态、助力产业”的理念,致力于中国固件技术生态自主演进发展,支撑中国计算设备产业健康快速发展。2023年,昆仑太科公司与飞腾、百敖、浪潮等合作伙伴,共同成立了中国首个BMC根社区OurBMC社区,旨在推进中国BMC 技术快速发展,加速构建自主、安全、全面的 BMC 技术链路。昆仑太科公司还是OpenKylin社区、龙蜥社区等开源社区成员单位,积极为中国计算产业生态贡献自己力量。同时,昆仑太科积极与包括显卡、网卡、内存、可信模块等板卡/部件厂商技术合作,加强昆仑固件产品基础适配能力,助力各厂商加强其生态适配能力,更高效的开拓市场、取得效益;与各大整机、主板厂商进行深入技术生态合作,为各类终端、服务器计算设备提供包括固件和设备管理整体解决方案,支撑厂商更好的与客户应用需求结合,提升用户接受度,扩大产品销售量。2.3.2 百敖软件图表 27 百敖ByoCore 2.0核心框架在此固件框架平台的基础上,兼容最新国际标准和国内标准的同时,汇集多个百敖特色功能模块(如ByoSafe、特色RAS功能等),整合国密算法、国密签名、国密信任链重建等重点安全需求,向上打通了芯片,向下链接统信和麒麟等国产操作系统,完成安全闭环,从而用一套代码框架和工具链支持所有主流CPU,以及其下游整机产品,并支持各类定制化需求功能。图表 28 百敖ByoCore 2.0采用积木式开发绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)382、生态进展2021年,百敖召开ByoCore 2.0发布会,邀请了浪潮、华为、兆芯、同方、飞腾、海光、联想、中兴、小米等数十家国内外知名厂商参加;近两年,百敖积极加入到“龙蜥社区”“欧拉社区”“龙芯生态伙伴计划”“飞腾基础软件联合实验室”“openKylin社区”“OurBMC社区”等社区和平台,开展生态共建,贡献技术力量,落实应用推广。2022年和2023年,百敖ByoCore 2.0全面落地,搭载ByoCore 2.0的固件产品已经全面落地到海光、鲲鹏、兆芯、飞腾、龙芯和赛舫等国内芯片厂商和Intel、AMD等国际厂商相关参考代码和整机产品中,大部分产品已经实现量产上市。第三章 CHAPTER 3绿色计算整机生态绿色计算产业发展白皮书(2023版)382、生态进展2021年,百敖召开ByoCore 2.0发布会,邀请了浪潮、华为、兆芯、同方、飞腾、海光、联想、中兴、小米等数十家国内外知名厂商参加;近两年,百敖积极加入到“龙蜥社区”“欧拉社区”“龙芯生态伙伴计划”“飞腾基础软件联合实验室”“openKylin社区”“OurBMC社区”等社区和平台,开展生态共建,贡献技术力量,落实应用推广。2022年和2023年,百敖ByoCore 2.0全面落地,搭载ByoCore 2.0的固件产品已经全面落地到海光、鲲鹏、兆芯、飞腾、龙芯和赛舫等国内芯片厂商和Intel、AMD等国际厂商相关参考代码和整机产品中,大部分产品已经实现量产上市。第三章 CHAPTER 3绿色计算整机生态绿色计算产业发展白皮书(2023版)3.2代表企业3.2.1 中国长城40413.1综述据IDC 发布的2022 年中国服务器市场跟踪报告,2022 年中国服务器市场规模为 273.4 亿美元,同比增长 9.1%。中国服务器市场规模在全球占比24.5%。基于Arm架构的绿色计算产品在需求侧正越来越受到行业用户的欢迎,在中国服务器市场的市场份额快速提升,尤其是运营商、政府和金融等行业。同时,从能用到好用,也逐步扩展到了更广泛的商业领域。1、产品介绍 2U 双路旗舰服务器-擎天RF6260 V5标准2U双路机架式服务器,支持领先的DDR5、PCIe5.0技术,全面的管理特性开发,满足行业客户核心应用,适用于大数据、云计算、分布式存储、虚拟化、人工智能和数据库等多种应用场景2U 双路中端服务器-擎天RF5260 V5标准2U双路机架式服务器,平衡性能、扩展性与经济性均衡设计,覆盖主流应用场景4U存储服务器-擎天RF6280 V54U双路存储优化服务器,兼顾高存储容量、强大计算性能和极致IO扩展能力,非常适用于温/冷数据存储、视频监控存储、大数据存储、云存储、备份归档等应用场景6U AI服务器-擎天RF7290H V56U机架式高端AI服务器,可应用于AI训练、推理、HPC等场景,支持集群大模型训练。模块化设计,兼容OAM及PCIe标卡,可选风冷及液冷解决方案2、标杆案例 政府电子发票服务平台中国长城作为国产服务器的领导者,能够为行业合作伙伴提供端到端的全栈式IT产品交付能力,已助力多个地区、多个行业客户实现国产化转型政府电子发票服务平台政府电子发票服务平台服务中国4500万企业,2.8亿非企业用户,是中国覆盖用户最多,规模最大的电子政务系统。系统要求能够有效防范非法攻击,避免未经授权的访问,保障关键信息数据的稳定传输、存储、交换安全,保护纳税人信息安全,确保系统运行安全。硬件和软件系统保证724小时在线免费为纳税人提供电子发票申领、开具、交付、查验等服务,一年内系统平稳运行的可用性大于99.99%。图表 29 政府电子发票服务平台方案架构在上述安全保密性以及高可用性的严格指标规范下,中国长城提供2U双路服务器作为专有云底座,承载多种业务,通过单品垂直打通、系统优化、深度适配,实现整体系统能力最优,为用户提供最佳性能。3.2.2 神州数码1、产品介绍 KunTai D526-2D信创云终端KunTai D526-2D信创云终端是神州数码专为国家教育信创事业打造的基于飞腾腾锐D2000 8核处理器和国产桌面操作系统、整合主流硬件、兼容主流软件应用,丰富接口、轻巧便捷,人机工学设计,支持多款信创多媒体教学软件,为师生提供国产化软硬件一体的信创教学实训环境,全面助力国家信创人才培养。基于 Arm 架构,可实现状态实时检测、风扇双重控制,达到系统安全、可靠、稳定运行。自行开发GPU指令转换、前端显示、外设虚拟化、Linux与Windows 应用文件共享、窗口管理、界面融合等组件,实现在国产统信和麒麟操作系统上也能使用Windows应用和外设,具有双系统界面融合、大部分X86应用免适配即可用等优点。图表 30 KunTai D526-2D信创云终端绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)3.2代表企业3.2.1 中国长城40413.1综述据IDC 发布的2022 年中国服务器市场跟踪报告,2022 年中国服务器市场规模为 273.4 亿美元,同比增长 9.1%。中国服务器市场规模在全球占比24.5%。基于Arm架构的绿色计算产品在需求侧正越来越受到行业用户的欢迎,在中国服务器市场的市场份额快速提升,尤其是运营商、政府和金融等行业。同时,从能用到好用,也逐步扩展到了更广泛的商业领域。1、产品介绍 2U 双路旗舰服务器-擎天RF6260 V5标准2U双路机架式服务器,支持领先的DDR5、PCIe5.0技术,全面的管理特性开发,满足行业客户核心应用,适用于大数据、云计算、分布式存储、虚拟化、人工智能和数据库等多种应用场景2U 双路中端服务器-擎天RF5260 V5标准2U双路机架式服务器,平衡性能、扩展性与经济性均衡设计,覆盖主流应用场景4U存储服务器-擎天RF6280 V54U双路存储优化服务器,兼顾高存储容量、强大计算性能和极致IO扩展能力,非常适用于温/冷数据存储、视频监控存储、大数据存储、云存储、备份归档等应用场景6U AI服务器-擎天RF7290H V56U机架式高端AI服务器,可应用于AI训练、推理、HPC等场景,支持集群大模型训练。模块化设计,兼容OAM及PCIe标卡,可选风冷及液冷解决方案2、标杆案例 政府电子发票服务平台中国长城作为国产服务器的领导者,能够为行业合作伙伴提供端到端的全栈式IT产品交付能力,已助力多个地区、多个行业客户实现国产化转型政府电子发票服务平台政府电子发票服务平台服务中国4500万企业,2.8亿非企业用户,是中国覆盖用户最多,规模最大的电子政务系统。系统要求能够有效防范非法攻击,避免未经授权的访问,保障关键信息数据的稳定传输、存储、交换安全,保护纳税人信息安全,确保系统运行安全。硬件和软件系统保证724小时在线免费为纳税人提供电子发票申领、开具、交付、查验等服务,一年内系统平稳运行的可用性大于99.99%。图表 29 政府电子发票服务平台方案架构在上述安全保密性以及高可用性的严格指标规范下,中国长城提供2U双路服务器作为专有云底座,承载多种业务,通过单品垂直打通、系统优化、深度适配,实现整体系统能力最优,为用户提供最佳性能。3.2.2 神州数码1、产品介绍 KunTai D526-2D信创云终端KunTai D526-2D信创云终端是神州数码专为国家教育信创事业打造的基于飞腾腾锐D2000 8核处理器和国产桌面操作系统、整合主流硬件、兼容主流软件应用,丰富接口、轻巧便捷,人机工学设计,支持多款信创多媒体教学软件,为师生提供国产化软硬件一体的信创教学实训环境,全面助力国家信创人才培养。基于 Arm 架构,可实现状态实时检测、风扇双重控制,达到系统安全、可靠、稳定运行。自行开发GPU指令转换、前端显示、外设虚拟化、Linux与Windows 应用文件共享、窗口管理、界面融合等组件,实现在国产统信和麒麟操作系统上也能使用Windows应用和外设,具有双系统界面融合、大部分X86应用免适配即可用等优点。图表 30 KunTai D526-2D信创云终端绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)图表 32 百信恒山TS02F-F30服务器应用效果:通过丰富的信创课程资源,功能全面的信创教学平台、安全稳定的信创计算中心和信创终端机房等各方面支撑,使职业院校能够针对信创行业从业需求,培养出适用于信创行业的复合型人才。图表 31 信创实训室方案42432、标杆案例 职业院校信创实训室方案客户痛点:产业的变革对职业院校人才培养提出了新的挑战,如何将信创产业的岗位需求、信创专业核心课程、世界职业院校技能大赛和信息技术应用创新赛项中的考核技能点相结合,同时使学生具备考取工信部信创专项认证的能力,是一个亟待解决的问题。解决方案:神州数码推出“岗课赛证”融通的信创实训室方案“岗”,针对信创产业新增的人才需求,如信创系统运维工程师、信创售前工程师。“课”,根据实际岗位需求,在合作院校计算机大类大类相关专业,通过新增信创课程完成专业转型升级。“赛”,世界职业院校技能大赛“信息技术应用创新”赛项主要面向全世界职业院校信息技术类相关专业国内外的学生,打通技术壁垒,实现相互赋能,促进信创产业国际化人才生态布局,加速服务信创装备与相关技术标准建设。“证”,神州数码与工业和信息化部教育与考试中心联合开展集成适配工程师(初级)、信息系统运维工程师(初级)、信息安全工程师(中级)、信创规划管理师(高级)、信创办公软件应用工程师(中级)的人才评价与培养工作,通过培训考试颁发考试合格证书并规范考试合格证书管理机制。3.2.3 百信信息1、产品介绍 百信恒山TS02F-F30服务器百信恒山TS02F-F30服务器是一款基于鲲鹏920处理器开发的双路机架服务器,系统最高能够提供128核、3.0GHz主频的计算能力。该服务器采用了国产处理器和操作系统、自主安全BIOS/BMC和自研OCP网卡的设计,有效适配多种国产部件,并对部分设计进行了优化,使得服务器的国产化率进一步提升,性能和可靠性都得到了很好的保障,同时也能够满足客户的多样化需求。该服务器面向互联网、分布式存储、云计算、大数据、企业业务等领域,具有高性能计算、大容量存储、低能耗、易管理、易部署等优点。经过多项国家级认证,包括CCC、节能、能效和RoHS等,具有节能、环保、安全等特点;同时,百信服务器经过30W小时MTBF测试,质量更优、稳定可靠。在日常办公领域,该服务器已经完全具备替换Windows系统的能力,可以为用户提供高效、稳定和可靠的计算服务。2、标杆案例 C银行国产化硬件替代我国银行信息化至今经历了三十余年的发展历程,数字化转型是不可逆转的潮流,银行数字化转型的成功有助于提高银行业务的效率和客户满意度,为银行创造更多的商业机会。百信为金融行业的国有六大行提供多年的持续耕耘和优质服务。恒山服务器兼容主流云平台,适用于支付、票据、风控等应用场景,为金融客户提供稳定算力,极大地提升了业务效率,较传统方案扩展性更高,便于客户后续扩容、降低成本、提升效率。此外,百信服务器还兼容华为IAAS、腾讯TCE、腾讯TBDS、南大通用MPP数据库、东方通中间件、主流KVM虚拟化软件等应用,为C银行的五大数据中心(北京、上海、合肥、西安、内蒙)以及各省分行提供服务。百信根据客户需求,完成了总行及16家省级分行的交付工作,累计交付超过2000台服务器,实现了C银行国产化硬件替代,同时提升了客户数据使用效率,保障了业务数据的信息安全。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)图表 32 百信恒山TS02F-F30服务器应用效果:通过丰富的信创课程资源,功能全面的信创教学平台、安全稳定的信创计算中心和信创终端机房等各方面支撑,使职业院校能够针对信创行业从业需求,培养出适用于信创行业的复合型人才。图表 31 信创实训室方案42432、标杆案例 职业院校信创实训室方案客户痛点:产业的变革对职业院校人才培养提出了新的挑战,如何将信创产业的岗位需求、信创专业核心课程、世界职业院校技能大赛和信息技术应用创新赛项中的考核技能点相结合,同时使学生具备考取工信部信创专项认证的能力,是一个亟待解决的问题。解决方案:神州数码推出“岗课赛证”融通的信创实训室方案“岗”,针对信创产业新增的人才需求,如信创系统运维工程师、信创售前工程师。“课”,根据实际岗位需求,在合作院校计算机大类大类相关专业,通过新增信创课程完成专业转型升级。“赛”,世界职业院校技能大赛“信息技术应用创新”赛项主要面向全世界职业院校信息技术类相关专业国内外的学生,打通技术壁垒,实现相互赋能,促进信创产业国际化人才生态布局,加速服务信创装备与相关技术标准建设。“证”,神州数码与工业和信息化部教育与考试中心联合开展集成适配工程师(初级)、信息系统运维工程师(初级)、信息安全工程师(中级)、信创规划管理师(高级)、信创办公软件应用工程师(中级)的人才评价与培养工作,通过培训考试颁发考试合格证书并规范考试合格证书管理机制。3.2.3 百信信息1、产品介绍 百信恒山TS02F-F30服务器百信恒山TS02F-F30服务器是一款基于鲲鹏920处理器开发的双路机架服务器,系统最高能够提供128核、3.0GHz主频的计算能力。该服务器采用了国产处理器和操作系统、自主安全BIOS/BMC和自研OCP网卡的设计,有效适配多种国产部件,并对部分设计进行了优化,使得服务器的国产化率进一步提升,性能和可靠性都得到了很好的保障,同时也能够满足客户的多样化需求。该服务器面向互联网、分布式存储、云计算、大数据、企业业务等领域,具有高性能计算、大容量存储、低能耗、易管理、易部署等优点。经过多项国家级认证,包括CCC、节能、能效和RoHS等,具有节能、环保、安全等特点;同时,百信服务器经过30W小时MTBF测试,质量更优、稳定可靠。在日常办公领域,该服务器已经完全具备替换Windows系统的能力,可以为用户提供高效、稳定和可靠的计算服务。2、标杆案例 C银行国产化硬件替代我国银行信息化至今经历了三十余年的发展历程,数字化转型是不可逆转的潮流,银行数字化转型的成功有助于提高银行业务的效率和客户满意度,为银行创造更多的商业机会。百信为金融行业的国有六大行提供多年的持续耕耘和优质服务。恒山服务器兼容主流云平台,适用于支付、票据、风控等应用场景,为金融客户提供稳定算力,极大地提升了业务效率,较传统方案扩展性更高,便于客户后续扩容、降低成本、提升效率。此外,百信服务器还兼容华为IAAS、腾讯TCE、腾讯TBDS、南大通用MPP数据库、东方通中间件、主流KVM虚拟化软件等应用,为C银行的五大数据中心(北京、上海、合肥、西安、内蒙)以及各省分行提供服务。百信根据客户需求,完成了总行及16家省级分行的交付工作,累计交付超过2000台服务器,实现了C银行国产化硬件替代,同时提升了客户数据使用效率,保障了业务数据的信息安全。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)3.2.5 超集信息44453.2.4 华鲲振宇1、产品介绍 天擎TG225 B1:华鲲振宇推出的一款2U双路旗舰级服务器,具备三大方面优势:(1)极致性能:支持2颗鲲鹏920处理器,采用原生全闪设计,CPU直出NVMe链路,支持16块NVMe SSD(2)灵活扩展:支持11个PCIe 4.0标准扩展插槽,规格提升37%,支持10 种Riser卡模组,配置灵活;最大支持9张xPU加速卡(x8),AI计算性能提升15%;支持内置2块m.2 SSD盘,支持硬件RAID0/1,节省槽位占用,提供更多扩展能力(3)安全可信:支持基于鲲鹏TPCM可信解决方案,满足行业可信计算3.0需求;防篡改、防破解、防安全攻击天智AT800(Model 9000)A2:华鲲振宇推出新一代人工智能训练服务器,产品升级,全面支持FP32算力精度满足更多场景,其特点:(1)整机可提供2.5PFlops FP16算力,为业界同等的1.1倍,可提供0.65PFlops FP32算力,为业界同等的3倍,较上一代芯片提升17.5倍;(2)8颗NPU芯片之间通过HCCS全互联,互联带宽可达392GB/s,持平业界;(3)NPU芯片直出200GE网络端口,支持RoCE天极HC6000:华鲲振宇推出的浸没式液冷解决方案,其中国产鲲鹏、昇腾浸没式液冷服务器为全球首发,整体解决方案具备三大方面优势:(1)极致节能:全浸没式液冷,流速精确控制;功耗降低10%,PUE小于1.1(2)极稳运行:液体低介电系数,SI参数优化设计;可长期低温运行,故障率降低50%(3)轻松运维:无风扇设计,噪音相比风冷降低50dB2、标杆案例智算存一体化大数据中心解决方案是面向新型数据中心场景的综合性解决方案,着力以智算存一体化大数据中心为依托,解决AI算力资源稀缺且昂贵、AI高端人才缺乏、产学研转化不足等问题。方案以昇腾全栈AI基础软硬件作为底座,选用绿色节能预制化数据中心产品技术和超强人工智能算力集群,通过能基、网络、存储、计算、云平台、算力平台构筑完整的软硬件方案,形成从设计、交付、运营、运维端到端服务体系,提供智算存集成的训推一体化算力服务、计算服务、存储服务,为政府、企业、高校、科研机构等用户建设城市智脑平台、全球领先(E级)人工智能计算平台(普惠AI 科研创新专用)和全球智能数据存储与机器视觉科研创新平台提供支撑。图表 33 智算存一体化大数据中心解决方案架构目前,此方案成功应用于成都、福州、青岛、天津、南昌等智算中心项目。其中成都总共投入建设261个机柜、1套人工智能集群1套、120台通用服务器、2套高端全闪存存储、2套海量高密存储2套、179台网络及安全设备,实现首期提供307P人工智能计算能力;采用高能效全液冷解决方案,提供60 kW/cabinet的散热和供电能力,PUE低至1.2;并通过智慧化运营,放大算力中心的边际效应,孵化区域典型AI场景解决方案,端到端打通“产”“学”“研”“用”全产业链,发展产业生态,推进产业数字化升级和转型,实现算力利用率超过90%,注册用户90家,累计适配企业伙伴80家,已承接3个科研项目,同时为多个项目提供支撑。1、产品介绍 封闭式高性能液冷机架式服务器由超集信息自主研发的封闭式高性能液冷机架式服务器ServMAX GL414-H3,可实现单路Arm架构处理器及四张全尺寸专业级GPU搭载。在液冷技术的高效散热下,整机满载运行下CPU最高温度为77,GPU温度为70(环温30,12H压力测试),可保证关键芯片高效稳定运行,避免降频风险。同时,GL414-H3对机房环境的整体依赖度更低,无需进行整个机房的一次侧改造,可在客户现有机房进行直接上架,开机即用,纵享高效算力升级带来的全新体验。面对非标准化机房客户(整体散热、降噪未达到机房标准),亦可实现有效部署。并且,GL414-H3通过封闭式设计,无需外接CDU,机房空间要求更小,可实现有限机房空间内的更高密度部署,以应对日益提升的算力扩展需求。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)3.2.5 超集信息44453.2.4 华鲲振宇1、产品介绍 天擎TG225 B1:华鲲振宇推出的一款2U双路旗舰级服务器,具备三大方面优势:(1)极致性能:支持2颗鲲鹏920处理器,采用原生全闪设计,CPU直出NVMe链路,支持16块NVMe SSD(2)灵活扩展:支持11个PCIe 4.0标准扩展插槽,规格提升37%,支持10 种Riser卡模组,配置灵活;最大支持9张xPU加速卡(x8),AI计算性能提升15%;支持内置2块m.2 SSD盘,支持硬件RAID0/1,节省槽位占用,提供更多扩展能力(3)安全可信:支持基于鲲鹏TPCM可信解决方案,满足行业可信计算3.0需求;防篡改、防破解、防安全攻击天智AT800(Model 9000)A2:华鲲振宇推出新一代人工智能训练服务器,产品升级,全面支持FP32算力精度满足更多场景,其特点:(1)整机可提供2.5PFlops FP16算力,为业界同等的1.1倍,可提供0.65PFlops FP32算力,为业界同等的3倍,较上一代芯片提升17.5倍;(2)8颗NPU芯片之间通过HCCS全互联,互联带宽可达392GB/s,持平业界;(3)NPU芯片直出200GE网络端口,支持RoCE天极HC6000:华鲲振宇推出的浸没式液冷解决方案,其中国产鲲鹏、昇腾浸没式液冷服务器为全球首发,整体解决方案具备三大方面优势:(1)极致节能:全浸没式液冷,流速精确控制;功耗降低10%,PUE小于1.1(2)极稳运行:液体低介电系数,SI参数优化设计;可长期低温运行,故障率降低50%(3)轻松运维:无风扇设计,噪音相比风冷降低50dB2、标杆案例智算存一体化大数据中心解决方案是面向新型数据中心场景的综合性解决方案,着力以智算存一体化大数据中心为依托,解决AI算力资源稀缺且昂贵、AI高端人才缺乏、产学研转化不足等问题。方案以昇腾全栈AI基础软硬件作为底座,选用绿色节能预制化数据中心产品技术和超强人工智能算力集群,通过能基、网络、存储、计算、云平台、算力平台构筑完整的软硬件方案,形成从设计、交付、运营、运维端到端服务体系,提供智算存集成的训推一体化算力服务、计算服务、存储服务,为政府、企业、高校、科研机构等用户建设城市智脑平台、全球领先(E级)人工智能计算平台(普惠AI 科研创新专用)和全球智能数据存储与机器视觉科研创新平台提供支撑。图表 33 智算存一体化大数据中心解决方案架构目前,此方案成功应用于成都、福州、青岛、天津、南昌等智算中心项目。其中成都总共投入建设261个机柜、1套人工智能集群1套、120台通用服务器、2套高端全闪存存储、2套海量高密存储2套、179台网络及安全设备,实现首期提供307P人工智能计算能力;采用高能效全液冷解决方案,提供60 kW/cabinet的散热和供电能力,PUE低至1.2;并通过智慧化运营,放大算力中心的边际效应,孵化区域典型AI场景解决方案,端到端打通“产”“学”“研”“用”全产业链,发展产业生态,推进产业数字化升级和转型,实现算力利用率超过90%,注册用户90家,累计适配企业伙伴80家,已承接3个科研项目,同时为多个项目提供支撑。1、产品介绍 封闭式高性能液冷机架式服务器由超集信息自主研发的封闭式高性能液冷机架式服务器ServMAX GL414-H3,可实现单路Arm架构处理器及四张全尺寸专业级GPU搭载。在液冷技术的高效散热下,整机满载运行下CPU最高温度为77,GPU温度为70(环温30,12H压力测试),可保证关键芯片高效稳定运行,避免降频风险。同时,GL414-H3对机房环境的整体依赖度更低,无需进行整个机房的一次侧改造,可在客户现有机房进行直接上架,开机即用,纵享高效算力升级带来的全新体验。面对非标准化机房客户(整体散热、降噪未达到机房标准),亦可实现有效部署。并且,GL414-H3通过封闭式设计,无需外接CDU,机房空间要求更小,可实现有限机房空间内的更高密度部署,以应对日益提升的算力扩展需求。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)46图表 34 GL414-H3封闭式高性能液冷机架式服务器2、标杆案例 上海某大学非标机房液冷升级上海某大学大数据项目组为实现大数据技术的进一步创新,其需导入更大量数据以进一步优化数据模型。但由于项目组仍沿用着较早期建设的非标准化机房,机房整体空间、散热、降噪能力均有限,关键芯片降频及噪音等问题也是设施扩展中难以避免的重点难题。考虑到非标准机房的限制条件,超集信息为其提供了基于ServMAX GL414-H3服务器的液冷解决方案,整机的单路Arm芯片及四张专业级GPU通过液冷散热,有效规避了降频风险,可实现 2640 TFLOPS混合算力的稳定输出,构建了CPU GPU的高效处理流。依托搭载Arm架构处理器的超集信息封闭式高性能液冷机架式服务器ServMAX GL414-H3,客户不仅实现了非标准化机房下的算力高效扩展,同时加速了ETL、数据清洗等数据准备工作,并且和后期的模型训练Job无缝对接,形成整个从raw data到result的pipeline。第四章 CHAPTER 4绿色计算软件生态绿色计算产业发展白皮书(2023版)46图表 34 GL414-H3封闭式高性能液冷机架式服务器2、标杆案例 上海某大学非标机房液冷升级上海某大学大数据项目组为实现大数据技术的进一步创新,其需导入更大量数据以进一步优化数据模型。但由于项目组仍沿用着较早期建设的非标准化机房,机房整体空间、散热、降噪能力均有限,关键芯片降频及噪音等问题也是设施扩展中难以避免的重点难题。考虑到非标准机房的限制条件,超集信息为其提供了基于ServMAX GL414-H3服务器的液冷解决方案,整机的单路Arm芯片及四张专业级GPU通过液冷散热,有效规避了降频风险,可实现 2640 TFLOPS混合算力的稳定输出,构建了CPU GPU的高效处理流。依托搭载Arm架构处理器的超集信息封闭式高性能液冷机架式服务器ServMAX GL414-H3,客户不仅实现了非标准化机房下的算力高效扩展,同时加速了ETL、数据清洗等数据准备工作,并且和后期的模型训练Job无缝对接,形成整个从raw data到result的pipeline。第四章 CHAPTER 4绿色计算软件生态绿色计算产业发展白皮书(2023版)48494.1综述Arm 多年来一直专注于软件开发,包括确保对所有主要语言、数据库、工具和操作系统的支持和兼容性。因此,大约有 1500 万开发者在 Arm 上进行开发,并且这一趋势正在迅速加速,尤其是在 Armv9 开发中。例如,NVIDIA 于2019年宣布其CUDA开始支持基于Arm的AI和HPC应用程序,目前CUDA已支持超过3000个应用程序。世界上主要的超大规模数据中心已采用 Arm 并建立了用例,同时对软件的持续大量投资确保它们适合客户采用。这种应用类似于滚雪球效应,并且不断增长。Arm 在 2020 年推出 SystemReady 计划,提供了一套专用于服务器和云数据中心的新系统架构标准,并包含更广泛的操作系统规范和认证,以确保软件的互操作性。Arm SystemReady 计划已完成超过 100 项认证,其中 Microsoft Azure 和 Red Hat 均拥有经过认证的 SystemReady-VE 解决方案。图表 35 Arm SystemReady支持者4.2操作系统4.2.1 麒麟软件1、产品介绍 银河麒麟高级服务器操作系统V10 SP3具备内生安全、云原生支持、国产平台深度优化、高性能、易管理的新一代自主服务器操作系统;可支撑构建大型数据中心服务器高可用集群、负载均衡集群、分布式集群文件系统、虚拟化应用和容器云平台等,部署于物理服务器和虚拟化环境、私有云、公有云和混合云环境。与上一版本相比,银河麒麟高级服务器操作系统在功能/性能表现、安全能力、软硬件兼容等方面提升明显,在兼顾系统性能与系统安全的同时,引入新技术、新特性稳定地支撑应用,解决企业数字化转型业务上云的核心需求。银河麒麟桌面操作系统V10 SP1 2303适配国产软硬件平台并深入优化,提供最优的硬件兼容性。新版本实现界面风格和交互设计的全新升级,注重移动设备协同并引入安全可信计算体系。与上一版本相比,银河麒麟桌面操作系统V10 SP1 2303在功能易用性、交互体验一致性、系统安全性以及应用兼容性等方面均有显著提升,并紧紧围绕体验好用、安全好用、生态好用、行业好用这四个核心目标,为用户带来最佳的使用体验同时,满足用户跨场景协同办公的需求。星光麒麟操作系统1.0(Starkylin 1.0)具有“弹性扩展、智能互联、内生安全、统一框架”的产品特性,已全面适配、覆盖国产主流移动芯片,基于Linux H5兼容AOSP应用生态。星光麒麟操作系统首个1.0版本将覆盖平板、大屏、手持设备和可穿戴设备业务需求。星光麒麟以安全为基,打造软硬结合的内生安全体系,满足各行业面向万物智联时代的安全应用需求。未来,星光麒麟会持续拓展至工控、物联网以及边缘计算等设备,支持海量业务系统互联互通。2、标杆案例:银河麒麟操作系统助力某证券金融信息化创新项目建设银河麒麟操作系统助力某证券金融信息化创新项目的建设,实现了其核心业务系统和传统应用均可在国产桌面操作系统上稳定使用的需求。用户无需切换操作系统来使用传统C/S架构应用,保证了客户的核心业务连续可靠运行,降低了用户的学习成本,具有示范效应,为金融行业国产化创新提供了一条可行的过渡技术路线。某证券公司为某省金融信息化创新项目首家试点单位,现已完成办公系统(办公OA系统、电子邮件系统、云桌面系统)、核心系统(网上交易信创系统、理财商城系统)、麒麟应用虚拟化等业务系统的建设,并稳定运行。项目成果:针对某证券在短期内需要改造适配国产操作系统的难题,联合麒麟软件组建联合创新小组共同就内部的C/S应用适配开展测试评估,对C/S应用进行分析后,制定了以应用虚拟化为主的路线,将原操作系统上的应用程序生成为可跨平台发布的虚拟应用。通过多方面协作配合展开工作,项目已完成86套服务器系统,450套桌面系统,1套软件商店,450节点应用虚拟化等相关底层系统的部署工作。技术架构:图表 36 项目技术架构绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)48494.1综述Arm 多年来一直专注于软件开发,包括确保对所有主要语言、数据库、工具和操作系统的支持和兼容性。因此,大约有 1500 万开发者在 Arm 上进行开发,并且这一趋势正在迅速加速,尤其是在 Armv9 开发中。例如,NVIDIA 于2019年宣布其CUDA开始支持基于Arm的AI和HPC应用程序,目前CUDA已支持超过3000个应用程序。世界上主要的超大规模数据中心已采用 Arm 并建立了用例,同时对软件的持续大量投资确保它们适合客户采用。这种应用类似于滚雪球效应,并且不断增长。Arm 在 2020 年推出 SystemReady 计划,提供了一套专用于服务器和云数据中心的新系统架构标准,并包含更广泛的操作系统规范和认证,以确保软件的互操作性。Arm SystemReady 计划已完成超过 100 项认证,其中 Microsoft Azure 和 Red Hat 均拥有经过认证的 SystemReady-VE 解决方案。图表 35 Arm SystemReady支持者4.2操作系统4.2.1 麒麟软件1、产品介绍 银河麒麟高级服务器操作系统V10 SP3具备内生安全、云原生支持、国产平台深度优化、高性能、易管理的新一代自主服务器操作系统;可支撑构建大型数据中心服务器高可用集群、负载均衡集群、分布式集群文件系统、虚拟化应用和容器云平台等,部署于物理服务器和虚拟化环境、私有云、公有云和混合云环境。与上一版本相比,银河麒麟高级服务器操作系统在功能/性能表现、安全能力、软硬件兼容等方面提升明显,在兼顾系统性能与系统安全的同时,引入新技术、新特性稳定地支撑应用,解决企业数字化转型业务上云的核心需求。银河麒麟桌面操作系统V10 SP1 2303适配国产软硬件平台并深入优化,提供最优的硬件兼容性。新版本实现界面风格和交互设计的全新升级,注重移动设备协同并引入安全可信计算体系。与上一版本相比,银河麒麟桌面操作系统V10 SP1 2303在功能易用性、交互体验一致性、系统安全性以及应用兼容性等方面均有显著提升,并紧紧围绕体验好用、安全好用、生态好用、行业好用这四个核心目标,为用户带来最佳的使用体验同时,满足用户跨场景协同办公的需求。星光麒麟操作系统1.0(Starkylin 1.0)具有“弹性扩展、智能互联、内生安全、统一框架”的产品特性,已全面适配、覆盖国产主流移动芯片,基于Linux H5兼容AOSP应用生态。星光麒麟操作系统首个1.0版本将覆盖平板、大屏、手持设备和可穿戴设备业务需求。星光麒麟以安全为基,打造软硬结合的内生安全体系,满足各行业面向万物智联时代的安全应用需求。未来,星光麒麟会持续拓展至工控、物联网以及边缘计算等设备,支持海量业务系统互联互通。2、标杆案例:银河麒麟操作系统助力某证券金融信息化创新项目建设银河麒麟操作系统助力某证券金融信息化创新项目的建设,实现了其核心业务系统和传统应用均可在国产桌面操作系统上稳定使用的需求。用户无需切换操作系统来使用传统C/S架构应用,保证了客户的核心业务连续可靠运行,降低了用户的学习成本,具有示范效应,为金融行业国产化创新提供了一条可行的过渡技术路线。某证券公司为某省金融信息化创新项目首家试点单位,现已完成办公系统(办公OA系统、电子邮件系统、云桌面系统)、核心系统(网上交易信创系统、理财商城系统)、麒麟应用虚拟化等业务系统的建设,并稳定运行。项目成果:针对某证券在短期内需要改造适配国产操作系统的难题,联合麒麟软件组建联合创新小组共同就内部的C/S应用适配开展测试评估,对C/S应用进行分析后,制定了以应用虚拟化为主的路线,将原操作系统上的应用程序生成为可跨平台发布的虚拟应用。通过多方面协作配合展开工作,项目已完成86套服务器系统,450套桌面系统,1套软件商店,450节点应用虚拟化等相关底层系统的部署工作。技术架构:图表 36 项目技术架构绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)5051桌面:同方、兆芯、银河麒麟桌面操作系统V10、阿里专有云桌面、麒麟软件商店(私有化版);服务器:华为(鲲鹏920)、海光、银河麒麟高级服务器系统V10;办公软件生态:wps、奇安信浏览器、dbeaver等;项目成果:本次应用虚拟化方案实施完成后,确保了核心系统顺利迁移,成为该省金融行业首个应用虚拟化落地案例。通过银河麒麟应用虚拟化管理软件,用户不需要依赖虚拟机,应用服务直接运行在高性能服务器或服务器集群上,与原生系统及硬件之间不再有“虚拟化中间层”,可以极大降低性能损耗。同时应用程序可以便捷地下发到用户终端桌面,不再受用户终端CPU架构和操作系统限制。4.2.2 统信软件1、产品介绍 统信UOS云原生版(统信有燕)是基于统信UOS服务器版V20衍生而来,面向云原生场景打造的轻量、快速、安全、不可变操作系统,通过深度结合Kubernetes和容器技术,助力客户轻松搭建企业级容器云PaaS平台,满足企业业务上云需求。图表 37 统信UOS云原生版OS的优势统信容器云管理平台(统信有雀)是以容器技术为核心,面向应用的企业级容器云PaaS平台。平台整合了业内主流的DevOps、微服务、服务网格、CI/CD等新理念和新技术,为企业容器化的应用提供从开发、测试、部署到运维的全生命周期管理功能,真正实现应用构建交付环境一致化、资源管理自动化、应用运维智能化,全方面提升企业竞争力,助力企业顺利完成“云改数转”。容器云平台自主化替换完全兼容OKD、Kubernetes集群环境,无需更改配置,即可将业务系统平滑迁移至自主化容器云平台,助力企业提高业务运行可靠性,满足国内用户自主可控、安全合规的需求。CentOS迁移及容器化改造提供深度优化、安全加固的不可变系统,支持根据用户需求进行容器化和微服务改造,提升业务应用可移植性,同时实现应用容器化,助力云原生改造。云基础设施平台构建支持快速搭建单节点和多节点云基础设施平台,提供弹性伸缩机制,将硬件资源抽象成资源池,作为云主机资源供上层应用统一调度,从而有效降低IT运维成本,提升业务敏捷性。2、标杆案例:科研集团容器云解决方案国产替换拥有数以万计用户量的某科研集团,计划进行容器云解决方案国产替换,持续提升业务效率:项目概况:某科研单位积极推进国产化进程,将原有Intel x86环境中使用的Kubernetes集群替换为国产化产品,在满足信创安全的同时,进一步提升自身业务快速创新的需要,提高业务迭代整体效率。项目挑战:1)原有Kubernetes集群对应用的生命周期管理较薄弱,Pod升级时会影响业务连续性,客户体验较差,需要支持业务的平滑升级。2)研发体系面向DevOps从无到有的转型挑战,需要借助业界优秀实践,完成体系转型。解决方案:1)安装部署“统信有雀”,完全兼容客户原有Kubernetes集群,无需更改配置,并通过流量控制等微服务治理方式,保障在完成平台中的Pod升级时,业务平滑运行。2)通过分析用户研发和运维流程,基于自动化、可移植性、持续集成、滚动发布等特性,提供整体方案,帮助用户完成DevOps转型。项目成果:1)将企业业务顺利迁移至“统信有雀”上,圆满完成国产化替代工作。2)通过完成优秀的DevOps实践,提升企业自身研发效率,能够快速创新和交付验证,使科研效能再上新高度。4.3数据库4.3.1 蚂蚁集团旗下OceanBase 麒麟应用虚拟化:SAP、PB、HSRCP_ADMIN、恒生柜台、Trade、MobaXterm、Navicat、pl/sql、postman。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)5051桌面:同方、兆芯、银河麒麟桌面操作系统V10、阿里专有云桌面、麒麟软件商店(私有化版);服务器:华为(鲲鹏920)、海光、银河麒麟高级服务器系统V10;办公软件生态:wps、奇安信浏览器、dbeaver等;项目成果:本次应用虚拟化方案实施完成后,确保了核心系统顺利迁移,成为该省金融行业首个应用虚拟化落地案例。通过银河麒麟应用虚拟化管理软件,用户不需要依赖虚拟机,应用服务直接运行在高性能服务器或服务器集群上,与原生系统及硬件之间不再有“虚拟化中间层”,可以极大降低性能损耗。同时应用程序可以便捷地下发到用户终端桌面,不再受用户终端CPU架构和操作系统限制。4.2.2 统信软件1、产品介绍 统信UOS云原生版(统信有燕)是基于统信UOS服务器版V20衍生而来,面向云原生场景打造的轻量、快速、安全、不可变操作系统,通过深度结合Kubernetes和容器技术,助力客户轻松搭建企业级容器云PaaS平台,满足企业业务上云需求。图表 37 统信UOS云原生版OS的优势统信容器云管理平台(统信有雀)是以容器技术为核心,面向应用的企业级容器云PaaS平台。平台整合了业内主流的DevOps、微服务、服务网格、CI/CD等新理念和新技术,为企业容器化的应用提供从开发、测试、部署到运维的全生命周期管理功能,真正实现应用构建交付环境一致化、资源管理自动化、应用运维智能化,全方面提升企业竞争力,助力企业顺利完成“云改数转”。容器云平台自主化替换完全兼容OKD、Kubernetes集群环境,无需更改配置,即可将业务系统平滑迁移至自主化容器云平台,助力企业提高业务运行可靠性,满足国内用户自主可控、安全合规的需求。CentOS迁移及容器化改造提供深度优化、安全加固的不可变系统,支持根据用户需求进行容器化和微服务改造,提升业务应用可移植性,同时实现应用容器化,助力云原生改造。云基础设施平台构建支持快速搭建单节点和多节点云基础设施平台,提供弹性伸缩机制,将硬件资源抽象成资源池,作为云主机资源供上层应用统一调度,从而有效降低IT运维成本,提升业务敏捷性。2、标杆案例:科研集团容器云解决方案国产替换拥有数以万计用户量的某科研集团,计划进行容器云解决方案国产替换,持续提升业务效率:项目概况:某科研单位积极推进国产化进程,将原有Intel x86环境中使用的Kubernetes集群替换为国产化产品,在满足信创安全的同时,进一步提升自身业务快速创新的需要,提高业务迭代整体效率。项目挑战:1)原有Kubernetes集群对应用的生命周期管理较薄弱,Pod升级时会影响业务连续性,客户体验较差,需要支持业务的平滑升级。2)研发体系面向DevOps从无到有的转型挑战,需要借助业界优秀实践,完成体系转型。解决方案:1)安装部署“统信有雀”,完全兼容客户原有Kubernetes集群,无需更改配置,并通过流量控制等微服务治理方式,保障在完成平台中的Pod升级时,业务平滑运行。2)通过分析用户研发和运维流程,基于自动化、可移植性、持续集成、滚动发布等特性,提供整体方案,帮助用户完成DevOps转型。项目成果:1)将企业业务顺利迁移至“统信有雀”上,圆满完成国产化替代工作。2)通过完成优秀的DevOps实践,提升企业自身研发效率,能够快速创新和交付验证,使科研效能再上新高度。4.3数据库4.3.1 蚂蚁集团旗下OceanBase 麒麟应用虚拟化:SAP、PB、HSRCP_ADMIN、恒生柜台、Trade、MobaXterm、Navicat、pl/sql、postman。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)52531、产品介绍 OceanBaseOceanBase 已助力400 行业客户实现关键业务系统升级,应用于超过 1/4 国内头部金融机构。现已服务工商银行、建设银行、中国人保、中华财险、招商证券、山东移动、中石化、海底捞、GCash 等,助力金融、政府、运营商、零售、互联网等多个行业的客户实现核心系统升级。4.1 版本在 4.0 版本的基础上进一步增强性能、稳定性及高级特性,内核能力在分布式事务和存储方面进行大量优化。未来的版本中,OceanBase 将继续提升OLAP性能,通过列存功能来进一步增强对复杂查询的支持能力,同时提升极端场景下的应急处理能力。此外,OB Cloud实现跨基础设施的混合云部署,可以根据客户需求将OceanBase数据库一键式的部署到阿里云、腾讯云、AWS等云厂商上,支持包年包月和按量付费模式;支持从14G到128核800G等不同规格的实例,能够支持用户“从小到大”的全生命周期数据库需求,帮助用户更好地业务创新及降本增效。依托OceanBase 的“LSM-Tree数据高级压缩技术”、“高效的分布式事务处理引擎”等绿色计算能力,经中环联合认证中心(CEC)测算,2022年OceanBase助力蚂蚁集团合计减排 4392吨二氧化碳当量。2、标杆案例:云南红塔银行新一代核心系统OceanBase 已助力400 行业客户实现关键业务系统升级,应用于超过 1/4 国内头部金融机构。云南红塔银行就是一个典型的核心系统全栈分布式升级案例。客户痛点:云南红塔银行原有IBM小机 DB2 高端存储组成的集中式数据库系统成本昂贵,其核心系统的系统架构、数据架构都已保持不变运行多年,虽然运行相对平稳,但在当下数据量猛增,并发不断增大的业务场景下,已经难以支撑业务需求。解决方案:云南红塔银行启动了新一代核心系统项目群建设,采用“云计算 微服务 OceanBase分布式数据库”的技术底座,向云原生分布式架构转型。化繁为简,降低成本:利用OceanBase的分布式数据处理能力和分布式事物处理能力,不采用单元化方案,不使用分布式事物中间件,简化应用的开发部署。同城双活,灵活高效:利用OceanBase分布式数据库的高可用能力,采用两地三中心五副本架构,“主城市”包含两个生产数据中心,同时应用系统对等部署在两个机房,实现同城双活。异地容灾,安全无忧:异地灾备数据中心部署主集群的一个仲裁副本,同时部署备集群提供异地容灾能力,备集群通过日志回放进行异步的数据同步。图表 38 云南红塔银行分布式数据库部署架构图应用效果:OceanBase数据库上线后,云南红塔银行具备服务亿级客户、每天亿级交易量的“双亿”能力,实现了平均每分钟处理约50万笔联机交易、交易平均响应时间不高于300毫秒的卓越性能。核心应用性能压测达到国内领先水平,满足未来8-10年的业务增长需求。硬件投入成本是传统集中式数据库在相同吞吐量下的1/10,系统运维成本降低数百万元。大幅提升了业务创新效能,实现同城双机房全功能对称双活,在高可用、易扩展、高性能等方面得到全面提升。故障恢复时间缩短到30秒内,业务连续性高达99.99%。4.3.2 蚂蚁集团旗下TuGraph1、产品介绍高性能图数据库TuGraph由蚂蚁集团和清华大学共同研发,经过蚂蚁万亿级业务的实际场景验证,并通过国际图数据库基准性能测试(LDBC-SNB),测试结果3次刷新世界纪录。TuGraph在功能完整性、吞吐率、响应时间等技术指标上均达到全球领先水平,为用户提供高效、易用、可靠的平台管理和分析复杂关联数据。2、标杆案例:某大型国有商业银行资金关联分析案例TuGraph应用于蚂蚁内部的金融风控、会员关系、数据治理等300多个场景,为支付宝在2021年实现资产损失率小于亿分之一发挥了作用。同时也面向金融、政务、能源、工业等多个行业的客户提供服务。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)52531、产品介绍 OceanBaseOceanBase 已助力400 行业客户实现关键业务系统升级,应用于超过 1/4 国内头部金融机构。现已服务工商银行、建设银行、中国人保、中华财险、招商证券、山东移动、中石化、海底捞、GCash 等,助力金融、政府、运营商、零售、互联网等多个行业的客户实现核心系统升级。4.1 版本在 4.0 版本的基础上进一步增强性能、稳定性及高级特性,内核能力在分布式事务和存储方面进行大量优化。未来的版本中,OceanBase 将继续提升OLAP性能,通过列存功能来进一步增强对复杂查询的支持能力,同时提升极端场景下的应急处理能力。此外,OB Cloud实现跨基础设施的混合云部署,可以根据客户需求将OceanBase数据库一键式的部署到阿里云、腾讯云、AWS等云厂商上,支持包年包月和按量付费模式;支持从14G到128核800G等不同规格的实例,能够支持用户“从小到大”的全生命周期数据库需求,帮助用户更好地业务创新及降本增效。依托OceanBase 的“LSM-Tree数据高级压缩技术”、“高效的分布式事务处理引擎”等绿色计算能力,经中环联合认证中心(CEC)测算,2022年OceanBase助力蚂蚁集团合计减排 4392吨二氧化碳当量。2、标杆案例:云南红塔银行新一代核心系统OceanBase 已助力400 行业客户实现关键业务系统升级,应用于超过 1/4 国内头部金融机构。云南红塔银行就是一个典型的核心系统全栈分布式升级案例。客户痛点:云南红塔银行原有IBM小机 DB2 高端存储组成的集中式数据库系统成本昂贵,其核心系统的系统架构、数据架构都已保持不变运行多年,虽然运行相对平稳,但在当下数据量猛增,并发不断增大的业务场景下,已经难以支撑业务需求。解决方案:云南红塔银行启动了新一代核心系统项目群建设,采用“云计算 微服务 OceanBase分布式数据库”的技术底座,向云原生分布式架构转型。化繁为简,降低成本:利用OceanBase的分布式数据处理能力和分布式事物处理能力,不采用单元化方案,不使用分布式事物中间件,简化应用的开发部署。同城双活,灵活高效:利用OceanBase分布式数据库的高可用能力,采用两地三中心五副本架构,“主城市”包含两个生产数据中心,同时应用系统对等部署在两个机房,实现同城双活。异地容灾,安全无忧:异地灾备数据中心部署主集群的一个仲裁副本,同时部署备集群提供异地容灾能力,备集群通过日志回放进行异步的数据同步。图表 38 云南红塔银行分布式数据库部署架构图应用效果:OceanBase数据库上线后,云南红塔银行具备服务亿级客户、每天亿级交易量的“双亿”能力,实现了平均每分钟处理约50万笔联机交易、交易平均响应时间不高于300毫秒的卓越性能。核心应用性能压测达到国内领先水平,满足未来8-10年的业务增长需求。硬件投入成本是传统集中式数据库在相同吞吐量下的1/10,系统运维成本降低数百万元。大幅提升了业务创新效能,实现同城双机房全功能对称双活,在高可用、易扩展、高性能等方面得到全面提升。故障恢复时间缩短到30秒内,业务连续性高达99.99%。4.3.2 蚂蚁集团旗下TuGraph1、产品介绍高性能图数据库TuGraph由蚂蚁集团和清华大学共同研发,经过蚂蚁万亿级业务的实际场景验证,并通过国际图数据库基准性能测试(LDBC-SNB),测试结果3次刷新世界纪录。TuGraph在功能完整性、吞吐率、响应时间等技术指标上均达到全球领先水平,为用户提供高效、易用、可靠的平台管理和分析复杂关联数据。2、标杆案例:某大型国有商业银行资金关联分析案例TuGraph应用于蚂蚁内部的金融风控、会员关系、数据治理等300多个场景,为支付宝在2021年实现资产损失率小于亿分之一发挥了作用。同时也面向金融、政务、能源、工业等多个行业的客户提供服务。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)5455客户痛点:作为国内最大的信用卡发卡行之一,某大型国有商业银行的用户长期以来面对无数作案团伙想法设法钻营风控漏洞,实施金融盗窃或诈骗,非法牟利的挑战。用户信用卡申请中的团伙欺诈占总欺诈的比例较高,作案方式隐蔽,传统分析方法无法有效识别风险。近年来,涉信用卡犯罪呈现出犯罪团伙分工专业、犯罪手法隐蔽多样、复合型犯罪多发等新特点,如何挖掘犯罪欺诈团伙是反诈迫切需要解决的问题。解决方案:TuGraph基于图模型的形式,将信息中的实体以及实体之间的关联关系,分别抽象表达成为“顶点”以及“顶点间的边”这样的数据结构。通过将电话、邮件、地址、介质等数据信息构建申请关联关系图,基于社区发现算法(Louvain、广度优先遍历等)挖掘人、交易关系、转账关系、电话、邮件、地址、介质之间的群体关系以及聚集关系,进一步分析查找其中可能的异常申请信息,并挖掘出有相关性的作案团伙,使违规申请团伙无所遁形。图表 39 信用卡申请关系图应用效果:业务方面,通过先进的图数据库技术,根据已知的黑种子进一步挖掘信用卡申请关系,发现了黑产所拥有的信用卡、涉嫌非法申请信用卡套现等,为银行降低了资产上的损失。技术方面,原有采用的技术手段是某开源的图系统,但是计算一次信用卡申请关系的时间要用10个小时。采用TuGraph后,整体运算时间从10小时降到10分钟,60倍的性能提升,大大提高了黑产挖掘的效率,降低银行资产的损失。基于TuGraph,用户实现了绿色可持续的大规模风险分析计算,效率和能效均远超传统方案,助力银行实现高效、环保的大规模风险管理。4.3.3 海量数据1、产品介绍 海量数据库Vastbase G100海量数据在数据库的运维服务领域和自主研发领域均有超过10年的丰富经验,在数据库内核及周边产品、以及各大核心行业应用系统的理解程度上,均处于国产数据库厂商的头部位置。海量数据库Vastbase G100是海量数据基于开源openGauss内核开发的企业级关系型数据库。融合了多年对各行业应用场景的深入理解,Vastbase除了具有openGauss极致的性能以外,还在其原有功能基础上增加了大量对Oracle、MySQL与PostgreSQL的兼容特性、提供了极佳的业务连续性保障、并遵循EAL4 标准进行了大幅度的安全增强、同时整合GIS空间组件等一系列专业应用领域的企业级功能,为用户数据库选型提供更高性价比。2、标杆案例:中华联合人寿保险核心业务系统客户诉求:作为金融行业在信创产业的标杆客户,中华联合人寿保险急需寻找一款国产数据库产品,在功能性、稳定性、可靠性、安全性和兼容性等方面,可以完全满足保监会对于保险行业核心业务系统的要求。具体要求:(1)团险新核心业务系统:专注于承保、保全、理赔及收付费等寿险核心业务的处理。要求系统具备相对的独立性以及开放的架构、高效的信息吞吐和数据处理能力。(2)高可靠和强一致:保险核心系统属于交易型业务,对数据的安全性和可靠性要求极高,不能出现数据的错误和数据的丢失。(3)高性能:流量增大时,要求数据库实现复杂保单业务大批量数据在线验证、导入与查询功能。(4)高安全:投保客户的用户数据属于隐私数据,需要100%保证数据的安全。解决方案:(1)数据库产品Vastbase G100,提供了高稳定、高性能、高可靠、高安全、高兼容的数据库平台,完全满足保险行业核心业务系统对数据库的高标准要求。(2)数据迁移产品exBase提供了专业的数据库和应用系统兼容性评估报告,实现了异构数据库平台一键式自动迁移及转换,帮助客户一次性迁移大量的核心系统数据库。(3)三权分立的权限认证机制,以及多种数据加密方式和审计功能,全方位保护客户隐私数据的安全。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)5455客户痛点:作为国内最大的信用卡发卡行之一,某大型国有商业银行的用户长期以来面对无数作案团伙想法设法钻营风控漏洞,实施金融盗窃或诈骗,非法牟利的挑战。用户信用卡申请中的团伙欺诈占总欺诈的比例较高,作案方式隐蔽,传统分析方法无法有效识别风险。近年来,涉信用卡犯罪呈现出犯罪团伙分工专业、犯罪手法隐蔽多样、复合型犯罪多发等新特点,如何挖掘犯罪欺诈团伙是反诈迫切需要解决的问题。解决方案:TuGraph基于图模型的形式,将信息中的实体以及实体之间的关联关系,分别抽象表达成为“顶点”以及“顶点间的边”这样的数据结构。通过将电话、邮件、地址、介质等数据信息构建申请关联关系图,基于社区发现算法(Louvain、广度优先遍历等)挖掘人、交易关系、转账关系、电话、邮件、地址、介质之间的群体关系以及聚集关系,进一步分析查找其中可能的异常申请信息,并挖掘出有相关性的作案团伙,使违规申请团伙无所遁形。图表 39 信用卡申请关系图应用效果:业务方面,通过先进的图数据库技术,根据已知的黑种子进一步挖掘信用卡申请关系,发现了黑产所拥有的信用卡、涉嫌非法申请信用卡套现等,为银行降低了资产上的损失。技术方面,原有采用的技术手段是某开源的图系统,但是计算一次信用卡申请关系的时间要用10个小时。采用TuGraph后,整体运算时间从10小时降到10分钟,60倍的性能提升,大大提高了黑产挖掘的效率,降低银行资产的损失。基于TuGraph,用户实现了绿色可持续的大规模风险分析计算,效率和能效均远超传统方案,助力银行实现高效、环保的大规模风险管理。4.3.3 海量数据1、产品介绍 海量数据库Vastbase G100海量数据在数据库的运维服务领域和自主研发领域均有超过10年的丰富经验,在数据库内核及周边产品、以及各大核心行业应用系统的理解程度上,均处于国产数据库厂商的头部位置。海量数据库Vastbase G100是海量数据基于开源openGauss内核开发的企业级关系型数据库。融合了多年对各行业应用场景的深入理解,Vastbase除了具有openGauss极致的性能以外,还在其原有功能基础上增加了大量对Oracle、MySQL与PostgreSQL的兼容特性、提供了极佳的业务连续性保障、并遵循EAL4 标准进行了大幅度的安全增强、同时整合GIS空间组件等一系列专业应用领域的企业级功能,为用户数据库选型提供更高性价比。2、标杆案例:中华联合人寿保险核心业务系统客户诉求:作为金融行业在信创产业的标杆客户,中华联合人寿保险急需寻找一款国产数据库产品,在功能性、稳定性、可靠性、安全性和兼容性等方面,可以完全满足保监会对于保险行业核心业务系统的要求。具体要求:(1)团险新核心业务系统:专注于承保、保全、理赔及收付费等寿险核心业务的处理。要求系统具备相对的独立性以及开放的架构、高效的信息吞吐和数据处理能力。(2)高可靠和强一致:保险核心系统属于交易型业务,对数据的安全性和可靠性要求极高,不能出现数据的错误和数据的丢失。(3)高性能:流量增大时,要求数据库实现复杂保单业务大批量数据在线验证、导入与查询功能。(4)高安全:投保客户的用户数据属于隐私数据,需要100%保证数据的安全。解决方案:(1)数据库产品Vastbase G100,提供了高稳定、高性能、高可靠、高安全、高兼容的数据库平台,完全满足保险行业核心业务系统对数据库的高标准要求。(2)数据迁移产品exBase提供了专业的数据库和应用系统兼容性评估报告,实现了异构数据库平台一键式自动迁移及转换,帮助客户一次性迁移大量的核心系统数据库。(3)三权分立的权限认证机制,以及多种数据加密方式和审计功能,全方位保护客户隐私数据的安全。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)2、标杆案例:某国有股份制银行便民缴费系统项目背景:便民缴费系统之前使用是Oracle RAC 2 2架构。在使用过程中针对灾备风险、存储风险、成本风险、扩展性风险、自主可控风险和业务需要、高吞吐低延迟等问题。从2019年开始逐步切换至国产分布式数据库架构产品支撑便民缴费业务。截至2022年末,便民缴费接入缴费项目超过1.5万项,全年缴费金额突破5000亿元,缴费笔数突破20亿笔,服务活跃用户突破4.4亿户,直联客户突破1亿户,最大可支持并发交易量为1.5万笔/秒,最大日交易量超过2亿笔。便民服务输出至微信、美团、中国银联、金融同业等650多家大型机构,基本实现国内主流服务平台全覆盖。业务峰值TPS约为8800,业务交易平均响应时间为57ms。目前单副本:10TB左右。解决方案:5657图表 40 中华联合人寿保险解决方案架构图客户收益:(1)全栈国产:海量数据库Vastbase G100与华为鲲鹏服务器、银河麒麟V10(openEuler版)操作系统、宝蓝德中间件、中科软开发商等全栈国产软硬件产品深度适配及融合,构建出了全新的信创IT架构体系。(2)性能提升:在批量导入、批量加人、保全更换被保险人等场景中,新体系处理性能相对原国际商业数据库平台平均提升2倍。(3)高安全易维护:完善的安全功能,帮助客户达到个信保护法的要求。自动化、可视化的运维平台,帮助客户达到降本增效的目标。4.3.4 万里数据库1、产品介绍 万里安全数据库软件GreatDB万里安全数据库软件GreatDB,是一款自主研发的关系型数据库产品,可根据用户需求采用集中式或分布式部署。它采用Shared-Nothing的计算存储分离分布式架构的设计,具有极强的可扩展性,满足用户按需动态扩缩容的需求;基于经典的多数派一致性协议实现数据库多副本的强一致性,满足金融级数据高可用需求;数据自动均衡分布,兼容主流SQL标准,对应用开发完全透明,数据可平滑迁移;采用了线程池、并行计算、计划下推等多种优化策略,深度适配多种平台,满足了高并发、低响应延迟的场景需求。图表 40 解决方案图价值体现:1)“便民缴费”平台依托金融科技,统一缴费供应商、缴费用户、缴费渠道、支付渠道,降低了收缴费中的管理成本;2)“便民缴费”业务涉足企业缴费市场,运用的数字化技术提升了企业的缴费效率,为企业提供了完善的缴费服务;3)“便民缴费”业务真正从实处构建“金融 生活 服务”的普惠便民生态圈;4)“便民缴费”深入创新发展,深刻服务新基建平台的持续化建设。在“后疫情时代”更加体现其业务优势,便捷的线上化服务符合未来“新基建”的发展方向,创新开放的服务模式也更能助力打造新型数字生活平台。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)2、标杆案例:某国有股份制银行便民缴费系统项目背景:便民缴费系统之前使用是Oracle RAC 2 2架构。在使用过程中针对灾备风险、存储风险、成本风险、扩展性风险、自主可控风险和业务需要、高吞吐低延迟等问题。从2019年开始逐步切换至国产分布式数据库架构产品支撑便民缴费业务。截至2022年末,便民缴费接入缴费项目超过1.5万项,全年缴费金额突破5000亿元,缴费笔数突破20亿笔,服务活跃用户突破4.4亿户,直联客户突破1亿户,最大可支持并发交易量为1.5万笔/秒,最大日交易量超过2亿笔。便民服务输出至微信、美团、中国银联、金融同业等650多家大型机构,基本实现国内主流服务平台全覆盖。业务峰值TPS约为8800,业务交易平均响应时间为57ms。目前单副本:10TB左右。解决方案:5657图表 40 中华联合人寿保险解决方案架构图客户收益:(1)全栈国产:海量数据库Vastbase G100与华为鲲鹏服务器、银河麒麟V10(openEuler版)操作系统、宝蓝德中间件、中科软开发商等全栈国产软硬件产品深度适配及融合,构建出了全新的信创IT架构体系。(2)性能提升:在批量导入、批量加人、保全更换被保险人等场景中,新体系处理性能相对原国际商业数据库平台平均提升2倍。(3)高安全易维护:完善的安全功能,帮助客户达到个信保护法的要求。自动化、可视化的运维平台,帮助客户达到降本增效的目标。4.3.4 万里数据库1、产品介绍 万里安全数据库软件GreatDB万里安全数据库软件GreatDB,是一款自主研发的关系型数据库产品,可根据用户需求采用集中式或分布式部署。它采用Shared-Nothing的计算存储分离分布式架构的设计,具有极强的可扩展性,满足用户按需动态扩缩容的需求;基于经典的多数派一致性协议实现数据库多副本的强一致性,满足金融级数据高可用需求;数据自动均衡分布,兼容主流SQL标准,对应用开发完全透明,数据可平滑迁移;采用了线程池、并行计算、计划下推等多种优化策略,深度适配多种平台,满足了高并发、低响应延迟的场景需求。图表 40 解决方案图价值体现:1)“便民缴费”平台依托金融科技,统一缴费供应商、缴费用户、缴费渠道、支付渠道,降低了收缴费中的管理成本;2)“便民缴费”业务涉足企业缴费市场,运用的数字化技术提升了企业的缴费效率,为企业提供了完善的缴费服务;3)“便民缴费”业务真正从实处构建“金融 生活 服务”的普惠便民生态圈;4)“便民缴费”深入创新发展,深刻服务新基建平台的持续化建设。在“后疫情时代”更加体现其业务优势,便捷的线上化服务符合未来“新基建”的发展方向,创新开放的服务模式也更能助力打造新型数字生活平台。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)58594.3.5 星环科技1、产品介绍星环科技是一家企业级大数据基础软件开发商,是截至目前国内唯一独立上市的基础软件企业。星环科技于2013年开始自研大数据基础平台,随后将业务逐步拓展到全产业链,基于分布式技术、多模型技术、容器云技术等逐步推出了分布式分析型数据库ArgoDB、交易型数据库KunDB、图数据库StellarDB、向量数据库Hippo、搜索引擎Scope、时序数据库Timelyre、时空数据库Spacture等一系列国产分布式数据库产品,拥有覆盖业内全部主流数据库类型的产品。星环科技坚持“自主原创,领先一代”的技术发展路线,用创新的技术去替代旧的技术,替代的对象包括传统关系型数据库Oracle、MySQL、IBM DB2、Teradata,搜索引擎Elasticsearch、图数据库Neo4j、时序数据库InfluxDB等,给用户提供更好的技术架构、更高的性能、更好的易用性、满足更多的场景等,帮忙企业实现数据平台升级和数字化转型。公司已经助力金融、政府、能源、制造、交通等行业多个客户实现了国外多类数据库产品的国产化升级。图表 41 星环科技产品介绍2、标杆案例:某集团构建多模型联合分析平台某大型集团为了实现不同业务需求,部署了多个不同的产品,包括关系型数据库、图数据库、搜索引擎等。这些不同产品的接口标准不一致,开发成本高,同时数据存储在各自生态中难以互通,也难以保证数据的一致性和实效性。因此该集团采用星环科技分布式多模型数据库ArgoDB,替代了之前多个平台,基于多模型统一技术架构提供统一接口、统一计算引擎、统一存储管理、统一资源管理,能够同时支持关系型、图等多种数据模型。例如,当需要研究特定人群消费习惯时,过去需要分别到图数据库、关系型数据库、搜索引擎中查询,业务人员需要同时了解多种数据库技术,业务流程复杂。而基于星环多模型统一技术架构,实现了多种类型数据统一存储管理,不需导入导出,用户只需用一句SQL就能同时访问这3种存储模型进行联合分析,一次操作完成了之前三次操作才能完成的业务,大大简化了用户操作。4.4虚拟化和容器4.4.1 云宏信息1、产品介绍 CNware WinStack虚拟化云平台 CNware WinStack虚拟化云平台定位于构建可信赖的数字化基础信创云平台,聚焦为软件定义云数据中心的计算、存储、网络等基础设施提供产品级的、高度可靠的虚拟化单元,提供虚拟化&云原生双栈服务能力,具有模块化柔性演进、轻量便捷、随需应变等特点,助力实现开放解耦、高弹性、高安全、高可靠服务水平的数字化基础设施。面向多样化算力和调度需求,WinStack具有独到的创新优势。从算力供给的角度,WinStack的核心是通过虚拟化技术解决基础设施弹性、高可靠、绿色增效问题,扩展云原生运行时底座能力,支持超融合或存算分离等部署形态,奠定应用上云的基础;与其他云平台区别之处在于,WinStack十年磨一剑,原生基于服务器虚拟化产品为核心,因此产品化、标准化、成熟度更高,能够做到架构简洁、可靠、稳定、问题少。从算力多样化的角度,WinStack是真正的独立第三方虚拟化软件,业内领先明确适配6大信创芯片、,融合多种xPU(包括CPU、GPU、DPU等),不挑硬件或品牌,不限制芯片路线、服务器品牌、网卡型号,技术开放度高客户议价能力更强,推动异构计算、算力融合发展。从算力效率的角度,基于积木式架构、迭代式建设的精益设计理念,WinStack通过控制5%的虚拟化损耗、5%的管理组件损耗、3节点最小规模,实现算力最大化利用、单位算力成本更低;面向火热的AI加速领域,容器运行时底座能够统一管理GPU算力资源池,提供秒级动态分配、弹性聚合与超分、细粒度监控、远程调用等能力,按需实现任务占用与退出的高效调度场景。2、标杆案例:某大型股份制银行信创项目客户背景:信息数据存在安全隐患,业务故障率高,IT系统运行效率低,服务器异构资源繁杂,信息系统建设与IT资源的矛盾突出,为实现银行整体信息化的自主可控、提升资源效率和管理效率,某大型股份制银行拟采用国产软硬件实现本质安全、彼此良好兼容、增强管理便捷性需求,逐步过渡到基于国产芯片的云计算平台、持续稳定保障业务发展。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)58594.3.5 星环科技1、产品介绍星环科技是一家企业级大数据基础软件开发商,是截至目前国内唯一独立上市的基础软件企业。星环科技于2013年开始自研大数据基础平台,随后将业务逐步拓展到全产业链,基于分布式技术、多模型技术、容器云技术等逐步推出了分布式分析型数据库ArgoDB、交易型数据库KunDB、图数据库StellarDB、向量数据库Hippo、搜索引擎Scope、时序数据库Timelyre、时空数据库Spacture等一系列国产分布式数据库产品,拥有覆盖业内全部主流数据库类型的产品。星环科技坚持“自主原创,领先一代”的技术发展路线,用创新的技术去替代旧的技术,替代的对象包括传统关系型数据库Oracle、MySQL、IBM DB2、Teradata,搜索引擎Elasticsearch、图数据库Neo4j、时序数据库InfluxDB等,给用户提供更好的技术架构、更高的性能、更好的易用性、满足更多的场景等,帮忙企业实现数据平台升级和数字化转型。公司已经助力金融、政府、能源、制造、交通等行业多个客户实现了国外多类数据库产品的国产化升级。图表 41 星环科技产品介绍2、标杆案例:某集团构建多模型联合分析平台某大型集团为了实现不同业务需求,部署了多个不同的产品,包括关系型数据库、图数据库、搜索引擎等。这些不同产品的接口标准不一致,开发成本高,同时数据存储在各自生态中难以互通,也难以保证数据的一致性和实效性。因此该集团采用星环科技分布式多模型数据库ArgoDB,替代了之前多个平台,基于多模型统一技术架构提供统一接口、统一计算引擎、统一存储管理、统一资源管理,能够同时支持关系型、图等多种数据模型。例如,当需要研究特定人群消费习惯时,过去需要分别到图数据库、关系型数据库、搜索引擎中查询,业务人员需要同时了解多种数据库技术,业务流程复杂。而基于星环多模型统一技术架构,实现了多种类型数据统一存储管理,不需导入导出,用户只需用一句SQL就能同时访问这3种存储模型进行联合分析,一次操作完成了之前三次操作才能完成的业务,大大简化了用户操作。4.4虚拟化和容器4.4.1 云宏信息1、产品介绍 CNware WinStack虚拟化云平台 CNware WinStack虚拟化云平台定位于构建可信赖的数字化基础信创云平台,聚焦为软件定义云数据中心的计算、存储、网络等基础设施提供产品级的、高度可靠的虚拟化单元,提供虚拟化&云原生双栈服务能力,具有模块化柔性演进、轻量便捷、随需应变等特点,助力实现开放解耦、高弹性、高安全、高可靠服务水平的数字化基础设施。面向多样化算力和调度需求,WinStack具有独到的创新优势。从算力供给的角度,WinStack的核心是通过虚拟化技术解决基础设施弹性、高可靠、绿色增效问题,扩展云原生运行时底座能力,支持超融合或存算分离等部署形态,奠定应用上云的基础;与其他云平台区别之处在于,WinStack十年磨一剑,原生基于服务器虚拟化产品为核心,因此产品化、标准化、成熟度更高,能够做到架构简洁、可靠、稳定、问题少。从算力多样化的角度,WinStack是真正的独立第三方虚拟化软件,业内领先明确适配6大信创芯片、,融合多种xPU(包括CPU、GPU、DPU等),不挑硬件或品牌,不限制芯片路线、服务器品牌、网卡型号,技术开放度高客户议价能力更强,推动异构计算、算力融合发展。从算力效率的角度,基于积木式架构、迭代式建设的精益设计理念,WinStack通过控制5%的虚拟化损耗、5%的管理组件损耗、3节点最小规模,实现算力最大化利用、单位算力成本更低;面向火热的AI加速领域,容器运行时底座能够统一管理GPU算力资源池,提供秒级动态分配、弹性聚合与超分、细粒度监控、远程调用等能力,按需实现任务占用与退出的高效调度场景。2、标杆案例:某大型股份制银行信创项目客户背景:信息数据存在安全隐患,业务故障率高,IT系统运行效率低,服务器异构资源繁杂,信息系统建设与IT资源的矛盾突出,为实现银行整体信息化的自主可控、提升资源效率和管理效率,某大型股份制银行拟采用国产软硬件实现本质安全、彼此良好兼容、增强管理便捷性需求,逐步过渡到基于国产芯片的云计算平台、持续稳定保障业务发展。绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)6061建设方案:结合自主可控要求,采用多技术路线并行发展的方案,提供X86、Arm两种高性能计算平面保障算力供给、供应链安全;云宏CNware同位替代VMware虚拟化,打破“VMware X86”体系,并在Arm低功耗、多核架构下实现能耗降低40%-60%、设备成本降低30%以上;支持无缝集成既有的NoF等存储,平滑构建具有先进性、支撑数字化升级要求的国产虚拟化平台。同时,CNware预留一云多芯的扩展建设能力,支持多种新型的国产CPU、GPU、DPU的选型验证,充分为中长期规划发展奠定基础。客户收益:性能高于目标,体验高于预期,使用户对国产软硬件发展的强化认识和信心;分批改造、逐步迁移,科学合理地实现全栈自主可控;提升业务可靠性、连续性,提升业务服务质量;通过智能监控组件实现资源有效监控、高效利用,减少故障率,提升满意度;图表 42 某大型股份制银行信创项目案例4.4.2 华云数据1、产品介绍华云数据通过为用户打造的“全芯全栈”自主创新云平台、超融合解决方案、公有云平台、工业互联网平台以及智能办公平台等解决方案,推动政府、企业数字化转型,区域信息化能力提升和中国数字经济整体发展。目前,华云数据业务覆盖全国及海外市场,公司遍布中国华北、华东、华南、西北、西南等区域以及北美和日本;在国内,华云数据为党政、金融、医疗、教育、电信、电力、交通和制造等各行业和领域的30多万用户提供上云服务,也为中国企业的信息化发展和区域数字经济发展贡献自主创新“云力量”。2、标杆案例:某知名证券企业一云多芯方案客户痛点:该证券公司从2008年开始探索虚拟化技术,但随着证券业务迎来爆发式增长,对应的系统构建、运维成本也越发变得不容忽视。一方面,此前使用的多款国内外超融合解决方案,相关软、硬件成本持续高涨而服务能力却不尽如人意;另一方面,为应对客户容量、功能扩展、性能优化等一系列新需求,尽快上线一套安全可靠、高可用、可扩展的超融合解决方案已迫在眉睫。解决方案:华云数据在充分调研用户业务诉求的基础上,协助其构建了包含整用型裸机、虚拟机和容器的信创云资源池,整体架构如下:图表 43 异构计算资源池逻辑架构绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)6061建设方案:结合自主可控要求,采用多技术路线并行发展的方案,提供X86、Arm两种高性能计算平面保障算力供给、供应链安全;云宏CNware同位替代VMware虚拟化,打破“VMware X86”体系,并在Arm低功耗、多核架构下实现能耗降低40%-60%、设备成本降低30%以上;支持无缝集成既有的NoF等存储,平滑构建具有先进性、支撑数字化升级要求的国产虚拟化平台。同时,CNware预留一云多芯的扩展建设能力,支持多种新型的国产CPU、GPU、DPU的选型验证,充分为中长期规划发展奠定基础。客户收益:性能高于目标,体验高于预期,使用户对国产软硬件发展的强化认识和信心;分批改造、逐步迁移,科学合理地实现全栈自主可控;提升业务可靠性、连续性,提升业务服务质量;通过智能监控组件实现资源有效监控、高效利用,减少故障率,提升满意度;图表 42 某大型股份制银行信创项目案例4.4.2 华云数据1、产品介绍华云数据通过为用户打造的“全芯全栈”自主创新云平台、超融合解决方案、公有云平台、工业互联网平台以及智能办公平台等解决方案,推动政府、企业数字化转型,区域信息化能力提升和中国数字经济整体发展。目前,华云数据业务覆盖全国及海外市场,公司遍布中国华北、华东、华南、西北、西南等区域以及北美和日本;在国内,华云数据为党政、金融、医疗、教育、电信、电力、交通和制造等各行业和领域的30多万用户提供上云服务,也为中国企业的信息化发展和区域数字经济发展贡献自主创新“云力量”。2、标杆案例:某知名证券企业一云多芯方案客户痛点:该证券公司从2008年开始探索虚拟化技术,但随着证券业务迎来爆发式增长,对应的系统构建、运维成本也越发变得不容忽视。一方面,此前使用的多款国内外超融合解决方案,相关软、硬件成本持续高涨而服务能力却不尽如人意;另一方面,为应对客户容量、功能扩展、性能优化等一系列新需求,尽快上线一套安全可靠、高可用、可扩展的超融合解决方案已迫在眉睫。解决方案:华云数据在充分调研用户业务诉求的基础上,协助其构建了包含整用型裸机、虚拟机和容器的信创云资源池,整体架构如下:图表 43 异构计算资源池逻辑架构绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)该产品帮助用户解锁对硬件CPU平台的依赖,降低后续的供应风险。同时可以实现业务无感知的将数据从非信创存储池迁移至信创存储池的数据迁移,最终帮助用户实现无业务中断的信创平滑替换。2、标杆案例:新疆农信一池多芯云资源池客户痛点:对于新疆维吾尔自治区农村信用社联合社(简称“新疆农信”)来说,要实现底层存储平台资源、云管理平台、应用、数据等多层的信创支撑改造与建设,首先要面临解决适配兼容、融合部署、数据迁移的问题。解决方案:星辰天合提供给新疆农信专为信创环境研发的天合翔宇,构建 200 节点的存储集群,实现云平台和影像数据等全业务场景匹配,提供基于信创架构的超融合平台,承载银行各类关键业务,包括内网开发测试云平台、互联网开发测试云平台、内网生产 KVM 云平台、互联网生产 KVM 云平台,以及地州生产 KVM 云平台等。6263信创云计算资源管理平台承担计算资源池的资源管理任务,虚拟化资源池及裸金属资源池都接入管理平台中,并通过其对资源实例进行可视化操作,包括虚拟资源的调度、镜像管理等全生命周期管理操作。资源管理平台也会对资源池进行扩容及升级过程进行可视化管理。通过本信创云架构,可有效精简不同国产操作系统、处理器之上所运行云平台版本的功能差异性,降低后续运营、扩容等诸多层面的复杂度,并为信创云之上运行的应用、数据库和中间件提供良好的云基础设施环境。成果与亮点:案例实施之后,该证券公司实现了一云多芯的云环境架构,通过优化云平台整体架构,使得相应的运营、部署工作更加便捷,并为后续推进从内核到外延的全面信创转型打下了坚实的基础。同时,本案例也入选国内知名研究咨询机构爱分析发起的“2023爱分析信创产品及服务创新奖”。4.5分布式存储4.5.1 星辰天合1、产品介绍:天合翔宇分布式存储系统XSKY公司的天合翔宇分布式存储系统是可以异构多CPU生态的存储产品,实现“一池多芯”的异构能力,可在一个分布式存储平台下异构支持多CPU生态:Intel、AMD、鲲鹏、飞腾、海光、兆芯、申威等 CPU生态的融合部署,将多生态CPU的代码进行移植、融合,并能保证存储系统能稳定运行。天合翔宇是XSKY星辰天合拥有100%自主知识产权的产品。该产品在多CPU生态的存储节点中可以构建统一的数据资源池,不仅全协议支持,同时提供块、文件和对象服务,也可以实现关键业务高可用、场景一体化交付,同时还具备丰富的企业数据服务功能:快照、复制、双活、多站点、上云、数据策略流动、QoS、生命周期管理、WORM等,满足企业数据存储管理的各种需求。可以全业务场景适配,端到端的场景化解决方案对接,适配大数据、容器、两地三中心、私有云、数据备份、数据归档等各种应用场景。实现跨生态的数据生命周期管理;按需定制,弹性扩展。图表 44 天合翔宇“一池多芯”分布式存储架构图图表 45 新疆维吾尔自治区农村信用社联合社信创云平台案例应用效果:星辰天合分布式存储平台与银行现有云平台深度耦合,通过提升存储资源的交付效率,支撑企业新应用上线效率的提升:一方面,支持硬盘级、节点级、机柜级或资源池级的不同粒度横向扩展;另一方面实现应用需求驱动的基础架构灵活变更和应用无感知的硬件生命周期更替,无需数据迁移;进一步简化了信创平台基础架构,通过分布式集群的统一管理,替代原来多套存储管理,简化运维复杂度,提升效率,为客户节省 TCO 约 40%;绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)该产品帮助用户解锁对硬件CPU平台的依赖,降低后续的供应风险。同时可以实现业务无感知的将数据从非信创存储池迁移至信创存储池的数据迁移,最终帮助用户实现无业务中断的信创平滑替换。2、标杆案例:新疆农信一池多芯云资源池客户痛点:对于新疆维吾尔自治区农村信用社联合社(简称“新疆农信”)来说,要实现底层存储平台资源、云管理平台、应用、数据等多层的信创支撑改造与建设,首先要面临解决适配兼容、融合部署、数据迁移的问题。解决方案:星辰天合提供给新疆农信专为信创环境研发的天合翔宇,构建 200 节点的存储集群,实现云平台和影像数据等全业务场景匹配,提供基于信创架构的超融合平台,承载银行各类关键业务,包括内网开发测试云平台、互联网开发测试云平台、内网生产 KVM 云平台、互联网生产 KVM 云平台,以及地州生产 KVM 云平台等。6263信创云计算资源管理平台承担计算资源池的资源管理任务,虚拟化资源池及裸金属资源池都接入管理平台中,并通过其对资源实例进行可视化操作,包括虚拟资源的调度、镜像管理等全生命周期管理操作。资源管理平台也会对资源池进行扩容及升级过程进行可视化管理。通过本信创云架构,可有效精简不同国产操作系统、处理器之上所运行云平台版本的功能差异性,降低后续运营、扩容等诸多层面的复杂度,并为信创云之上运行的应用、数据库和中间件提供良好的云基础设施环境。成果与亮点:案例实施之后,该证券公司实现了一云多芯的云环境架构,通过优化云平台整体架构,使得相应的运营、部署工作更加便捷,并为后续推进从内核到外延的全面信创转型打下了坚实的基础。同时,本案例也入选国内知名研究咨询机构爱分析发起的“2023爱分析信创产品及服务创新奖”。4.5分布式存储4.5.1 星辰天合1、产品介绍:天合翔宇分布式存储系统XSKY公司的天合翔宇分布式存储系统是可以异构多CPU生态的存储产品,实现“一池多芯”的异构能力,可在一个分布式存储平台下异构支持多CPU生态:Intel、AMD、鲲鹏、飞腾、海光、兆芯、申威等 CPU生态的融合部署,将多生态CPU的代码进行移植、融合,并能保证存储系统能稳定运行。天合翔宇是XSKY星辰天合拥有100%自主知识产权的产品。该产品在多CPU生态的存储节点中可以构建统一的数据资源池,不仅全协议支持,同时提供块、文件和对象服务,也可以实现关键业务高可用、场景一体化交付,同时还具备丰富的企业数据服务功能:快照、复制、双活、多站点、上云、数据策略流动、QoS、生命周期管理、WORM等,满足企业数据存储管理的各种需求。可以全业务场景适配,端到端的场景化解决方案对接,适配大数据、容器、两地三中心、私有云、数据备份、数据归档等各种应用场景。实现跨生态的数据生命周期管理;按需定制,弹性扩展。图表 44 天合翔宇“一池多芯”分布式存储架构图图表 45 新疆维吾尔自治区农村信用社联合社信创云平台案例应用效果:星辰天合分布式存储平台与银行现有云平台深度耦合,通过提升存储资源的交付效率,支撑企业新应用上线效率的提升:一方面,支持硬盘级、节点级、机柜级或资源池级的不同粒度横向扩展;另一方面实现应用需求驱动的基础架构灵活变更和应用无感知的硬件生命周期更替,无需数据迁移;进一步简化了信创平台基础架构,通过分布式集群的统一管理,替代原来多套存储管理,简化运维复杂度,提升效率,为客户节省 TCO 约 40%;绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)借助天合翔宇的一池多芯能力,新疆农信云数据中心可以实现硬件利旧,以及未来可以选购异构平台的硬件节点;使用星辰天合产品,数据可在新疆农信新旧设备中自动同步,也不会有业务中断的风险,无需进行数据迁移,相比采用传统架构存储组建云资源池的方案,可以节约可能高达百万元的数据迁移费用。64654.5.2 杉岩数据1、产品介绍 杉岩海量对象存储杉岩海量对象存储(杉岩MOS)是面向企业级海量非结构化数据的全分布式存储产品,采用业界先进的全分布式和无共享(Share Nothing)架构设计理念,将多台Arm/x86等服务器组成横向扩展型集群,构建统一的虚拟存储资源池,为企业数据中心提供云存储服务。杉岩MOS核心引擎能够帮助企业轻松应对EB级数据容量和千亿级文件数量的挑战,支持跨地域的数据中心主备、双活以及多站点容灾部署,为用户提供高可靠和高可用服务。图表 46 杉岩海量对象存储产品架构图杉岩MOS提供海量存储、智能管理、数据价值三位一体的存储解决方案,兼容适配鲲鹏、飞腾、华为、海光等自主硬件平台,以及麒麟、统信等国产操作系统,提供安全可信、开放生态的智能存储解决方案及服务。已通过中国信息通信研究院首批分布式存储评测、工信部第五研究所中国赛宝实验室软件类产品-存储备份(软件)评测等,入选信创工委会产品图谱、深圳市创新产品推广应用目录等,为新型基础设施建设海量数据应用提供存储底座。2、标杆案例:杉岩海量对象存储助力某证券公司加速信创转型杉岩数据为某证券公司建立了一套基于Arm架构的鲲鹏CPU和杉岩对象存储的统一存储平台,实现非结构化数据的统一存储、统一管理,消除信息孤岛,同时满足未来对非结构化数据的内容挖掘与利用、数据迁移等。在日常的业务中,某证券公司的业务系统逐步采用AI技术,诸如客户证件、远程开户录像、合同扫描件、客服中心语音、企业相关资料等非结构化数据每年增长40-50%。新建非结构化数据统一管理逐步把业务系统的非结构化数据,从原来各种型号的NAS、MongoDB、本地文件系统统一存储到杉岩对象存储上。图表 47 项目方案图全栈信创替代,满足信创需求:在国产化服务器上部署杉岩海量对象存储软件,全线产品兼容国产化软硬件,并支持国产化操作系统,满足信创需求。丰富接口,业务系统快速接入:支持 S3、NFS、SMB、FTP、CSI、HDFS 等丰富的接口,实现云平台、大数据平台、备份软件等多种业务系统快速接入;可灵活对接 SNMP 和 Zabbix 等运维监控系统,提高运维效率。全面安全方案,为业务保驾护航:实现多站点异步复制、总部分支机构汇聚分发,支持多站点智能 DNS 解析,实现多站点多集群统一监控管理,采用一套运维便利、架构简洁、高效灵活的非结构化数据保护解决方案。项目上线之后,基于国产化服务器搭建了多套存储集群,实现现网存储数据的平滑迁移,应用于更多业务系统,加速 IT 基础架构升级。4.6大数据4.6.1 蚂蚁集团1、产品介绍:大数据云原生湖仓一体产品绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)借助天合翔宇的一池多芯能力,新疆农信云数据中心可以实现硬件利旧,以及未来可以选购异构平台的硬件节点;使用星辰天合产品,数据可在新疆农信新旧设备中自动同步,也不会有业务中断的风险,无需进行数据迁移,相比采用传统架构存储组建云资源池的方案,可以节约可能高达百万元的数据迁移费用。64654.5.2 杉岩数据1、产品介绍 杉岩海量对象存储杉岩海量对象存储(杉岩MOS)是面向企业级海量非结构化数据的全分布式存储产品,采用业界先进的全分布式和无共享(Share Nothing)架构设计理念,将多台Arm/x86等服务器组成横向扩展型集群,构建统一的虚拟存储资源池,为企业数据中心提供云存储服务。杉岩MOS核心引擎能够帮助企业轻松应对EB级数据容量和千亿级文件数量的挑战,支持跨地域的数据中心主备、双活以及多站点容灾部署,为用户提供高可靠和高可用服务。图表 46 杉岩海量对象存储产品架构图杉岩MOS提供海量存储、智能管理、数据价值三位一体的存储解决方案,兼容适配鲲鹏、飞腾、华为、海光等自主硬件平台,以及麒麟、统信等国产操作系统,提供安全可信、开放生态的智能存储解决方案及服务。已通过中国信息通信研究院首批分布式存储评测、工信部第五研究所中国赛宝实验室软件类产品-存储备份(软件)评测等,入选信创工委会产品图谱、深圳市创新产品推广应用目录等,为新型基础设施建设海量数据应用提供存储底座。2、标杆案例:杉岩海量对象存储助力某证券公司加速信创转型杉岩数据为某证券公司建立了一套基于Arm架构的鲲鹏CPU和杉岩对象存储的统一存储平台,实现非结构化数据的统一存储、统一管理,消除信息孤岛,同时满足未来对非结构化数据的内容挖掘与利用、数据迁移等。在日常的业务中,某证券公司的业务系统逐步采用AI技术,诸如客户证件、远程开户录像、合同扫描件、客服中心语音、企业相关资料等非结构化数据每年增长40-50%。新建非结构化数据统一管理逐步把业务系统的非结构化数据,从原来各种型号的NAS、MongoDB、本地文件系统统一存储到杉岩对象存储上。图表 47 项目方案图全栈信创替代,满足信创需求:在国产化服务器上部署杉岩海量对象存储软件,全线产品兼容国产化软硬件,并支持国产化操作系统,满足信创需求。丰富接口,业务系统快速接入:支持 S3、NFS、SMB、FTP、CSI、HDFS 等丰富的接口,实现云平台、大数据平台、备份软件等多种业务系统快速接入;可灵活对接 SNMP 和 Zabbix 等运维监控系统,提高运维效率。全面安全方案,为业务保驾护航:实现多站点异步复制、总部分支机构汇聚分发,支持多站点智能 DNS 解析,实现多站点多集群统一监控管理,采用一套运维便利、架构简洁、高效灵活的非结构化数据保护解决方案。项目上线之后,基于国产化服务器搭建了多套存储集群,实现现网存储数据的平滑迁移,应用于更多业务系统,加速 IT 基础架构升级。4.6大数据4.6.1 蚂蚁集团1、产品介绍:大数据云原生湖仓一体产品绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)1、产品介绍:大数据基础平台Transwarp Data Hub星环科技自主研发的企业级一站式多模型大数据基础平台Transwarp Data Hub(简称“TDH”),基于领先的多模型技术架构支持统一的接口、统一的计算引擎、统一的存储管理和统一的资源管理,支持关系型、图数据、向量、时空、时序等11种数据模型,提供高性能的查询搜索、实时分析、统计分析、预测性分析等数据分析功能,广泛应用在批处理、实时数据处理、高并发在线数据服务、向量检索、图计算、湖仓集一体等各类大数据业务场景。TDH是全球首个通过TPC-DS基准测试与官方审计的产品,比开源产品具有更先进的技术架构、更高的性能、更好的稳定性与易用性,与国产主流软硬件兼容适配等优势,并成功替代了国外传统数据库和大数据平台产品,在政府、金融、能源等十多个行业应用,帮助企业更全面、更便捷、更智能、更安全地运用数据。云原生湖仓一体化产品实现海量数据规模支持,采用统一SQL、元数据、权限体系,通过多种特有技术,结合强大的弹性调度、serverless能力。可根据业务特性动态优化执行计划,实现计算、存储单元独立弹性调度及亲和性部署。其中MaterializeView自动识别提升重复计算复用率。Adaptive Query Execution技术实现执行计划动态调整,在减少数据shuffle次数、降低数据shuffle量、加少sort的应用等大数据关键问题上起到极大作用。利用serverless和亲和化部署能力,极大降低了容器成本的同时提升了本地计算覆盖场景。高性能分布式执行引擎Yak-完全基于自研的JIT的本地计算引擎。基于自研的代码编译和生成,编译时间通常只需要几毫秒,相比LLVM的方式缩短12个数量级,而且Yak采用whole stage的方式编译而不是每个算子编译整体的执行上会更快。本地计算采用Morsel-Driven Parallelism的方式,会根据机器的核数,不同算子设置不同并发度,避免中间数据网络传输。数据计算场景经常会需要scan大量的数据并参与计算,这时候数据拷贝成为系统计算的瓶颈之一,为了减少数据拷贝以及传输的性能损耗,Yak会和存储引擎部署在同一台机器上通过Shared Memory进行数据访问,大大提升系统性能。2、标杆案例:蚂蚁AI系统接入湖仓一体客户痛点蚂蚁的AI体系中,特征数据包括入仓、准备、加工等一系列操作均依赖外部数据体系。一方面成本巨大,另一方面技术体系不可控,使得无法针对蚂蚁AI体系的数据特性进行计算、存储等方面针对性的优化。随着AI场景的持续增加,以及对数据应用要求的逐渐复杂,原有系统的响应速度越来越不符合我们的要求。采用蚂蚁自主可控的大数据系统为AI系统提供数据支撑的必要性非常突出。解决方案湖仓一体通过Calcite统一SQL层兼容了Spark/Flink/Explorer等多场景引擎的SQL标准的同时搭建统一的元数据管理平台,实现多场景快速接入。引擎通过执行计划优化扩展及动态图优化结合数据特性,替换常规RBO/CBO优化方式,扩大了MapJoin、HashJoin使用范围。完善HashAgg/ObjectHashAgg算子替换了SortAgg场景,降低SortAgg带来spill to disk的压力。另外,通过近端结合远端的shuffle方式提升了shuffle service整体吞吐能力和资源利用率。通过结合具备弹性调度和亲和性部署能力的统一调度系统,实现容器资源的serverless模型。同时,计算、存储亲和性部署方式大大增加了本地计算的概率,对网络开销和shuffle开销起到了极大的优化。6667图表 48 湖仓一体架构图应用效果针对蚂蚁AI体系中特征数据日均20w 、10w core 计算任务,均已完成任务兼容验证、数据核对和性能比对。稳定支持2个机房级日均10w 任务已切换至湖仓一体平台。其中,约30%任务(如udf/udaf/udtf,动态优化后使用map join及HashAgg)场景具有10倍 性能提升。4.6.2 星环科技绿色计算产业发展白皮书(2023版)绿色计算产业发展白皮书(2023版)1、产品介绍:大数据基础平台Transwarp Data Hub星环科技自主研发的企业级一站式多模型大数据基础平台Transwarp Data Hub(简称“TDH”),基于领先的多模型技术架构支持统一的接口、统一的计算引擎、统一的存储管理和统一的资源管理,支持关系型、图数据、向量、时空、时序等11种数据模型,提供高性能的查询搜索、实时分析、统计分析、预测性分析等数据分析功能,广泛应用在批处理、实时数据处理、高并发在线数据服务、向量检索、图计算、湖仓集一体等各类大数据业务场景。TDH是全球首个通过TPC-DS基准测试与官方审计的产品,比开源产品具有更先进的技术架构、更高的性能、更好的稳定性与易用性,与国产主流软硬件兼容适配等优势,并成功替代了国外传统数据库和大数据平台产品,在政府、金融、能源等十多个行业应用,帮助企业更全面、更便捷、更智能、更安全地运用数据。云原生湖仓一体化产品实现海量数据规模支持,采用统一SQL、元数据、权限体系,通过多种特有技术,结合强大的弹性调度、serverless能力。可根据业务特性动态优化执行计划,实现计算、存储单元独立弹性调度及亲和性部署。其中MaterializeView自动识别提升重复计算复用率。Adaptive Query Execution技术实现执行计划动态调整,在减少数据shuffle次数、降低数据shuffle量、加少sort的应用等大数据关键问题上起到极大作用。利用serverless和亲和化部署能力,极大降低了容器成本的同时提升了本地计算覆盖场景。高性能分布式执行引擎Yak-完全基于自研的JIT的本地计算引擎。基于自研的代码编译和生成,编译时间通常只需要几毫秒,相比LLVM的方式缩短12个数量级,而且Yak采用whole stage的方式编译而不是每个算子编译整体的执行上会更快。本地计算采用Morsel-Driven Parallelism的方式,会根据机器的核数,不同算子设置不同并发度,避免中间数据网络传输。数据计算场景经常会需要scan大量的数据并参与计算,这时候数据拷贝成为系统计算的瓶颈之一,为了减少数据拷贝以及传输的性能损耗,Yak会和存储引擎部署在同一台机器上通过Shared Memory进行数据访问,大大提升系统性能。2、标杆案例:蚂蚁AI系统接入湖仓一体客户痛点蚂蚁的AI体系中,特征数据包括入仓、准备、加工等一系列操作均依赖外部数据体系。一方面成本巨大,另一方面技术体系不可控,使得无法针对蚂蚁AI体系的数据特性进行计算、存储等方面针对性的优化。随着AI场景的持续增加,以及对数据应用要求的逐渐复杂,原有系统的响应速度越来越不符合我们的要求。采用蚂蚁自主可控的大数据系统为AI系统提供数据支撑的必要性非常突出。解决方案湖仓一体通过Calcite统一SQL层兼容了Spark/Flink/Explorer等多场景引擎的S

    发布时间2024-09-18 85页 推荐指数推荐指数推荐指数推荐指数推荐指数5星级
  • 中兴:2024年5G RedCap技术与实践白皮书(23页).pdf

    中兴通讯多媒体视讯产品?技术与实践白皮书0102030405060708091011121314151617181920212223目录CONTENTS前 言 0 2R e d C a p的 产 业 快 速 发 展 0 3 2.1 技术特点、标准发展及规划 0 2 2.2 产业发展情况 0 4行业发展面临的挑战 0 5 RedCap产业实践 0 9 4.1 广域网实践 0 9 4.2 局域网实践 1 0构建RedCap能力和生态 1 2 5.1 网络能力 1 2 5.2 终端能力 1 3 5.3 IoT生态验证 1 8发展路径建议 1 9总结与展望 20缩略语 21 PART01PART02PART03PART04PART05PART06PART07PART080102030405060708091011121314151617181920212223 2022年8月,工业和信息化部印发了5G全连接工厂建设指南,旨在推动“5G 工业互联网”深度融合,推动新技术新场景新模式向工业生产各领域各环节深度拓展。2023年10月,工业和信息化部正式发布关于推进5G轻量化(RedCap)技术演进和应用创新发展的通知,从国家政策层面为RedCap发展注入强心剂,通知中提到,至2025年,RedCap应用规模持续增长,全国县级以上城市实现RedCap规模覆盖,RedCap连接数达到千万级。在政策牵引和需求推动的双侧驱动下,RedCap有望在今年迎来商用规模的大幅增长。RedCap作为5G时代面向中高速率连接场景定义的物联网技术,是2023年6月全部冻结的3GPP R17标准中业界最为关注的功能之一,通过裁剪终端收发带宽、天线数等手段有效降低5G终端复杂度和成本,同时兼顾大容量、低时延、网络切片等5G原生能力,实现5G应用成本和性能的最佳平衡。其诞生之初就受到运营商以及电力、工业等行业伙伴的关注,2023年以来产业界在5G RedCap的技术、功能和外场性能测试等方面进行了一系列的工作,为RedCap产业链的成熟以及未来规模商用奠定了较好的基础。本白皮书论述RedCap产业发展以及中兴通讯在RedCap端到端产业链方面的实践与创新,希望为业界RedCap的应用与推广提供有益的参考与帮助。1 前言?技术与实践白皮书020304050607080910111213141516171819202122232.1 技术特点、标准发展及规划 RedCap(Reduced Capability),又称“轻量化5G”,5G时代面向中高速率连接场景定义,其能力定位介于5G NR(含eMBB和uRLLC)和LPWA(如LTE-M和NB-IoT)之间,是5G-A千亿物联的关键技术之一。RedCap对终端硬件能力进行裁剪,通过缩减最大传输带宽至20MHz,降低收发天线数目及最大调制阶数,可以将终端复杂度降低60%,从而获得成本降低、功耗减少、尺寸极致等优势,同时继承大带宽、低时延、切片等5G代际能力,使其在满足应用场景需求的前提下,发挥成本功耗优势,充分使能中高速物联场景,助力5G应用复制加速,推动更大规模5G应用部署。3GPP R18对RedCap标准进行了增强,终端复杂度和成本相比R17进一步降低。当前,R18 eRedCap技术标准化讨论已经基本完成,进入标准维护阶段。相比R17 RedCap,R18 eRedCap主要在两方面做了进一步的降成本和降复杂度设计:1、终端基带带宽降低,R18的上下行数据业务带宽将降为5M,可以节约终端的数据存储量,降低 内存成本;2、终端峰值速率降低,R18 RedCap单用户最大峰值速率从R17的百兆以上降为10Mbps,从最 大MIMO层数、调制阶数和缩放因子等方面降低终端编译码的复杂度。2 RedCap的产业快速发展?技术与实践白皮书030405060708091011121314151617181920212223 5G R17 RedCap作为面向中高速物联网及工业物联网场景的关键技术和解决方案,可以大幅降低终端射频和基带的复杂度,降低终端功耗,从而获得更高的续航能力。同时,5G R17 RedCap结合5G网络切片、5G LAN、高精度授时、高可靠低延迟等优势技术,相对4G物联网技术具有代际优势、在具备更强性能和更丰富功能的同时,又大大降低了成本,有利于推动模组、终端设备在垂直行业更广泛应用。2.2 产业发展情况 RedCap在3GPP R17引入之后,在中国发展迅速,产业进展全球领先,RedCap系统、终端、模组、芯片等产业关键环节不断成熟,成本持续下降。中国电信、中国移动、中国联通、中广电等各运营商也积极布局RedCap的技术验证,完成端到端的能力测试,并发布白皮书,推动技术发展和成熟。早在2022年协议冻结之初,IMT-2020(5G)推进组已组织各设备厂商进行基于原型芯片的RedCap技术验证。2023年,运营商联合设备厂商进行RedCap关键技术验证与5G商用网络下端到端外场验证,已取得阶段性成果;同时,面向工业、能源、安防等垂直行业,各运营商均布局RedCap应用试点,进一步推动RedCap商用落地。2023年底,中国移动率先吹响RedCap商用部署号角,当前在全国范围内已商用部署超十万站。国际市场上,已有来自多个国家的多家运营商完成RedCap关键技术验证,为之后的商用部署奠定基础,2024年将成为国际RedCap商用元年。当前,泰国AIS、马来西亚DNB、新加坡Singtel、韩国SK电信、英国BT、西班牙VDF、美国Verizon、美国AT&T、澳大利亚Telstra、澳大利亚Optus、阿联酋Etisalat、沙特STC、沙特Zain、科威特STC、科威特Zain、巴林STC等领先运营商已完成RedCap技术验证或商用试点。在RedCap终端芯片方面目前各平台也陆续跟进,高通和海思率先在2023年完成商用芯片的发布,ASR、展锐、MTK也计划在2024年内实现商用发布。目前市场上测试用的RedCap模组产品主要基于高通和海思平台,包括LGA、LCC、M.2、Mini-PCIe多种封装形式,和现有4G或5G产品兼容,方便替代。RedCap模组产品尚处于市场初期,目前价格相比4G Cat4/Cat1模组仍然有很大差距,因此在上述应用领域如视频监控、工业传感、电力抄表等目前仍以4G Cat4、Cat1和Wi-Fi为主,模组的成本因素对其规模应用有直接的影响。?技术与实践白皮书0405060708091011121314151617181920212223 5G网络从建设之初就承担着为数字经济发展筑路的重任,5G ToB的应用实践开展非常广泛,有了5G关健技术如切片资源隔离、低时延、高可靠性、5G LAN、5G定位、节能、电力授时等特性加持,能够更好地满足不同行业的定制性需求,已经在千行百业中树立示范应用。但5G应用的规模化发展进程低于预期,其中一个重要的阻力就是5G通用模组的成本和功耗,从而滞缓5G的行业应用发展的速度。目前RedCap应用场景主要是协议定义的三大场景,视频监控、工业传感器和可穿戴设备,发展最快的行业是电力行业、其次是智慧工厂对于ToB的电力和工厂场景。电网领域 电力配电网覆盖广,终端规模大,依托运营商蜂窝网络实现配电网覆盖,有效降低建网成本。电网领域存在着广泛的数采、视频类的需求场景,常见的包括智能台区、配网PMU、线路故障监测、电力巡检、作业安全监控、配电自动化三遥和配网差动保护等。在电力网络中,还存在着部分场景需要授时的特殊要求。部分具体场景的技术要求指标可参见下表所列:从上述电网各场景的通信需求来看,大部分场景应用对速率要求并不太高,对时延要求也不是非常苛刻,但需要比较强的安全隔离性和可靠性要求,对5G网络的切片资源隔离、5G LAN、精准授时有强烈的需求。电网的应用场景分布在电力的发、输、配、用各个环节,涉及定制终端种类比较多,业务名称 通信需求 时延 速率 可靠性 授时 安全隔离 连接数 智能台区 1s 10kbps10Mbps 99.9%N/A 生产控制大区 110个/km2 配网PMU 50ms 2Mbps 99.99%1s 生产控制大区 X*10个/km2 线路故障监测 50ms 2Mbps 99.99%N/A 生产控制大区 12个/km2 电力巡检机器人1s 4Mbps 99.9%N/A 生产管理大区 10个/km2 输电线无人机巡检 控制100ms 采集1s 2Mbps 控制99.99%媒体99.9%N/A 生产管理大区 10个/km2 输电线路状态监测 1s 100kbps35Mbps 99%N/A 生产管理大区 10个/km2 作业现场语音通信 600ms 256kbps 99%N/A 管理信息大区 按需部署 作业现场视频 600ms 4Mbps 99%N/A 管理信息大区 按需部署 配网自动化三遥 1s 20kbps 99.9%N/A 生产控制大区 X*10个/km2 秒级负荷控制 1s 20kbps 99.9%N/A 生产控制大区 X*10个/km2 配网差动保护 80ms 2.5Mbps 99.99%3s 生产控制大区 X*10个/km2 配网自愈 200ms 0.5Mbps 99.99s 生产控制大区 X*10个/km2 3 行业发展面临的挑战?技术与实践白皮书05060708091011121314151617181920212223需要将5G模组融入到能源控制器、融合智能终端、馈线终端、继保装置、负控终端、用电互动终端等各类专用电力终端中;电网各场景中终端规模非常大,中高速率业务场景,对模组的成本比较敏感,因此电网领域是对5G RedCap需求最强烈的领域。工业领域 工业领域覆盖范围广,包括电子制造、家电制造、汽车制造、钢铁冶金、装备制造、化工、矿山、港口等多个工业领域。工业领域的应用场景多,典型场景如工业数采、工业视觉检测、仪表数据读取、生产园区监测、危险区域巡检、智能物流调度、设备远程控制、港口智能理货、港口岸桥远控等,部分具体场景的技术要求指标可参见下表所列:每个行业的业务场景需求差异性较大,数据采集应用广部署密度大、视觉质检对带宽要求高、远程控制/工业控制对网络确定性要求高;不同业务场景需要进行网络资源隔离、SLA保障,5G网络能够更好地匹配工业领域的定制化需求。除了运动控制的超低时延超高可靠性的需求之外,5G RedCap可以满足工业领域大部分场景需求,5G RedCap的低成本更有利于5G在工业生产域的广泛使用。视频监控 视频监控在ToG、ToB中都较为普遍存在的场景,比如智慧城市的安防监控、城市治理和车辆管业务名称 通信需求 时延 速率 可靠性 安全隔离 连接数 MES数据采集200ms 1Mbps(数采)9Mbps(文件传输)99.99%业务隔离 X*100个/5000m2 SCADA设备数采 200ms 实时采集100ms 控制50ms 1Mbps(数采)9Mbps(文件传输)99.99%业务隔离 X*10个/5000m2 AIDC数据采集200ms 1Mbps 99.99%业务隔离 X*100个/5000m2 工业视觉检测 100ms1000ms 4Mbps(单连接)99.99%业务隔离 X*10个/5000m2 仪表数据读取 100ms1000ms 4Mbps 99.9%无 X*100个/5000m2 生产园区监测 50ms 4Mbps(单连接)99.9%无 X*100个/5000m2 危险区域巡检 50ms 4Mbps 99.9%无 X*100个/5000m2 智能物流调度 50ms 2Mbps 99.99%无 X*10个/5000m2 设备远程控制 100ms 200kbps(下行控制)4Mbps(上行视频,单路)99.99%业务隔离 X个/10000m2 港口智能理货 200ms 4Mbps(单路)99.9%业务隔离 X个/10000m2 港口岸桥远控 40ms 200kbps(下行控制)4Mbps(上行视频,单路)99.99%业务隔离 X个/10000m2?技术与实践白皮书060708091011121314151617181920212223理,以及化工、矿山等特殊行业的强制安防监控等。其中一些特殊场景对无线化的视频安防比较强烈,例如G端的水务巡查、水库监控、河道监控、高速公路、防溺水、森林防火等特定场景、B端的渔业、矿区、牧场、工地、茶园、养殖基地等相对偏远环境安防需求。部分具体场景的技术要求指标可参见下表所列:视频监控领域对网络连接的性能要求普遍不高,视频分辨率普遍在720P、1080P、2K,带宽要求在10Mbps以内,4G Cat4可以满足此类需求。未来视频监控的发展趋势有两个方面:一是视频分辨率进一步提高,达到4K-8K,对上行流量要求进一步增加;二是AI 视频分析渐渐成为主流,需要边缘侧提供算力,4G网络渐渐难以满足视频监控网络的要求。与此同时,5G网络已经具备提供大上行和边缘计算的能力,但是eMBB的5G终端价格较高,影响了视频网络的规模发展。可穿戴场景 预计RedCap在一些其他应用场景最终也会得到广泛的应用,典型的如个人穿戴、车载等场景。可穿戴设备是当前ToC市场的热点,近几年的CAGR达到40%左右,未来将会成为仅次于手机的第二大ToC终端。具体的设备包括智能手表、智能手环、智能眼镜、智能工卡等,部分具体场景的技术要求指标可参见下表所列:业务名称 通信需求 时延 速率 可靠性 安全隔离 连接数 安防监控 1s 4Mbps10Mbps 99%公安交管单独隔离 大于100个/km2 社区治理 1s 4Mbps10Mbps 99%无 3050个/km2 工地管理 500ms 4Mbps10Mbps 99%无 2030个/km2 移动执法仪 1s 4Mbps10Mbps 99%公安交管单独隔离 1020个/km2 应急管理 500ms 4Mbps10Mbps 99%无 5个/km2 公交车/班线车 1s 4Mbps 99%无 3050个/km2 急救车 1s 4Mbps 99%无 10个/km2 渣土车 1s 4Mbps 99%无 10个/km2 行业高码率视频 500ms 7.5Mbps25Mbps 99.9%无 X*100个/km2 业务名称 通信需求 时延 速率 可靠性 安全隔离 连接数 智能手表 1s 10Mbps20Mbps 99.9%N/A X*100个/km2 智能手环 1s 5Mbps10Mbps 99.9%N/A X*100个/km2 智能眼镜 1s 20Mbps30Mbps 99.9%N/A X*100个/km2?技术与实践白皮书07 可穿戴领域产品的特点是尺寸小,采用电池供电,功耗和成本是最主要的诉求,可以通过在RedCap终端中增加UE节能技术,如寻呼增强(PEI),PDCCH监听自适应,唤醒信号(WUS),小数据传输(SDT)等功能进一步降低设备功耗,实现业务需求。车联网 随着智能网联汽车的日益普及,人们对智能交通基础设施的需求及服务能力要求也越发强烈。一方面智能网联汽车需要智慧城市基础设施来增强感知、提供交通信号、路况数据等信息服务,通过网联赋能,实现高等级自动驾驶;另一方面,解决传统交通系统带来的交通拥堵、安全事故、停车难等问题。5G网络与车路云一体化方案融合,充分发挥5G网络站点多、覆盖广,管理运维、运营方式成熟的优势,同时结合5G-Advanced增强技术,把5G通信网络及智慧路侧基础设施建设方案深度融合,为“车路云一体化”方案落地提供支撑。其中,基于5G网络和车载通信的通信模块,能够实现车辆的数据采集、处理、发送和接收,以及能够实现道路设施的数据采集、处理、发送和接收,其5G终端需求数量大,同时车联网每个终端对时延、带宽要求不高,5G RedCap低成本、低功耗终端催生多样化形态,大大降低成本,助力车联网的进一步发展。移动宽带 移动宽带(Mobile Broadband),是在移动场景下提供高速无线网络接入的应用,使得用户通过移动设备(如智能手机、平板电脑、笔记本电脑等)随时随地连接到互联网。典型的终端形态是MiFi和USB Dongle。在5G的上半场,受限于这两类终端的成本、功耗和尺寸,5G eMBB的移动宽带应用未得到较好的普及。RedCap时代,FWA率先以USB Dongle作为商用终端形态集中呈现,主要原因:1)对速率的要求不高 相较于CPE,MiFi和USB Dongle不需要承受多用户同时接入宽带。2)尺寸精巧,更适合广泛应用 eMBB的MiFi和USB Dongle尺寸都偏大,RedCap在基带和射频上的“减法”使得MiFi和USB Dongle又能回到3G/4G 时代的经典尺寸。加之更低的成本,5G RedCap的MiFi和USB Dongle相比5G eMBB能更“符合”更多应用的实际需求。5G RedCap USB Dongle可满足更多场景的“插入”应用 Dongle采用USB接口,可以灵活适配PC、工控机和机械臂等具备2B领域USB接口的终端;此外,针对家庭宽带,RedCap的USB Dongle还可以帮助固网运营商提升宽带上网的用户体验和服务质量。?技术与实践白皮书08091011121314151617181920212223 在物联网领域,中兴通讯推出RedCap X方案,可在继承5G代际优势的同时最大化降低终端成本,为千行百业提供可定制的“物美价廉”的5G连接服务。中兴通讯已在全国多张网络实现了RedCap规模商用,并携手行业伙伴完成了多项RedCap典型应用验证。在5G-A阶段,RedCap持续演进,助力万物互联时代的到来。4.1 广域网实践 面向广域网应用场景,如智慧电网、车联网、可穿戴等,中兴通讯已联合运营商和行业伙伴进行了丰富的RedCap应用探索。智慧电网 基于5G的智慧电网涉及电力系统发电、输电、变电、配电、用电等多个环节,包含大量终端,尤其是用电环节,大规模的集中器、能源控制器等边缘接入设备广泛分布于用电网络中,可对所有安装在用户侧的底层感知设备进行信息采集、数据诊断、策略生成和下发,实现供能侧的能源协同优化以及以公共用能设备的用能侧负荷控制。RedCap终端较传统5G终端而言,具有成本、功耗减半的优势,且仍可以继承5G网络的切片、低时延、高可靠等特性,更有利于5G应用的规模化部署。对于需要大规模部署的集中器、能源控制器而言,RedCap是一种高性价比的选择。2023年10月,中兴通讯联合山东移动、国家电网山东省电力公司等产业伙伴在济南起步区率先实现全国首个RedCap电力终端现网投产。基于2.6GHz商用频谱,RedCap能源控制器、集中器顺利接入5G电力专网,实现远程抄表终端时间精度提升、传输稳定性提升,让济南起步区成为全国“RedCap电力应用第一区”。根据现场测试和验证,RedCap终端网络接入成功率、数据上报成功率、远程指令下发成功率均达到100%,后台监控电力终端接入时延、数据上传、下载速率等关键指标均满足电力业务需求。本次实践充分证明5G RedCap在用电场景中的可用性,未来RedCap集中器、能源控制器的广泛部署将充分发挥电网在能源汇聚传输和转化中的关键作用,有效提升电网服务质效和管理水平,提高电网设备利用率和全社会用能效率。智慧停车场 智慧城市是另一种典型的广域应用场景。智慧城市建设包含智慧政务、智慧交通等多个领域。智慧停车是智慧交通的重要组成部分。智慧停车是利用信息和通信技术实现城市停车资源检测、管理、服务的一种智慧应用。随着国家和地方政府的大力支持,预计未来智慧停车项目将日益增多,产业规模有望达到万亿级。对于一个完整的智慧停车系统而言,稳定、可靠的网络通信是不可或缺的组成部分。考虑到城市停车场分布广泛、位置随机,且存在众多存量停车场的智慧化改造需求,泛在、灵活的5G无线网络可为智慧停车网络通信提供一种新选择,其大容量、广连接、高性能的特性可充分使能4 RedCap产业实践?技术与实践白皮书0102030405060708091011121314151617181920212223智慧停车应用。5G RedCap是5G物联网的新技术,可基于现有5G网络升级部署,相对有线部署而言,成本低且高效,同时可继承5G的大容量、切片等特性,为智慧停车场提供一张满足需求的高性能网络,将助力5G 智慧停车应用规模化发展。2024年4月,中兴通讯携手四川移动等合作伙伴在德阳打造了基于5G RedCap的智慧停车场,可为车主提供高效、流畅的停车体验。5G RedCap技术可将停车场内车位检测摄像机、车位引导屏、LED收费显示屏、道闸等设备连接至停车管理云平台,实现停车资源无人化、精细化的统管统控,助力停车位资源优化配置,促进城市交通资源利用效率的提升,进而推动城市数字化治理的发展进程。4.2 局域网实践 面向局域网场景,如5G全连接工厂,智慧物流园区等应用场景,中兴通讯也联合运营商和行业伙伴进行了RedCap相关应用探索。智慧工厂 智慧工厂中存在需要大规模连接的终端,如数据采集设备,安防摄像头等。5G网络可为智慧工厂中的终端提供广连接、低时延、高可靠的连接能力,但考虑到终端的大规模部署,终端成本和功耗也是需要考虑的重要因素。RedCap终端可提供一种更高性价比的选择。2024年5月,中国移动陕西分公司携手中兴通讯、高新兴等产业伙伴在中兴通讯西安智能终端生产基地顺利完成5G RedCap在智慧工厂的应用实践。本次应用示范实现了5G RedCap技术在工业数据采集、工业PDA识读、AGV物料转运、园区智慧安防等多个场景的应用可行性。RedCap为贴片生产线的锡膏检测站位扫描仪提供了高效的数据传输通道,使能生产数据实时上传至数据中心,为生产管理和设备维护提供了重要依据;RedCap的广覆盖特性确保PDA在工厂各处都有稳定、可靠的网络连接;RedCap的低时延、高可靠特性使AGV与云化调度平台的指令传输速度更快,充分使能工厂的自动化、智能化作业。同时,RedCap的低功耗特性也确保了AGV能够长时间稳定运行,减少了维护成本;RedCap基于5G大带宽的特性,为高清安防摄像头保障了清晰、流畅的回传体验。本次实践为RedCap在工业智能制造行业的应用提供了较高的参考价值,将使能5G全连接工厂的全面建设,为RedCap技术的广泛应用打下坚实基础。智慧园区安防 高清视频监控是工业园区最常见的安防措施,如果需要新建高清视频监控链路,采用有线部署时需要考虑“挖沟埋缆”,工程实施成本较高,基于无线蜂窝网络的部署方式则更高效、成本更低。5G网络具备大带宽的特性,可为实时的高清视频回传提供上行并发大容量保障。RedCap终端具备低成本优势,同时可继承5G网络的大容量特性,因此,在智慧工业园区的建设中,可考虑采用RedCap来实现园区安防。2024年4月,中兴通讯携手中国移动德阳分公司、德阳中烟等产业伙伴完成了?技术与实践白皮书0102030405060708091011121314151617181920212223RedCap工业园区安防场景下的应用实践,为冷却塔实现了24小时不间断安防保障,回传视频清晰、流畅,充分验证了RedCap技术在智慧安防领域的可用性、可推广性,为无线高清视频监控领域提供了一种更高性价比的解决方案。智慧建材 智能安全帽是工业领域的典型穿戴设备,除了满足工业领域的业务场景需求外,作为穿戴设备续航时长、重量和散热直接影响使用体验,对RedCap低功耗的需求强烈。2021年,华润建材科技获批承担国家发改委5G新基建重大专项课题项目,专项课题核心建设内容为“一模一网一平台”,其中“一模”即5G模组及5G行业终端研发,关键指标要求“实现轻型化行业5G模组的量产能力和行业5G终端规模化部署,行业终端部署数量不少于1万个。部署行业终端中轻型化5G模组的比例不低于50%,5G模组成本大幅降低”,其中最典型的终端就是5G智能安全帽,从穿戴设备体验出发,也要求基于5G RedCap模组开发智能安全帽。2022年3月,华润建材科技联合中兴通讯共同成立“5G 智慧建材联合创新实验室”,对5G智能安全帽进行联合研发。研发过程中实现了两次跨越,第一次是2022年中用国产5G模组升级替代了国外5G模组,实现了向“国有化”的重要跨越,第二次是2023年末用国产5G RedCap模组升级替代了国产5G模组,实现了向“轻型化”的重要跨越。这两次的研发成果,有力地保证了课题要求的“国有轻型化5G模组”指标的顺利达成。采用5G RedCap模组的5G智能安全帽在华润建材科技的12个水泥基地的经过使用反馈,相比较之前采用标准5G模组的安全帽,因为5G RedCap模组使得占主要的通信和数据传输带来的功耗降低,所以无需再配备大容量电池,不仅有效地减轻了安全帽的整体重量,更是很好地提升了一线工人安全帽的佩戴体验。上图为联合创新实验室研发的“软件定义5G智能安全帽”,基于软件定义功能,使传统安全帽具备了AI语音控制、人员实时定位、生命体征监测、集群语音对讲、视频拍照及多种告警等功能,更关注作业人员安全,完全解放作业人员双手,提高生产作业效率。?技术与实践白皮书01020304050607080910111213141516171819202122235.1 网络能力 面对5G RedCap应用场景多且杂的特点,考虑到RedCap落地需要,中兴通讯推出了“基础 增强 叠加”高完整度RedCap解决方案,支持RedCap分阶段分场景平滑应用到各场景中,助力RedCap从“能用”到“好用”。RedCap基础功能保障RedCap平滑接入5G现网:5G RedCap终端作为新类型5G终端接入网络时,系统将对其进行接入控制与用户识别,并对其进行灵活的BWP 带宽策略调整及移动性管理等,最终保障RedCap终端可高效接入并适应5G现网。RedCap增强功能实现网络资源的最大化利用:RedCap融入5G现网,需考虑与原有网络及终端的兼容共存。中兴通讯考虑从容量、覆盖、节能等方面进行增强。容量增强方面,面向并发大容量场景,如高清视频监控场景下的上行并发视频回传,考虑通过自适应BWP激活与关断、不对齐空分等功能,实现系统频谱效率最大化,同时提升用户体验。覆盖增强方面,由于RedCap终端能力削减,相较原有eMBB终端,其边缘速率会受到影响。中兴通讯支持业务信道重复传输等多项上行覆盖增强功能,可提升RedCap终端上行覆盖能力,使其在网络边缘处亦可满足业务速率需求,最大化利用当前网络规划结果,减少网络变动频次。节能增强方面,考虑RedCap典型应用场景中的业务特点,如可穿戴设备的多次、小包业务上报,中兴通讯支持基于RedCap小包业务传输,从而减少信令开销,延长终端续航时间。RedCap叠加功能助力RedCap深度融合差异化场景需求:RedCap最终需要落地至千行百业之中,而不同行业有其特有需求,需要差异化网络能力匹配。中兴通讯面向不同行业,支持RedCap网络能力定制。面向电力行业,存在控制类业务与管理类业务隔离的需求,RedCap叠加切片,可更好地满足场景需求。RedCap叠加高精度授时将更好地满足差动保护等电力行业的控制类业务。RedCap叠加NodeEngine,可提供基于基站的边缘算力,支撑AI视频监控场景的实现。RedCap叠加低时延高可靠,可充分使能工业领域例如智能工厂中的远程控制类业务。面向可穿戴设备,RedCap叠加VoNR可满足高清视频通话等基本需求。RedCap移动性增强解决终端移动性问题:5G站间:R17标准定义了5G基站间基于XN接口的RedCap能力传递,但现网中异厂家之间较少未配置XN接口,可能导致RedCap终端无法向异厂家5G基站切换或切换失败。中兴通讯通过自有的5G移动性增强策略,可以精准控制RedCap终端是否向异厂家基站切换,提升网络切换指标。5 构建RedCap能力和生态?技术与实践白皮书0102030405060708091011121314151617181920212223 从上述电网各场景的通信需求来看,大部分场景应用对速率要求并不太高,对时延要求也不是非常苛刻,但需要比较强的安全隔离性和可靠性要求,对5G网络的切片资源隔离、5G LAN、精准授时有强烈的需求。电网的应用场景分布在电力的发、输、配、用各个环节,涉及定制终端种类比较多,45G系统间:具备45G双模能力的RedCap终端,在现网做4G到5G移动性时,由于4G基站不识别终端的RedCap能力,也无法判断5G邻区是否支持RedCap,在默认的重定向策略下可能导致终端重定向失败-重选-重定向死循环,中兴通讯通过自有的4G移动性增强策略,可以精准控制RedCap终端是否向5G邻区进行切换,极大改善用户体验。中兴通讯积极参与RedCap技术验证、推动产业链成熟及行业试点部署等工作,携手中国移动,已率先吹响RedCap商用号角,开启全国多个主要城市的RedCap商用网络升级计划,当前已完成广州、深圳、佛山、南京等多个城市的RedCap部署,规模已超四万站,进一步推动了经济社会数字化、智能化转型进程。5.2 终端能力 RedCap终端裁剪5G能力,其中包括最大带宽为20MHz、天线数降为1T2R或1T1R等,主要针对可穿戴设备、工业无线传感器和视频监控等中高速应用场景。RedCap终端相通过降低终端设备(UE)的复杂性,实现比5G终端成本下降25倍,比eMBB终端耗电低,功耗可降低50%以上,复杂性更低,比URLLC更广泛的覆盖范围。RedCap终端上和网络协同功能外,还有:减少UE RX/TX的天线数降低成本:射频组件成本是UE成本的主要部分(约占40%-50%),减少UE RX/TX天线的数量是降低成本的重要方式,引入单个Rx天线以降低UE成本,显著降低UE的复杂度和成本。UE带宽降低减少复杂度:UE带宽减少是降低UE复杂度的重要特征。对于性能降低的NR设备,UE 带宽减少适用于射频和基带。减少最大UE带宽可以显著降低UE在基带处理方面的复杂性。中兴通讯RedCap终端产品:中兴通讯在移动互联网终端方面有着多年的积累,深耕FWA(CPE)&MBB(ufi和数据卡)产品领域,具有丰富全面的平台经验,产品涵盖中兴微电子、高通、MTK、ASR、展锐等多个平台,多次联手高通实现4G&5G Modem新平台的全球首发。中兴FWA&MBB产品在2022和2023连续两年全球市场占有率第一,5G FWA&MBB出货量超过4百万台,海外5G FWA运营商覆盖率77%,达到119个。中兴终端着眼于更务实的产品策略,在RedCap终端产品上始终保持与各芯片平台的沟通,已在2024年4月发布RedCap模组ZM9011R,未来将综合考虑成本、市场成熟度等因素,推动架构更简化、成本更低的国产外围器件趋于成熟,会在2024年下半年开始陆续推出RedCap模组、MBB、FWA等更具竞争力的RedCap终端产品。?技术与实践白皮书0102030405060708091011121314151617181920212223 广和通已推出基于RedCap模组的MiFi和USB Dongle解决方案,如下图:广和通基于RedCap模组的MiFi解决方案固移融合 固移融合是将传统的固定通信网络(有线网络)与移动通信网络(5G蜂窝网络)进行融合,以实现更高效、更灵活、更可靠的通信服务。其有两种工作模式:1)蜂窝网络为有线网络提供备份 当有线网络出现故障(断网)的时候,固移融合网关(GPON 5G或DSL 5G)启动内部的蜂 窝部分,让局域网的对外连接切换到5G。切换期间全程“无感”,不影响用户上网。2)蜂窝网络和有线网络同时工作广和通基于RedCap模组的USB Dongle解决方案?技术与实践白皮书0102030405060708091011121314151617181920212223 固移双网聚合可提供更高的上下行吞吐量。5G时代,固移双网聚合可进一步为用户提供明 显优于4G网络的高速体验。此外,在传统的通信网络中,固定网络和移动网络往往是独立运行的,它们具有不同的架构、管理方式和技术标准。固移融合的目标是实现通信网络的统一管理和资源共享,让用户在固定及移动环境下均能获得更快速、更可靠、高质量的通信服务,同时降低运营成本和提升网络效率。得益于RedCap的成本优势,固移融合可更广泛应用,并带来了超过4G(Cat.4)的网络体验,尤其是上行,甚至远超过4G (Cat.6)的能力。运营商开展固移融合业务可以充分利旧,通过原有固网网关(GPON ONU和DSL Modem)的USB接口外接RedCap的USB Dongle形式,方便灵活升级网关,极大降低运营商的运营成本。广和通率先洞察RedCap固移融合趋势,已率先推出RedCap USB Dongle的固移融合解决方案,如下图:四信工业路由器 在工业物联网(IIoT)持续发展的背景下,稳定、高效的网络连接成为实现智能化、自动化的关键。四信5G RedCap工业路由器作为一种先进的通信设备,结合了5G通信技术和RedCap的优势,为工业应用提供了可靠的通信解决方案。广和通基于RedCap模组的USB Dongle固移融合解决方案?技术与实践白皮书010203040506070809101112131415 无线连接支持。四信5G RedCap工业路由器同时支持2.4GHz和5.8GHz的WIFI功能,为物联网项目的快速搭建提供了无线连接的可能性。通过无线方式,用户可以快速构建物联网应用网络,无需复杂的布线工作,极大提升了项目的灵活性和便利性。安全性与远程管理。路由器内置了高级安全机制,如VPN、防火墙和数据加密等,确保数据传输的安全性和完整性,有效防止网络攻击和数据泄露。通过四信云平台,用户可以实现对设备的远程管理和监控,实时掌握设备状态,方便进行参数配置和故障排查。除了上述特点外,四信5G RedCap工业路由器还支持5G LAN、高精度授时以及高可靠低时延等特性。这些功能使得路由器在能源受限的应用场景中具有显著优势,并能够确保在关键应用中时间同步的准确性和数据传输的可靠性。凭借其高性能、稳定性和安全性,以及丰富的工业接口和无线连接支持,四信5G RedCap工业路由器在智慧工厂、智能电网、交通运输和环境监测等领域展现出良好的应用潜力。它将成为推动工业物联网持续发展的重要力量,助力企业实现智能化、自动化的转型升级。四信RedCap AI网络摄像头 随着物联网IoT与人工智能AI技术的深入融合,AIoT(人工智能物联网)已成为推动工业 高性能与稳定性。四信5G RedCap工业路由器采用了高性能工业级微处理器,确保在复杂的工业环境中稳定运行。基于四信在工业物联网领域的深厚技术积累,该路由器搭载了自研的工业级嵌入式系统,进一步增强了设备的可靠性和稳定性。丰富的工业接口及协议。产品具备丰富的工业接口,便于物联网现场设备接入。它提供1个RS232接口、1个RS485接口、1个以太网LAN接口以及1个以太网LAN/WAN接口。这些接口使得路由器能够同时连接串口和以太网设备,无论是智能仪表、PLC、传感器等串口设备,还是其他以太网设备,都能轻松接入,实现数据的快速传输和交换。而在北向连接能力上,四信5G RedCap工业路由器也有着强大的适配能力。无论是Http、MQTT、Socket、TR069等通用协议还是定制化的专属私有协议,四信工业路由器支持与各类MES、SCADA等控制系统及平台的快速对接。?技术与实践白皮书16物联网(IIoT)持续发展的重要力量。四信RedCap AI网络摄像头正是这一趋势下的杰出代表,它融合了AIoT的核心概念,为工业领域的监控和智能分析带来了全新的解决方案。人工智能AI能力的集成。RedCap AI网络摄像头集成了先进的深度学习算法,实现全场景AI监控预警。设备支持智能资源模式切换,Smart事件(警戒)、人脸抓拍、道路监控、热度图、人数统计,多种智能模式可按需切换。支持事件侦测包含,徘徊侦测,人员聚集侦测,快速运动侦测,停车侦测,物品遗留侦测,物品拿取侦测,场景变更侦测,音频陡升侦测,音频陡降侦测,音频有无侦测,虚焦侦测等,并可实现上传中心,Email,报警输出(-S型号支持),录像,抓图,声音报警(-S型号支持),闪光报警(等事件联动。物联网IoT的连接能力。传统的有线数字摄像头,在很多场景下存在布线困难、通信受阻的情况。而5G摄像头无法加入诸如5G LAN、5G专网等面向工业物联网的专有网络中,传统5G摄像头的成本又过高,因此RedCap技术正是最适合应用在需要提供AIoT能力的摄像头上。四信RedCap AI网络摄像头支持5G RedCap(移动、联通、电信、广电) 4G LTE网络接入,具备强大的网络传输能力。同时,它还支持GB28181、ONVIF、四信视频私有协议等多种对接方式,可快速接入各类常见的视频工具及平台,实现高清数据的快速传输和交换。AIoT带来的优势。智能化升级:通过集成AI技术,RedCap AI网络摄像头实现了从传统的视频监控向智能化监控的升级。它能够智能地识别和分析监控场景中的目标,自动触发报警、跟踪及设备联动等功能,极大地提高了监控的效率和准确性。RedCap AI网络摄像头作为AIoT在工业物联网领域的一个典型应用场景,充分展示了AIoT技术的优势和潜力。作为智能物联网监控系统的主要产品,专为物联网应用而设计。提供无线长距离、低延迟的高清视频。内置高性能工业级CPU,最大支持2T算力,丰富的南北向API接口,支持上百种行业算法,支持采集各类传感器数据并进行基本协议转换,实时在前端进行人工智能视频分析。不仅能够提供高清、稳定的监控画面,还能够实现智能化分析、远程管理等功能,为企业的智能化、自动化转型升级提供了强有力的支持。随着AIoT技术的不断发展和应用场景的不断拓展,相信RedCap AI网络摄像头将在未来发挥更加重要的作用。?技术与实践白皮书01020304050607080910111213141516175.3 IoT生态验证 中国移动与中兴通讯等合作伙伴联合打造5G 物联网开放实验室(以下简称5G OPENLAB)联合共建RedCap测试能力,与行业伙伴一起推动 5G 行业终端、应用和方案成熟,加速促进RedCap 生态繁荣。5G OPENLAB 定位于面向 5G物联网领域的产品验证中心、创新孵化中心和生态融合中心,打造快速融入5G 行业生态的“一站式产业创新验证平台”。5G OPENLAB 可为RedCap 行业生态伙伴提供开放测试环境,包括RedCap 终端基础功能测试能力、高低温环境下网络可靠性测试能力、行业应用部署环境、行业信道建模能力、应用端到端测试能力等,并提供实验室网络兼容性认证测试服务,发放认证证书。当前,RedCap终端产业链“芯片-模组-终端”已初具规模,主流芯片/模组/终端具备商用能力。业界推出面向智慧电力、视频监控、工业制造等重点场景的终端产品,预计2024年将孵化更多行业类型RedCap终端,形态日渐丰富。RedCap 终端介绍 实物 名称 数传 DTU 工业网关 工业路由器 RedCap AI 网络摄像头 介绍 支持 5G LAN、5G授时、支持VXLAN、支持串口数据转发、DMZ 端口映射功能 支持 5G LAN、多 DNN、网络切片等 5G 原生能力 支持 5G LAN、高精度授时、高可靠低时延,可供串口和以太网设备同时连接 支持人脸检测、道路监控、通用行为分析等上百种算法及定制化功能、4/5G 双模,支持全频段及多种行业标准 场景 智能制造工厂、智能电力 AGV 等工业应用场景 PLC 协同控制、AGV 物流仓储管理、电力配网与差动保护 智能制造、设备协同、数据采集、智慧仓储、智慧矿山等 工业园区、智慧工地安保系统、学校、商超、医院?技术与实践白皮书010203040506070809101112131415161718 作为技术性能、市场需求与价格成本平衡发展的产物,RedCap将成为未来主流的物联网技术,其应用场景将随着产业成熟扩展到ToC等领域,2024年是RedCap发展应用的关键年份,针对RedCap的创新发展与应用落地,我们建议:1、网络先行,建设一张完整覆盖的RedCap网络 从前面几代物联网发展的经验来看,一张连续覆盖的基础网络是广泛应用的前提,2024年在全国重点城市以及相关物联网应用重点区域建设RedCap连续覆盖网络,逐步延伸扩大其覆盖范围,网络侧在现有5G网络基础上升级RedCap。网络侧可考虑多频协同部署,建设一张兼具覆盖和性能的5G中高速物联网,广域网的连续覆盖可广泛支撑智慧电网、智能安防、车联网、可穿戴等应用场景,促进产业数字化。中兴通讯作为主要的基础网络供应商,在RedCap系统侧已经支持成熟应用的产品,将积极配合运营商实现RedCap网络的开通与升级,支持RedCap基础网络的调优与运维。2、特定行业、重点行业RedCap应用落地推广 工业控制、电力能源等领域其需求与RedCap的能力最为匹配,推动在这些场景的示范应用,通过重点行业应用积累经验,解决网络、终端以及应用的协同,为后续全行业规模应用积累基础。中兴通讯通过5G安全帽等终端形态RedCap项目实践,在相关重点行业验证了RedCap的端到端应用,积累了丰富的经验,希望与相关行业客户一起共同推动RedCap的实际应用。3、推动RedCap终端、芯片研发,降低终端成本,加大系统、终端互通与适配测试验证力度 RedCap终端种类、数量与成本是制约其发展的主要障碍,2024年预计业界将推出若干RedCap相关终端产品,RedCap终端和模组的价格也将进一步降低。中兴通讯在RedCap终端、芯片方面有长期积累,将很快推出若干相关RedCap终端;同时中兴通讯成立了RedCap IoT实验室,与业界多家终端伙伴进行了相应的IoT测试工作,也希望与业界更多伙伴一起推动RedCap终端的互通与应用。6 发展路径建议?技术与实践白皮书01020304050607080910111213141516171819 作为5G时代新的物联网技术,RedCap得到了产业界的广泛关注,RedCap模组和相关终端产品价格的降低,打破了5G大规模进入行业的成本障碍,同时RedCap继承了5G面向行业的关键能力,如切片资源隔离、低时延、高可靠性、5G LAN、5G定位、节能、电力授时等特性,能够更好地满足不同行业的定制性需求。长远来看RedCap将成为主流的中高速率物联网技术选择。综合而RedCap尚在持续发展演进中,成本/功耗将进一步降低;对5G需求强烈成本比较敏感的领域,如电网、工业,将率先应用。视频监控、可穿戴领域是未来5G RedCap规模化应用的领域。短期看,80%使用5G接入的应用(规模较大、速率要求不高),都可以使用RedCap连接替代;中长期看,随着RedCap产业进一步成熟,成本接近4G时,可以承接Cat.4(R17)和Cat.1(R18)的应用。当前RedCap产业链正在加速成熟中,在中国RedCap的发展处于国际领先位置,从系统侧来看,R17版本的RedCap经过运营商、设备商共同努力已经成熟,随着中国移动在23年底开始开通RedCap网络,预计国内运营商网络将在24年整体支持RedCap;在终端与模组方面,23年已经有若干款RedCap终端和模组发布,预计随着网络侧RedCap的陆续支持,24年RedCap终端和模组的种类和数量会有一个较大的增长;在RedCap产业应用方面,一些对5G切片、低时延等特性有强烈需求的物联网场景已经开始试点应用RedCap,预计24年其场景将会越来越丰富,规模也会有较大增长。综合来看,我们预计RedCap尚有2-3年的发展期,由于终端和模组的价格等因素,从应用规模上来看短期内4G物联网仍然占据主要位置,随着市场与产品成熟、R18等RedCap标准的进一步演进与落地,预计几年内RedCap将逐步达到与4G物联网相当的价格水平,RedCap也将成为市场上主流的物联网技术选择。作为全球领先的通讯设备供应商,中兴通讯具备5G RedCap端到端解决方案的能力,在系统侧中兴通讯与运营商进行了一系列的测试和验证工作,目前开始配合运营商进行RedCap的商用开通,并将第一时间根据R18标准的发展情况进行网络版本的支持和升级;在终端、模组和芯片方面,中兴秉持务实的产品策略,与当前主流平台进行密切合作,将推出系列化的RedCap终端产品,同时将根据RedCap产业的发展在RedCap模组和芯片方面适时规划;在RedCap工业应用实践方面,也在进行积极的布局与试点,在工业、电力等产业领域联合行业伙伴,进行RedCap的应用试点。随着5G、物联网技术的普及,RedCap将迎来更广阔的应用前景,中兴通讯将继续深耕RedCap领域,与全球伙伴一起共同推动产业发展,为用户带来更加优质、高效的端到端RedCap服务。7 总结与展望?技术与实践白皮书01020304050607080910111213141516171819208 缩略语缩略语 全称 释义 5G 5th Generation 第五代移动通信 5G-A 5G-Advanced 5G 网络的演进和增强版本 5G LAN 5G Local Area Network 5G 局域网 5GC 5G Core Network 5G 核心网 AIDC Automatic Identification and Data Collection 自动数据捕获和自动数据收集 CAGR Compound Annual Growth Rate 复合年均增长率 eMBB Enhanced Mobile Broadband)增强移动宽带 FWA Fixed Wireless Access 固定无线接入 IoT Internet of Things 物联网 MIMO Multiple Input,Multiple Output 多输入、多输出 LPWA Low-Power Wide-Area 低功率广域网络 LGA Land Grid Array 栅格阵列封装 LCC Leadless Chip Carriers 芯片封装方式 RedCap Reduced Capability 5G 轻量化 SCADA Supervisory Control And Data Acquisition 即数据采集与监视控制系统 SLA Service Level Agreement 服务等级协议 ToG To Governmen 政府客户 URLLC Ultra Reliable Low Latency Communication 超高可靠低时延通信?技术与实践白皮书010203040506070809101112131415161718192021参 编 单 位中 兴 通 讯 股 份 有 限 公 司中 移 物 联 网 有 限 公 司福 建 省 四 信 数 字 科 技 集 团 有 限 公 司深 圳 市 广 和 通 无 线 股 份 有 限 公 司深 圳 高 新 兴 物 联 科 技 有 限 公 司华 润 建 材 科 技 有 限 公 司 2024 ZTE Corporation.All rights reserved.2024版权所有 中兴通讯股份有限公司 保留所有权利地址:深圳市南山区高新技术产业园科技南路55号中兴通讯大厦 邮政编码:518057电话: 86-755-26770000 传真: 86-755-26771999 网址:作 者柏钢、唐雪、刘爽、彭海清、徐方、曹妮、郭婧娜、丁光河、胡浩、黄颖恒、纪中伟、刘君、刘伟刚、刘建业、鲁东海、孟晓斌、倪燕子、秦芳、邱迪、束裕、王红欣、汪竞飞、武向军、肖小珊、熊曼卿、徐法禄、闫丽娟、叶郁文、朱良正尹燕、李晓磊、何炳楠、郭继伟、黄伟林张志坤,张宏杰,曾原野,蓝朝斌,杨春宝陶曦、许良翮、郭建涛、郑银容、陶晓敏黄兴华、黄靖晶、叶建强黄凛希,刘辉,王愿杰安权、卞易翔01020304050607080910111213141516171819202122

    发布时间2024-09-18 23页 推荐指数推荐指数推荐指数推荐指数推荐指数5星级
  • 三未信安:抗量子密码技术与应用白皮书(2024)(123页).pdf

    抗量子密码技术与应用白皮书1抗量子密码技术与应用白皮书抗量子密码技术与应用白皮书三未信安科技股份有限公司三未信安科技股份有限公司2024 年年 8 月月抗量子密码技术与应用白皮书2目目 录录卷首语卷首语.5 5序序.7 71 1 理论篇理论篇.9 91.1 从经典计算到量子计算.101.1.1 经典计算与公钥密码算法.101.1.2 量子计算.111.2 量子计算对传统密码的威胁.121.3 量子计算下密码技术的变革.121.4 抗量子密码标准化进程.131.5 抗量子密码算法介绍.151.5.1 抗量子密码算法的种类.151.5.2 典型抗量子密码算法介绍.162 2 技术篇技术篇.19192.1 抗量子密码安全协议设计.202.1.1 抗量子 CA.212.1.2 抗量子 TLCP 协议.232.1.3 抗量子 IPSec 协议.262.1.4 抗量子 SSH 协议.272.2 抗量子密码标准化建议.282.2.1 现有密码标准体系框架.282.2.2 抗量子密码标准规划.302.3 抗量子密码产品研发.342.3.1 抗量子密码算法实现.342.3.2 抗量子密码产品体系.393 3 行动篇行动篇.42423.1 抗量子密码迁移面临的挑战.433.1.1 抗量子密码迁移时不我待.433.1.2 密码体制变革导致工程复杂.44抗量子密码技术与应用白皮书33.1.3 组织对密码依赖性了解不深.453.1.4 密码应用设计缺乏敏捷性.463.1.5 互操作性与依存性影响迁移进程.473.2 抗量子密码迁移策略与路径.483.2.1 制定量子安全战略与行动纲要.483.2.2 抗量子密码迁移目标与策略.523.2.3 现在着手行动.553.2.4 规划抗量子密码路线图.563.2.5 构建抗量子密码技术支撑体系.573.2.6加强密码人才培养和国际合作.603.2.7 抗量子密码迁移供应链协同.623.3 抗量子密码迁移工程指南.653.3.1 国外抗量子密码迁移研究进展.653.3.2 迁移工作思路.663.3.3 迁移工作组职能.683.3.4 量子风险评估方法.693.3.5 信息资产识别与分析.713.3.6 系统量子脆弱性分析.733.3.7 迁移计划与实施方案.773.3.8 密码功能与服务敏捷性设计.813.3.9 抗量子密码混合过渡方案.844 4 应用篇应用篇.96964.1 手机银行系统抗量子密码应用方案.974.1.1 现状分析.984.1.2 迁移方案.994.2 证券网上交易系统抗量子密码应用方案.1024.2.1 现状分析.1024.2.2 迁移方案.1034.3 证券集中交易系统抗量子密码应用方案.1034.3.1 现状分析.104抗量子密码技术与应用白皮书44.3.2 迁移方案.1054.4 移动通信 4A 系统抗量子密码应用方案.1064.4.1 现状分析.1074.4.2 迁移方案.1084.5 移动通信 OMC 系统抗量子密码应用方案.1094.5.1 现状分析.1094.5.2 迁移方案.1104.6 电力监控系统抗量子密码应用方案.1104.6.1 现状分析.1114.6.2 迁移方案.1125 5 展望篇展望篇.1141145.1 标准规范逐步出台.1155.2 技术研究持续创新.1165.3 产业生态日趋成熟.1175.4 应用示范有序推进.1185.5 国际合作更加深化.1196 6 附录附录.1211216.1 术语解释.1216.2 缩略语.1226.3 参考文献.1226.4 致谢.123抗量子密码技术与应用白皮书5卷首语卷首语量子科技是基于量子力学原理,利用量子系统的特性,如量子叠加、量子纠缠和量子不可克隆性等,进行计算、编码和信息传输的全新信息处理方式。从目前发展格局来看,量子科技研究主要聚焦于量子计算、量子通信等方向。量子计算通过量子比特(Qubit)实现信息的表达和操作,具备超越传统计算机的并行处理能力,能够有效解决经典计算难以处理的复杂问题;量子保密通信可以实现长距离量子密钥分发(QKD),提升信息系统安全性。量子科技发展具有重大科学意义和战略价值,必将引领新一轮科技革命和产业变革方向。在人类文明的长河中,密码技术一直是保护信息安全、维护社会秩序的重要基石。从古老的密文传递,到现代公钥密码体系的广泛应用,密码学伴随着计算技术的发展而不断演进。随着量子计算的崛起,传统密码学正面临着前所未有的挑战。我们无法准确预知“足够规模且容错性高(LFT)”的量子计算机何时可用,但可以确定的是:当具有较大量子比特规模的密码分析相关量子计算机(CRQC)可用时,现有基于整数分解问题、离散对数问题、椭圆曲线离散对数问题的公钥密码算法、密钥协商协议等面临被破解的风险,依赖于 RSA、ECDSA、ECDH 等经典密码的产品、协议和服务均可能处于风险之下。同时,量子算法可极大降低分组密码算法、杂凑函数的密码分析复杂度。目前需要思考的课题是:当量子时代来临时,我们如何做到临危不乱、从容应对?从传统密码迁移到抗量子密码(亦称为后量子密码)是必然的选择。抗量子密码技术不仅关乎国家信息安全、金融稳定、个人隐私保护等,更是未来信息技术发展的核心竞争力之一。深入研究抗量子密码技术,探索其在各领域的应用实践,对于构建安全可信的数字化社会具有重大意义。本白皮书旨在全面梳理抗量子密码技术的发展脉络,系统介绍其理论基础、技术框架、标准化进程、迁移指南以及在不同行业中的应用方案。理论篇将从经典计算与量子计算的对比,分析量子计算对传统密码的影响及新一代量子安全密码的进展,包括抗量子密码研究方向、技术原理、标准化进程、典型算法介绍等,为读者了解抗量子密码技术,提供了较为全面的视角。在技术篇中,我们将探讨抗量子密码安全协议的设计思路、实现方法以及关键问题的解决策略,如抗量子CA的设计,TLS协议的抗量子安全性实现,以及在IPSec抗量子密码技术与应用白皮书6和 SSH 等协议中融入抗量子密码技术的实践。同时,我们还将探讨抗量子密码标准化的规划、算法安全性和性能评估等,并介绍抗量子密码算法实现的优化、抗量子密码产品体系的架构设计及设计原则等内容。行动篇将聚焦于抗量子密码迁移面临的挑战,明确迁移策略和迁移路径,为组织提供迁移实践指南。本章提出了确保有序、平稳、分阶段、按计划的迁移目标和优先级、敏捷型设计、量子脆弱性密码技术发现、混合过渡等迁移策略。基于对国内外抗量子密码发展动向的研究,本章描述了通过量子风险评估,分析迁移风险、选择迁移路径、规划迁移方案的方法与思路,为组织与机构规划抗量子密码迁移的工程实践提供指导。应用篇将通过商业银行、证券公司、移动运营商、电力行业等典型案例和方案,展示抗量子密码技术的应用与实践。本章介绍了抗量子密码在部分典型行业的应用经验和成果,如金融交易中实现抗量子安全性、移动通信网络和电力网络中保障关键信息基础设施安全等。通过这些应用方案,读者可以深入了解抗量子密码技术和产品在不同行业中的应用场景和实现方法。展望篇将从抗量子密码技术的相关标准规范、技术创新、产业生态、应用推进等未来发展,进行分析与预测。展望未来,抗量子密码技术有望成为产业关注的焦点,应用于更广泛的领域。在编写本白皮书的过程中,我们力求内容的准确性与前瞻性,希望能够为广大读者提供一个全面、深入、实用的抗量子密码技术知识体系。我们也期待本白皮书能够助力于抗量子密码技术研究与应用创新。在这个充满挑战与机遇的新时代,让我们携手前行,为构建安全可信的数字化社会贡献自己的力量!2024 年 9 月 10 日抗量子密码技术与应用白皮书7序序在信息时代的浪潮中,密码技术作为保障网络信息安全的核心手段,其重要性日益凸显。随着量子计算技术的迅猛发展,传统密码体系正面临着前所未有的挑战。量子计算机的强大计算能力使得基于经典数学难题的公钥密码算法不再安全,这一颠覆性威胁,促使我们必须重新审视并发展新一代的密码技术。为了应对这一挑战,抗量子密码应运而生,成为密码学研究的前沿热点。一、量子计算对传统密码的影响作为一种全新的计算模式,量子计算利用量子比特的叠加和纠缠等特性,实现了计算能力的飞跃提升。这一突破性进展为众多领域带来了前所未有的机遇,但也对传统密码学构成了严重威胁。量子计算机出现后,依赖整数分解、离散对数等数学难题的经典密码算法存在被破解的风险。二、抗量子密码技术的研究进展抗量子密码即是能够抵御量子计算机攻击的新一代密码体系。这一技术领域的研究涵盖了如基于格的密码、基于编码的密码、基于多变量的密码等方向。抗量子密码标准化进程有利于技术的兼容性和互操作性。目前,部分算法已标准化,多个后续算法亦处于安全性评估过程中。三、抗量子密码技术的应用前景抗量子密码技术的应用前景广阔,涵盖了金融、通信、电力等多个关键行业。在金融行业,抗量子密码技术可应用于身份认证、数据加密、数字签名等多个环节,确保金融交易的安全性和可追溯性;在通信行业,抗量子密码技术可以保障通信网络的机密性和完整性,防止信息泄露和篡改;在电力行业,抗量子密码技术可以应用于智能电网的安全控制,确保电力系统的稳定运行。抗量子密码也面临诸多挑战。在未来研究中,我们应重点关注以下方面:抗量子密码算法的安全性研究、抗量子密码标准与技术规范推进、抗量子密码与区块链、人工智能等新兴技术融合应用。在产业生态建设方面,需要通过政府、企业、科研机构等多方协同,形成完善的产业链和生态体系。为推动我国抗量子密码技术研究与产业化发展,三未信安组织编写了 抗量子密码技术与应用白皮书。白皮书的编写得到了国内密码学专家、学者以及产业界抗量子密码技术与应用白皮书8人士的共同努力和支持,凝聚了大家对抗量子密码的研究和思考。白皮书不仅介绍了抗量子密码的理论基础,还描述了技术设计和产品研发的相关内容,并就组织如何安排抗量子密码迁移活动提供指导,同时给出了多个典型应用方案。作为一位长期从事密码技术研究的工作者,我相信,该书将成为读者探索抗量子密码技术奥秘的钥匙,为各行业了解抗量子密码、规划迁移路线提供有益参考。感谢编撰者的辛勤付出和无私奉献!展望未来,抗量子密码技术将迎来更多的机遇,当然也会面临更多的挑战。我坚信,通过大家不懈探索,一定能在抗量子密码研究与产业化方面取得显著进展,为我国重要领域提供持续安全保障。2024 年 9 月 10 日抗量子密码技术与应用白皮书91 理论篇理论篇“格物致知。格物致知。”-礼记礼记大学大学抗量子密码技术与应用白皮书10“穷理者,欲知事物之所以然,与其所当然者而已。知其所以然,故志不惑穷理者,欲知事物之所以然,与其所当然者而已。知其所以然,故志不惑;知其所当然,故行不谬。知其所当然,故行不谬。”-朱熹答或人朱熹答或人密码起源于人类生产实践中信息隐藏与秘密保护的实际需求,其远远早于现代计算机的诞生。然而,密码的每一次里程碑式发展却与计算机的跨越式进步紧密相连,不论是图灵计算模型与恩尼格玛密码机的破译,还是仙农信息论与密码完善保密性,都彰显了密码与计算机、信息科学密不可分、携手共进的关系。理论上绝对安全的密码算法是无法实用的,真正实用的密码算法都是依赖于计算安全性,即在现有计算能力下不能在可接受时间内破译该算法。于是,计算理论和计算机性能的历史性突破,必然引起密码算法的更新换代。例如,DES 密码算法到 AES 密码算法的替换,RSA 密钥长度的不断增长,一方面是因为密码数学攻击手段的推陈出新,另一方面是因为计算机运算能力的历史性跨越。量子计算机是一种基于量子力学的新型计算机体系,尤其是 Shor 量子算法能够有效求解整数分解和离散对数问题,对现有的 RSA 密码、椭圆曲线密码等公钥密码算法带来严重的攻击威胁,于是抗量子密码算法(又称为后量子密码算法)研究势在必行。1.1 从经典计算到量子计算从经典计算到量子计算1.1.1 经典计算与公钥密码算法经典计算与公钥密码算法艾伦图灵(Alan Turing)于 1936 年发表的论文论可计算数及其在判定问题上 的 应 用 (OnComputableNumbers,WithanApplicationtotheEntscheidungsproblem),首次提出了现代计算机的理论模型图灵机(TuringMachine)的概念,奠定了现代计算机的理论基础。在随后几十年的时间里,计算机作为 20 世纪最先进的科学技术发明之一,经历了从电子管、晶体管、到集成电路、超大规模集成电路等高速发展阶段,已经深入到人类生产活动和社会活动的各个领域,成为信息社会中不可或缺的重要工具。从理论计算机科学的角度,将所有的问题分为可计算问题和不可计算问题,前者是能够用计算机解决的问题,后者是不能用计算机解决的问题。斯蒂芬A库克抗量子密码技术与应用白皮书11(Stephen A.Cook)于 1971 年发表的论文定理证明过程的复杂性(TheComplexity of Theorem Proving Procedures),提出了 NP 完全理论,开启了计算复杂性理论的新时代。在计算复杂性理论中,根据问题的难易程度将各类问题划分为不同的复杂性类,包括 P 类、NP 类、NPC 类、NP-hard 类等。P 类、NP 类、NPC 类均是指判定问题,其中 P 类问题是指在多项式时间内可以求解的判定问题;NP 类问题是在多项式时间内可以验证结果的判定问题;NPC 类问题是 NP 类问题中最困难的一类问题,任意 NP 问题可以多项式时间归约到该问题。NP-hard 问题是不限于判定问题的最困难的一类问题。目前理论计算机研究领域的最著名的难题之一是P是否等于NP类,现在普遍认为 PNP,但是还没有得到证明。在 PNP 假设下,所有的 NPC 问题和NP-hard 问题均不存在多项式时间求解的算法。公钥密码算法的设计基础是计算复杂性理论,即基于数学难题的计算困难性而设计,例如整数因子分解问题、有限域上离散对数问题、椭圆曲线加法群上离散对数问题,这三个问题还没有证明是 NP-hard 问题,但是在当前的经典计算机模型下,仍然没有发现多项式时间求解的算法。1.1.2 量子计算量子计算20 世纪 80 年代初,量子计算的概念开始萌芽。1980 年,Yuri Manin 在他的 可计算和不可计算 一书中提到了使用叠加和纠缠的量子自动机的思想;Paul Benioff提出了微观量子力学哈密顿量作为图灵机的模型。1981 年 5 月,麻省理工学院和IBM 组织召开了“计算物理学”会议,汇集了 Freeman Dyson、JohnArchibald Wheeler、Richard Feynman、Landauer、Benioff 等物理学家和计算机科学家,这些大会报告于次年发表在国际理论物理杂志上,构成了量子计算的最初构想。量子计算是遵循量子力学规律、以量子比特(Qubit)为基本运算和存储单元的新型计算模式,是突破经典图灵计算模型瓶颈的新型计算模式,又可看作用量子力学规律重新诠释的通用图灵机。从可计算理论角度看,量子计算机只能求解传统计算机所能求解的问题,但是由于量子力学的叠加特性,很多复杂问题在量子计算机上的求解效率远高于传统计算机的求解效率,甚至计算复杂性从指数时间降低到多项式时间。量子比特(Qubit)是量子计算的基本单元。经典计算机的比特只有“0”和“1”抗量子密码技术与应用白皮书12两种状态;而在量子计算机中,量子比特除了“0”和“1”状态之外,还可处于叠加态,量子状态叠加原理使得量子信息处理具有更高的效率。例如,对于 n 个量子比特而言,量子信息可以处于 2n种可能状态的叠加,量子计算的每一步会对 2n种可能性进行并行处理,因此会大大提升计算效率。1.2 量子计算对传统密码的威胁量子计算对传统密码的威胁1994 年,Peter Shor 提出了著名的 Shor 量子算法,在量子计算机上可以在多项式时间内分解大整数以及求解离散对数,这被认为是第一个实现对经典算法进行“指数级”加速的量子算法。Shor 量子算法的出现表明,如果研发出一定规模的量子计算机,则可以破解当前广泛应用的基于整数分解困难问题的 RSA 密码算法、基于离散对数的 DSA 数字签名算法、Diffie-Hellman 密钥协商协议和基于椭圆曲线离散对数的 ECC 公钥密码算法。1996 年,Lov Grover 提出了 Grover 量子算法,是一种在量子计算机上求解非结构问题的量子搜索算法(Quantum search algorithm),当搜索空间有个无序元素时,它具有(1/2)的计算复杂度,将无序元素搜索的计算复杂度由()降低到了开平方的(1/2)量级。将 Grover 量子算法用于分组密码算法和密码杂凑函数的密码分析,能够大大降低密码分析的计算复杂度。Shor 量子攻击算法对传统的 RSA、ECC 等公钥密码算法带来了严重的安全风险,并对使用公钥密码算法的数字认证系统、区块链系统以及 SSL/TLS、SSH 等网络安全协议产生了巨大安全威胁。1.3 量子计算下密码技术的变革量子计算下密码技术的变革量子计算机快速发展带来的巨大攻击风险,亟需开展量子计算时代的新型密码技术研究,一个研究方向是基于量子力学的密码技术,包括量子保密通信技术、量子随机数等,另一个方向是抗量子密码算法,即设计基于新型数学困难问题的、抵抗量子计算机攻击的密码算法。量子保密通信技术主要包括量子密钥分发技术,量子密钥分发(Quantum KeyDistribution,QKD)是指通信双方通过以量子态为信息载体实现秘密密钥的分发过程,可以用于通信双方秘密协商对称密钥。量子密钥分发技术的一个重要特点是:抗量子密码技术与应用白皮书13如果通信过程中有第三方试图窃听,则会因为扰动量子态而被通信双方发现,因此具有理论的无条件安全性。根据量子态载体及其调制方式的不同,量子密钥分发主要可以分为离散变量和连续变量两种。目前离散变量方案中的诱骗态 BB84 协议是最成熟、应用最广泛的协议,基于该协议的光纤量子密钥分发设备已经实现试点应用。量子随机数发生器(Quantum Random Number Generation,QRNG)是利用量子力学产生随机数的真随机数发生器。与传统物理噪声源随机数发生器不同,量子随机数发生器的随机性是基于量子力学的基本原理,保证信息熵来源于量子力学随机性。抗量子密码算法(Quantum-resistant Cryptographic Algorithms),又称为后量子密码算法(Post-Quantum CryptographicAlgorithms,PQC),是指抵抗量子计算机攻击的新型密码算法。需要注意的是,所称的抗量子密码算法是指能够抵抗 Shor量子算法等现有量子攻击算法,并不能保证今后不会出现新的量子攻击算法。1.4 抗量子密码标准化进程抗量子密码标准化进程1996 年,美国布朗大学三位教授 Hoffstein,Pipher 和Silverman 设计了NTRU(Number Theory Research Unit)公钥密码算法,包括公钥加密(NTRUencrypt)和数字签名(NTRUSign)方案。NTRU 加密、解密的速度比较快,安全性是基于格上的最短向量问题(SVP)。2008 年,NTRU 公钥加密算法被电气和电子工程师协会确定为正式标准(IEEE Std1363.12008)。2010 年,美国国家标准学会(AmericanNational Standard Institute,ANSI)的 X9.98 标准(ANSIX 9.98)将 NTRU 公钥加密算法作为金融交易过程的公钥加密算法标准。2016 年 12 月,美国国家标准与技术研究院(National Institute of Standards andTechnology,NIST)正式启动抗量子公钥密码算法标准的征集,以解决 FIPS 186-4、数字签名标准(DSS)、SP 800-56A 和 SP 800-56B 等传统公钥密码算法面临的量子攻击风险。NIST 就候选算法的最低可接受性要求、提交要求和评估标准征求公众意见,提交抗量子候选算法的截止日期是 2017 年 11 月 30 日。2017 年 12 月,NIST 公布抗量子公钥密码算法标准的第一轮筛选结果,共收到 82 个候选密码算法,有 69 个候选算法进入第一轮评估过程,其中包括 20 个数抗量子密码技术与应用白皮书14字签名算法和 49 个公钥加密或密钥封装方案。2019 年 1 月,NIST 公布抗量子公钥密码算法标准的第二轮筛选结果,经过一年多的评估和分析过程,共计 26 个算法进入第二轮评估过程,其中包括 17 个公钥加密和密钥封装算法(BIKE、Classic McEliece、Kyber、FrodoKEM、HQC、LAC、LEDAcrypt、NewHope、NTRU、NTRU Prime、NTS-KEM、ROLLO、Round5、RQC、SABER、SIKE、Three Bears)以及 9 个数字签名算法(Dilithium、FALCON、GeMSS、LUOV、MQDSS、Picnic、qTESLA、Rainbow、SPHINCS )。2020 年 7 月,NIST 宣布了进入抗量子公钥密码算法标准第三轮的 15 个候选算法,包括 7 个入围算法和 8 个备选算法。其中,7 个入围算法是:4 个非对称加密和密钥封装算法(Classic McEliece、Kyber、NTRU、SABER)和 3 个数字签名算法(Dilithium、FALCON、Rainbow);8 个备选算法是:5 个非对称加密和密钥封装算法(BIKE、FrodoKEM、HQC、NTRU Prime、SIKE)和 3 个数字签名算法(GeMSS、Picnic、SPHINCS )。2022 年 7 月,NIST 公布抗量子公钥密码算法标准第三轮评估结果,其中包括用于非对称加密和密钥封装的 Kyber 算法,以及用于数字签名的 Dilithium、FALCON 和 SPHINCS 算法(Dilithium 作为主要推荐的数字签名算法)。此外,NIST 将 BIKE、Classic McEliece、HQC、SIKE 算法进入第四轮公钥加密和密钥协商算法的筛选进程。2023 年 7 月,NIST 公布了抗量子数字签名算法第四轮的候选算法,其中包括40 个数字签名候选算法。2023 年 8 月 24 日,美国国家标准与技术研究院(NIST)正式公布三种抗量子密码(PQC)算法标准草案,包括(1)FIPS 203:基于格密码的密钥封装机制标准,即 Kyber 算法;(2)FIPS 204:基于格密码的数字签名标准,即 Dilithium 算法;(3)FIPS 205:基于哈希算法的无状态数字签名标准,即 SPHINCS 数字签名算法。以上三个草案于 2024 年 8 月 13 日正式成为首批抗量子密码算法标准ML-KEM(FIPS 203)、ML-DSA(FIPS 204)及 SLH-DSA(FIPS 205)。2024 年 4 月 10-12 日,NIST 召开了抗量子公钥密码算法标准化第五次会议,对已经标准化和正在评估的候选算法的安全性、实现效率等方面进行了详细研讨。国际互联网工程任务组(IETF)、欧洲电信标准化协会(ETSI)等均在抗量抗量子密码技术与应用白皮书15子标准化方面做了大量工作,包括 IETF RFC 8391 XMSS:eXtended MerkleSignature Scheme、ETSI GR QSC 001量子安全算法框架等。我国抗量子密码算法设计通过密码算法竞赛等形式开展了一系列工作。2018年 6 月,为繁荣我国密码理论和应用研究,推动密码算法设计和实现技术进步,中国密码学会举办全国密码算法设计竞赛活动,竞赛内容包括分组密码算法设计和公钥密码算法设计两部分,全国高校、科研院所、产业单位的 42 个团队提交了 79个密码算法。2019 年 9 月,经公开评议、检测评估和专家评选,全国密码算法设计竞赛第一轮算法评选结果揭晓,公布了 全国密码算法设计竞赛分组算法第二轮入选名单和全国密码算法设计竞赛公钥算法第二轮入选名单(含公钥加密算法、数字签名算法、密钥交换算法),共有 10 个分组算法和 14 个公钥算法进入第二轮评选。2019 年 12 月,全国密码算法设计竞赛评出获奖算法名单,分别遴选出公钥密码算法和分组密码算法一、二、三等奖,其中 Aigis-enc 抗量子公钥加密算法、Aigis-sig 抗量子数字签名算法和 LAC.PKE 抗量子公钥加密算法被评为公钥密码算法一等奖。目前,我国有一些抗量子密码算法的密码行业标准正在制定过程中,包括基于 NTRU 的密钥封装机制、基于 SM3 的带状态数字签名算法等。1.5 抗量子密码算法介绍抗量子密码算法介绍1.5.1 抗量子密码算法的种类抗量子密码算法的种类根据所基于的数学困难问题的类型,抗量子密码算法主要包括以下种类:基于格的密码算法(lattice-based)、基于编码的密码算法(code-based)、基于密码杂凑函数的密码算法(hash-based)和基于多变量的密码算法(multivariate)。另外,还有基于同源的密码算法(isogeny-based)等其它类型。基于格的密码算法是最受关注、研究最广泛的抗量子密码算法,目前还没有量子算法对格困难问题进行有效破解。格(lattice)是一种代数结构,是一组线性无关向量的整系数线性组合构成的向量集合,其几何意义是 n 维空间上的离散点的集合,这组线性无关向量称为格基。格上的数学困难问题包括:最短向量问题(ShortestVector Problem,SVP),即在格上寻找最短的向量;最近向量问题(Closest VectorProblem,CVP),即给定一个向量,求距离此向量最近的格向量;还有带错误学抗量子密码技术与应用白皮书16习问题(Learning With Error,LWE)、小整数解问题(Short Integer Solution,SIS)等问题。基于格的抗量子密码算法大多基于以上困难问题或其变形而设计,包括早期的 Ajtai-Dwork 公钥密码算法、NTRU 公钥密码算法以及 NIST 的抗量子密码算法标准 Kyber 和 Dilithium 等。基于编码的密码算法是基于纠错码原理设计的密码算法,所依赖的困难问题是随机线性码的译码困难性,其特点是加密速度比较快,但是密钥规模比较长。一个著名的基于编码的密码算法是 1978 年 Robert McEliece提出的基于Goppa线性码的 Classic McEliece 公钥密码算法,是进入 NIST 抗量子密码算法标准第三轮和第四轮的公钥密码算法。基于多变量的密码算法(multivariate)的安全性是基于求解有限域上非线性多变量方程组的困难性,其特点是加密解密、签名验签的速度很快,但是密钥存储的开销很大。Rainbow 数字签名算法是进入 NIST 抗量子密码算法标准第三轮的公钥密码算法。基于密码杂凑函数的公钥密码算法(hash-based)是在密码杂凑函数和 Merkle树基础上设计的一次性数字签名机制,其安全性依赖于密码杂凑函数的抗碰撞性,其缺点是签名值太长、运算速度太慢。最早的基于密码杂凑函数的数字签名算法是1979 年由 Ralph Merkel 提出,采用了 Merkle 哈希树认证机制。NIST 抗量子密码算法标准算法 SPHINCS 是基于密码杂凑函数的公钥密码算法。1.5.2 典型抗量子密码算法介绍典型抗量子密码算法介绍以下对四个 NIST 抗量子密码标准算法进行介绍。(1)Kyber 加密和密钥封装算法:加密和密钥封装算法:NIST 抗量子密码标准算法 Kyber 是一种满足适应性选择密文攻击下不可区分安全(IND-CCA2)的密钥封装机制(KEM),其安全性基于求解模格上带错误学习(LWE)问题的困难性,其详细介绍参见 https:/pq-crystals.org/kyber/index.shtml。Kyber 给出了三种不同安全级别的推荐参数,Kyber-512 的安全强度相当于 128 比特 AES 分组密码算法的安全强度,Kyber-768 的安全强度相当于 192 比特 AES 分组密码算法的安全强度,Kyber-1024 的安全强度相当于 256 比特 AES 分组密码算法的安全强度。Kyber 的一个设计思想来源于 Regev 的基于 LWE 的加密方案;另一个改进思抗量子密码技术与应用白皮书17想是受 NTRU 格密码算法的启发,采用了多项式环上的环 LWE 和模 LWE 困难问题。Kyber 密码算法包括两个阶段:首先,建立一个加密固定长度为 32 字节消息的选择明文攻击下不可区分安全(INDCPA)的公钥加密方案,称为 Kyber.CPAPKE;然后,使用 Fujisaki-Okamoto(FO)变换来构建适应性选择密文攻击下不可区分安全(IND-CCA2)的密钥封装机制(KEM),称为 Kyber.CCAKEM。(2)Dilithium 数字签名算法数字签名算法NIST抗量子密码标准算法Dilithium是一种基于模格上困难问题的数字签名方案,其具有选择消息攻击下的强安全性,即使攻击者能够访问签名预言机预先产生大量签名,也无法根据已有的这些签名生成一个新的合法签名,而且也不能对原来的一个相同消息生成另一个不同的合法签名。Dilithium 数字签名算法的详细介绍,参见 https:/pq-crystals.org/dilithium/index.shtml。Dilithium 数字签名算法的设计思想是基于 Lyubashevsky 的“Fiat-Shamir withAborts”技术,该技术使用拒绝采样方法使得基于格的 Fiat-Shamir 方案紧凑且安全。同样使用这种方法的具有最短签名值的方案是 Ducas、Durmus、Lepoint 和Lyubashevsky 设计的基于 NTRU 的一种方案,其使用高斯采样来构造签名。但是,由于高斯采样很难安全高效地实现,Dilithium 数字签名算法借鉴了 Bai 和 Galbraith的方法,使用了均匀分布,将公钥尺寸缩小了 2 倍以上。在采用均匀分布的格数字签名方案中,Dilithium 具有最小的公钥和签名尺寸。(3)Falcon 数字签名算法数字签名算法NIST 抗量子密码标准算法 Falcon 是一种基于格的数字签名算法,全名为Fast-Fourier Lattice-Based Compact Signature over NTRU,该算法的详细介绍参见https:/falcon-sign.info/。Falcon 是基于 Gentry、Peikert 和 Vaikuntanathan 提出的格数字签名设计的理论框架,并在 NTRU 格上进行具体实例化,采用了称为“快速傅立叶采样”的陷门采样器。Falcon 数字签名算法是基于 NTRU 格上短整数解困难问题(Short integer solution problem,SIS)而构造的,该问题在量子计算机上尚没有有效的求解算法。在安全性方面,Falcon 数字签名算法采用了高斯采样器,保证了私钥信息泄漏的概率可以忽略不计。在紧凑性方面,由于 Falcon 数字签名算法使用了 NTRU 格,其签名长度比其它具有相同安全假设的格签名方案都要短得多。在实现效率方面,抗量子密码技术与应用白皮书18Falcon 数字签名算法使用的快速傅里叶采样非常有利于快速软硬件实现,在普通计算机上每秒可以实现几千次签名,验签速度比签名速度快 5 到 10 倍。(4)SPHINCS 数字签名算法数字签名算法NIST 抗量子密码标准算法 SPHINCS 是一种无状态的基于哈希的数字签名方案,是 EUROCRYPT 2015 提出的 SPHINCS 数字签名方案的升级方案,该升级方案比原方案提出了在多项优化方法,特别是显著降低了签名尺寸,该算法的详细介绍参见 https:/sphincs.org/。有关从 SPHINCS 到 SPHINCS 升级的不同之处,可以参见 Andreas Hlsing 的博客文章。SPHINCS 数字签名算法包括三种不同的数字签名方案:SPHINCS -SHAKE256,SPHINCS -SHA-256 和 SPHINCS -Haraka,其分别是基于 SHAKE256,SHA-256 和 Haraka 密码杂凑算法(哈希算法)而构造的。抗量子密码技术与应用白皮书192 技术篇技术篇“技进乎道。技进乎道。”-默觚上默觚上学篇二学篇二抗量子密码技术与应用白皮书20“图难于其易图难于其易,为大于其细为大于其细。天下难事天下难事,必作于易必作于易;天下大事天下大事,必作于细必作于细。”-老子道德经老子道德经第六十三章第六十三章抗量子密码迁移需要做好技术方面的开发和准备,不仅要选择安全高效的算法,还需要安全协议设计、标准体系的规划、产品体系的开发等。安全协议设计需要在支持抗量子密码算法的前提下,支持与现有的网络通信协议之间的互操作性,保证抗量子密码迁移的平滑过渡;标准体系规划也是不可或缺的关键一环,能够为抗量子密码系统实施提供统一的标准和规范,有助于确保不同系统之间的兼容性和安全性。最后,产品开发是将理论上的抗量子密码算法转化为实际可用的产品,包括硬件和软件开发,以及相应的测试和验证,确保产品的安全性和高性能。2.1 抗量子密码安全协议设计抗量子密码安全协议设计随着量子计算技术的快速发展,传统公钥密码算法已不再安全。为了应对这一挑战,研究人员已开始研究抗量子计算的密码协议和体系,特别是在 TLS、IPSec和 CA 等领域。目前,国内外已有部分针对 TLS、IPSec 与 CA 的研究成果。基于抗量子的 TLS 协议在 TLS 握手过程中采用传统公钥密码算法与抗量子算法混合的方法;抗量子的 IPSec 协议采用抗量子预共享密钥、增加中间轮密钥协商等方法;研究人员研究抗量子公钥基础设施 CA,并提出混合证书格式与抗量子密钥格式。不论是 TLS、IPSec 还是 CA,现有研究方案的主要思想都是最大程度上兼容现有协议和体系,公钥密码算法与抗量子算法双体系并行使用。双体系思想主要出于以下两个方面考虑:(1)抗量子密码算法作为一种新兴的算法,其安全性有待实践的检验,用户对新兴的抗量子密码算法假设缺乏信心,双体系并行可以增加系统的安全性,如果一种算法被破解,另一种算法可能仍然是安全的,可以提供双重保障,增加整体系统的抵抗攻击能力;(2)现有的协议与体系主要是采用传统公钥密码算法,如果直接用抗量子算法完全替换可能需要大量的时间和资源,需要在继续使用现有系统的同时逐步集成抗量子算法,确保系统的兼容性和连续性。双体系并行使用确保了在量子计算技术逐步成熟和普及过程中,系统能够平稳过渡并保抗量子密码技术与应用白皮书21持高水平的安全性。这种方法为信息安全领域提供了一种切实可行的解决方案,具有重要的应用价值和推广前景。但是,上述对于 TLS、IPSec 与 CA 的研究都是基于国际标准协议,如 TLS1.3、IKE2 以及 x509v3 等,对于国内 TLCP(GB/T 38636-2020)、IPSec(GM/T0022-2023)、公钥基础设施证书数字证书格式(GB-T 0015-2023)研究的相对较少。国内 TLCP的主要思想是基于 TLS1.1,IPSec 的主要思想是基于 IKE1,并不能完全按照上述文献的设计步骤进行实现。借鉴双体系并行的思想,设计了与现有 TLCP(GB/T38636-2020)兼容的抗量子 TLCP 协议、与现有 IPSec(GM/T0022-2023)兼容的抗量子 IPSec 协议、与现有 CA 兼容的抗量子证书格式。本白皮书针对抗量子 CA、抗量子 TLCP 协议、抗量子 IPSec 和抗量子 SSH 协议的设计提出了参考性的设计方案,里面用到的密钥封装算法以 SM2 和 Kyber 算法为例,数字签名算法以 SM2 和 Dilithium 算法为例。实际的应用过程中也可以使用 Aigis-enc、Aigis-sig、LAC.PKE、FALCON、SPINICS 等抗量子密码算法。2.1.1 抗量子抗量子 CA抗量子 CA 基于 GM/T 0015-2023 规范进行设计,主要涉及数字证书格式。CA可以给用户签发独立的抗量子签名证书,也可以签发支持国密和抗量子密码算法的混合签名证书,证书格式如图 2-1、2-2 所示。图 2-1 抗量子签名证书抗量子密码技术与应用白皮书22图 2-2 抗量子混合签名证书其中抗量子签名证书采用标准的 X.509 格式,签名算法可以采用 Dilithium、Aigis-sig 等,哈希算法采用 SM3 等。与普通的 SM2 签名证书相比,格式完全相同,只不过证书的长度会有较大的扩展。混合数字证书设计思想:对 GM/T 0015-2023 规范中的证书格式不做任何改变,将 CA 与用户的抗量子签名公钥与抗量子签名加在扩展中。主要参考步骤如下:CA 将用户的基本信息、用户的传统签名公钥、用户的抗量子签名公钥 UserPQC-Publickey 与自己的抗量子签名公钥 CAPQC-Publickey 生成待签名数据 tbs;对 tbs 进行 sha256 哈希,然后用自己的抗量子签名私钥对哈希后的 tbs 进行签名,将抗量子签名值 PQC-Signature-Value 放在证书的扩展中。CA 更新待签名数据(包含扩展中的所有部分),用自己的传统签名私钥对更新的待签名数据进行签名,生成传统签名,将传统签名放在证书的 SignatureAlgorithium value 位置。对于用户混合加密证书格式的设计与上述混合签名证书的设计格式是一样的,只不过将用户的传统签名公钥改为用户的传统加密公钥,其他不变。证书验证时,先用传统的证书链的方式验证传统签名,然后提取证书中除传统签名与抗量子签名外的部分,生成 tbs,先对 tbs 进行 sha256 哈希,然后利用抗量子密码技术与应用白皮书23证书中 CA 的抗量子签名公钥验证证书中的抗量子签名。只有两个签名全部被验证通过,证书的有效性验证才通过。上述的混合证书格式,不仅适用于抗量子TLCP与抗量子IPSec的通信过程中,而且适用于 TLCP(GB/T 38636-2020)与 IPSec(GM/T0022-2023)规定的传统协议中,只要在验证证书时,不验证证书的抗量子签名即可。注意:为了方便证书验证,将 CA 抗量子签名公钥放在混合签名/加密证书中,后续可以用根证书的方式实现。2.1.2 抗量子抗量子 TLCP 协议协议抗量子 TLCP 协议基于 GB/T 38636-2020 标准进行设计,新增两个密码套件,分别为 SM2-KYBER-DILITHIUM-SMS4-SM3 套件与 SM2DHE-KYBER-DILITHIUM-SMS4-SM3 套件。新增的两个密码套件并不会影响之前密码套件的运行,关键在于双方选择哪种密码套件,选择之前的密码套件,按照之前的 TLCP 协议进行交互,选择抗量子的密码套件,按照抗量子的 TLCP 协议进行交互。其中 SM2-KYBER-DILITHIUM-SMS4-SM3 套件握手过程协议设计如图 2-3 所示,SM2DHE-KYBER-DILITHIUM-SMS4-SM3 套件握手过程协议设计如图 2-4 所示。客户端与服务端提前拥有传统签名密钥对,传统加密密钥对,抗量子签名密钥对,混合签名证书与混合加密证书,混合签名 Kyber 密钥证书与混合加密证书的格式见 2.1.1。抗量子密码技术与应用白皮书24图 2-3 SM2-PQC TLCP 协议SM2-PQC TLCP 设计思想:客户端将相应的密码套件随 clienthello 发送给服务端,服务端检测到抗量子的密码套件后,除了要执行原有的 TLCP 步骤外,还需要执行 KYBER 的密钥生成获得临时密钥对(pubkey,prikey),将 pubkey 随会话信息签名一块发送给客户端,其中 pubkey 也会作为会话信息签名待签名的一部分;客户端收到服务端发送的信息后,除了执行原有的 TLCP 步骤外,还需要用 pubkey 进行 KYBER 密钥封装,生成 KYBER 密文与 KYBER 共享密钥,将KYBER 密文与客户端加密的预主密钥一块发送给服务端;服务端收客户端发送的信息后,除了执行原有的 TLCP 步骤外,还需要用prikey 对 KYBER 密文执行密钥解封装得到 KYBER 共享密钥。经过上述的步骤,客户端与服务端同时生成了传统预主密钥与 KYBER 共享密钥,将传统预主密钥与 KYBER 共享密钥进行拼接,生成新的混合预主密钥,后续所有的密钥派生都是基于此密钥进行的。抗量子密码技术与应用白皮书25图 2-4 SM2DHE-PQC TLCP 协议SM2DHE-PQC TLCP 设计思想:客户端将相应的密码套件随 clienthello 发送给服务端,服务端检测到抗量子的密码套件后,除了要执行原有的 TLCP 步骤外,还需要执行 KYBER 的密钥生成获得临时密钥对(pubkey,prikey),将 pubkey 随临时公钥与会话信息签名一块发送给客户端,其中 pubkey 也会作为会话信息签名会待签名的一部分;客户端收到服务端发送的信息后,除了执行原有的 TLCP 步骤外,还需要用 pubkey 进行 KYBER 密钥封装,生成 KYBER 密文与 KYBER 共享密钥,将KYBER 密文与客户端临时公钥一块发送给服务端;服务端收客户端发送的信息后,除了执行原有的 TLCP 步骤外,还需要用prikey 对 KYBER 密文执行密钥解封装得到 KYBER 共享密钥。经过上述的步骤,客户端与服务端同时生成了传统预主密钥与 KYBER 共享密钥,将传统预主密钥与 KYBER 共享密钥进行拼接,生成新的混合预主密钥,后续抗量子密码技术与应用白皮书26所有的密钥派生都是基于此密钥进行的。2.1.3 抗量子抗量子 IPSec 协议协议基于 GM/T0022-2023 规范进行设计,过程涉及主模式中的密钥交换步骤。新增的抗量子算法并不会影响之前 IPSec 协议的运行,关键在于发起方与响应方选择哪种密钥交换方式。选择传统的密钥交换方式,按照之前的 IPSec 协议进行交互,选择抗量子的密钥交换方式,按照抗量子 IPSec 协议进行交互,具体设计如图 2-5所示。发起方与响应方提前拥有传统签名密钥对,传统加密密钥对,抗量子签名密钥对,混合签名证书与混合加密证书,混合签名证书与混合加密证书的格式见 2.1.1。图 2-5 PQC-IPSec 协议设计思想:发起方进行抗量子通信的消息随载荷 SA 发送给响应方,响应方收到消息后,将混合签名证书 CERT_sig_r 与混合加密证书 CERT_enc_r 随响应载荷一起发送给发起方;发起方收到响应方消息后,除了执行 GM/T0022-2023 规范中的步骤外,还需要执行 KYBER 密钥生成操作,生成 KYBER 临时密钥对(PKi_KYBER,SKi_KYBER),计算 MixXCHi=XCHi|CERT_sig_i|CERT_enc_i|PKi_KYBER,SIGi=SIG_SM2(Ci)|PQC_Dilithium(Ci),其 中 Ci=ski|Ni|IDi|CERT_enc_i|PKi_KYBER,将 MixXCHi 与 SIGi 一起发送给响应方;响应方收到消息后,除了执行 GM/T0022-2023 规范中的步骤外,还需要执行 KYBER 密钥封装操作,生成 KYBER 密文 ct_KYBER 与共享密钥 ss,计算抗量子密码技术与应用白皮书27MixXCHr=XCHr|ct_KYBER,SIGr=SIG_SM2(Cr)|PQC_Dilithium(Cr),其 中Cr=skr|Nr|Idr|CERT_enc_r|ct_KYBER,将将 MixXCHr 与 SIGr 一起发送给发起方;发起方收到消息后,除了执行 GM/T0022-2023 规范中的步骤外,还需要对ct_KYBER 执行 KYBER 密钥解封装操作,生成 KYBER 共享密钥 ss。经过上述的步骤,发起方与响应方同时生成了基本密钥参数 SEEDKEY 与KYBER共享密钥ss,将SEEDKEY与ss进行拼接,生成混合基本密钥参数SKEYID,后续所有的派生密钥都是基于 SKEYID 生成的。2.1.4 抗量子抗量子 SSH 协议协议基于 GM/T 0129-2023 规范进行设计,过程涉及传输层的协议的密钥交换步骤。新增的抗量子算法并不会影响之前 SSH 协议的运行,关键在于发起方与响应方选择哪种密钥交换方式。选择传统的密钥交换方式,按照之前的 SSH 协议进行交互,选择抗量子的密钥交换方式,按照抗量子 SSH 协议进行交互,具体设计如图 2-6所示。发起方与响应方提前拥有传统签名密钥对,传统加密密钥对,抗量子签名密钥对,混合签名证书与混合加密证书,混合签名证书与混合加密证书的格式见 2.1.1。图 2-6 PQC-SSH 协议设计思想:客 户 端 将kex_algorithms设 置 为 抗 量 子keyber-sm2-sm3随SSH_MSG_KEXINIT 服务端,服务端利用 SSH_MSG_KEXINIT 消息进行相应的响应。抗量子密码技术与应用白皮书28 双方利用 SSH_MSG_KEXINIT 消息确定抗量子密钥协商算法后,收到客户端的SSH_MSG_KEX_REQUEST后,除了执行GM/T0129-2023规范中的步骤外,还需要执行Kyber密钥生成操作,生成Kyber临时密钥对(PKS_Kyber,SKS_Kyber),计算SIGS=SIG_SM2(mS)|PQC_Dilithium(mS),其中 mS=random-client|random-server|PKS_Kyber,构造服务端响应消息SSH_MSG_KEX_HYBRID_REPLY|certificate|random-server|PKS_Kyber|SIGS,发送给客户端;客 户 端 收 到 SSH_MSG_KEX_HYBRID_REPLY 后,除 了 执 行GM/T0129-2023 规范中的步骤外,还需要执行 Kyber 密钥封装操作,生成 Kyber密文 ct_Kyber 与共享密钥 ss,计算消息SSH_MAG_KEX_HYBRID|enc(k)|ct_Kyber并将消息发送给服务端;服务端收到 SSH_MAG_KEX_HYBRID 后,除了执行 GM/T0129-2023 规范中的步骤外,还需要对 ct_Kyber 执行 Kyber 密钥解封装操作,生成 Kyber 共享密钥 ss。经过上述步骤,客户端与服务端同时生成了传统密钥 k 与 Kyber 共享密钥 ss,双方计算计算密钥 K=HASH(k|ss),后续所有的派生密钥都是基于 K 生成的。2.2 抗量子密码标准化建议抗量子密码标准化建议2.2.1 现有密码标准体系框架现有密码标准体系框架现有密码标准体系框架由技术维、管理维和应用维三个维度表达,如图 2-7 所示。其中技术维包含密码基础类标准、基础设施类标准、密码产品类标准、应用支撑类标准、密码应用类标准、密码检测类标准和密码管理类标准七大类密码标准,每一大类又细分若干子类;管理维上,目前主要包含国家标准、密码行业标准,未来可能会出现密码团体标准;应用维上,则包含不同的应用领域,如金融行业密码应用、交通行业密码应用、云计算密码应用、物联网密码应用等。抗量子密码技术与应用白皮书29特别地,如果以应用领域划分,可以形成面向不同应用领域的二维密码应用标准体系,包括技术维和管理维,如金融密码应用标准体系、云计算密码应用标准体系等。所有应用领域的密码应用标准体系在技术维和管理维上是一致的,即任何应用领域的密码应用标准体系在技术维上都包含七大类,在管理维上也皆可能存在国家标准、行业标准或团体标准。根据具体密码标准在不同应用领域的适用性,一个密码标准可能会重复出现在不同应用领域的密码应用标准体系之中。在技术维上,七大类密码标准根据具体情况细分为若干子类,从而形成密码标准的技术体系框架,如图 2-8 所示。图 2-7 密码体系标准框架抗量子密码技术与应用白皮书302.2.2 抗量子密码标准规划抗量子密码标准规划密码标准体系不仅是密码行业安全运行的技术标准基础,也是推动行业创新和国际合作的重要驱动力。随着技术的不断进步和安全需求的日益增长,密码标准体系将继续在密码行业的发展中扮演关键角色。但随着量子计算时代的到来,现代密码标准体系面临着严重的威胁,我们需要正确评估量子计算对现有和新兴密码体系抗量子密码技术与应用白皮书31的潜在影响,并及时调整策略,持续完善密码标准体系,密码标准体系的持续优化和严格执行是保障在量子时代密码行业的健康发展。这是一个长期而复杂的过程,需要政府、学术界、工业界的共同努力。密码基础类标准主要对通用密码技术进行规范,它是体系框架内的基础性规范,主要包括密码术语与标识标准、密码算法标准、密码设计与使用标准等。为在现有密码标准体系中支持抗量子密码算法,一方面可能需要增加新的密码算法及应用标准,另一方面可能需要对现有的密码术语与标识标准进行扩展,增加全新的抗量子密码算法相关内容,部分标准如表 2-1 所示。表 2-1 密码基础类标准规划标准类型标准类型现有密码标准现有密码标准修改类型修改类型备注备注密码标识GM/Z 4001 密码术语GB/T 33560 信息安全技术密码应用标识规范修订增加抗量子密码相关术语及应用标识规范密码算法GB/T 32918 信息安全技术SM2 椭圆曲线公钥密码算法新增如:信息安全技术抗量子密码算法密码设计GB/T 35276 信息安全技术SM2 密码算法使用规范GB/T 35275 信息安全技术SM2 密码算法加密签名消息语法规范新增如:信息安全技术抗量子密码算法使用规范、信息安全技术抗量子密码算法加密签名消息语法规范密码管理GB/T 17901 信息技术安全技术密钥管理修订兼容抗量子密码算法密码协议GB/T 38636 信息安全技术 传输层密码协议(TLCP)修订兼容抗量子密码算法基础设施类标准主要针对密码基础设施进行规范,包括:证书认证系统密码协议、数字证书格式、证书认证系统密码及相关安全技术等。表 2-2 列出了基础设施类的部分标准规划。由于抗量子密码算法在密钥长度、签名长度、算法性能等方面与现有密码算法存在差异,现有GM/T 0014 数字证书认证系统密码协议规范、抗量子密码技术与应用白皮书32GB/T 20518 信息安全技术公钥基础设施数字证书格式规范等标准都需要进行修订,以支持抗量子密码迁移的需求。表 2-2 基础设施类标准规划标准类型标准类型现有密码标准现有密码标准修改类型修改类型备注备注证书认证系统密码协议GM/T 0014 数字证书认证系统密码协议规范修订增加支持抗量子密码的协议规范数字证书格式GB/T 20518 信息安全技术公钥基础设施数字证书格式规范修订增加支持抗量子密码的数字证书格式密码产品类标准主要规范各类密码产品的接口、规格以及安全要求。对于智能密码钥匙、VPN、安全认证网关、密码机等密码产品给出设备接口、技术规范和产品规范;对于密码产品的安全性,则不区分产品功能的差异,而以统一的准则给出要求;对于密码产品的配置和技术管理架构,则以 GM/T 0050密码设备管理设备管理技术规范为基础统一制定。为在现有密码标准体系中支持抗量子密码算法,相关的技术要求、接口规范、技术和产品规范等都需要进一步的修订,部分标准如表 2-3 所示。表 2-3 产品类标准规划标准类型标准类型现有密码标准现有密码标准修改类型修改类型备注备注产品的配置和技术管理GM/T 0050 密码设备管理设备管理技术规范修订增加支持抗量子密码产品技术管理规范技术要求GM/T 0028 密码模块安全技术要求修订增加支持抗量子密码模块的安全技术应用接口GB/T 36322 信息安全技术 密码设备应用接口规范修订增加支持抗量子密码的设备接口规范网关GM/T 0023 IPSec VPN 网关产品规范GM/T 0025 SSLVPN 网关产品规范修订增加支持抗量子密码的网关接口规范VPNGM/T 0022 IPSec VPN 技术规范修订增加支持抗量子密码的 VPN 技术规范抗量子密码技术与应用白皮书33GM/T 0024 SSL VPN 技术规范密码应用类标准对使用密码技术实现某种安全功能的应用系统提出要求以及规范,包括应用要求、应用指南、应用规范和密码服务四个子类。为在现有密码标准体系中支持抗量子密码算法,需要将抗量子密码算法与行业应用场景紧密结合,制定出更符合实际场景需求的抗量子密码应用类标准,部分标准如表 2-4 所示。表 2-4 应用类标准规划标准类型标准类型现有密码标准现有密码标准修改类型修改类型备注备注应用要求GM/T 0073 手机银行信息系统密码应用技术要求修订增加支持抗量子密码的应用技术要求应用指南GB/T 32922 信息安全技术IPSec VPN 安全接入基本要求与实施指南修订增加支持抗量子密码模块的应用指南应用规范GM/T 0055 电子文件密码应用技术规范修订增加支持抗量子密码的应用技术规范密码服务GM/T 0109 基于云计算的电子签名服务技术要求修订增加支持抗量子密码的服务技术要求密码检测类标准针对标准体系所确定的基础、产品和应用等类型的标准出台对应检测标准,如针对随机数、安全协议、密码产品功能和安全性等方面的检测规范。为在现有密码标准体系中支持抗量子密码算法,针对抗量子密码算法及相关密码产品,需要就现有的检测规范进行修订,部分标准如表 2-5 所示。表 2-5 检测类标准规划标准类型标准类型现有密码标准现有密码标准修改类型修改类型备注备注密码产品检测GM/T 0008 安全芯片密码检测准则GM/T 0039 密码模块安全检测要求GM/T 0059 服务器密码机检测规范修订新增支持抗量子密码的产品检测要求抗量子密码技术与应用白皮书342.3 抗量子密码产品研发抗量子密码产品研发当前,抗量子密码被各国视为塑造国际竞争新格局的重要组成部分,甚至被列入关键技术与新兴技术清单中。全球范围内加速抗量子密码领域的技术革新与政策响应,多国政府、国际组织积极应对量子计算可能带来的安全挑战,加快开展抗量子密码技术的应用部署。2.3.1 抗量子密码算法实现抗量子密码算法实现新一代抗量子密码产品体系通过支持安全的抗量子密码算法开展,对关键密码产品实施替换或者升级,最终实现从密码芯片到密码设备、从密码软件系统到密码基础设施的全方位抗量子密码产品化。1 抗量子密码算法优化及实现抗量子密码算法优化及实现在我国抗量子密码算法标准正式发布前,可选择安全性经过充分评估的抗量子密码算法,如 NIST 抗量子密码标准算法 ML-KEM(Kyber)、ML-DSA(Dilithium)及 SLH-DSA(SPHINCS )以及即将发布的标准草案 FALCON 算法。其中 Kyber、Dilithium 都是基于格的密码算法,实现机制类似。格密码体制的核心计算是多项式乘法运算,快速数论变换(Number TheoreticTransform,NTT)可高效实现多项式运算,提高格密码方案的计算效率。NTT 的实现算法通常用蝶形结构的迭代算法代替 NTT 的递归版本,使用 Cooley-Tukey 蝶形算法作为正向变换,使用 Gentleman-Sande 蝶形算法作为逆向变换,避免位反转的预计算。根据目标 CPU 平台的不同,位反转的预计算可以提高计算速度。Kyber的密钥生成和封装解封装过程、Dilithium 的密钥生成和签名验签过程均有大量以NTT 加速的多项式乘法运算。使用 NTT 将多项式从一般域转换到频域,并将计算结果从频域准换回一般域完成多项式乘法的加速。为实现算法实现的优化,在基于低功耗处理器 ARM-M,通过改进 Barrett 约减过程需要的时钟周期、减少Montgomery 约减算法的周期、在采用低次多项式乘法时应用懒约减等方法实现了更高效的模约减、更优化的低次多项式乘法和更积极的层合并,实现了 Kyber 和Dilithium 算法的优化。基于哈希的抗量子数字签名算法 SPHINCS 密钥对短签名长,可灵活替换杂凑算法,当采用不同的杂凑算法实例化时,所表现出的性能不同,一些资源受限的平抗量子密码技术与应用白皮书35台无法容纳全部基于杂凑的签名,针对这种情况,可对 SPHINCS 应用流式签名技术,将签名分解为几个较大的部分并分别流式传输,在内存资源不足的情况下实现密钥生成、签名生成和签名验证。基于多核平台设计 SPHINCS 及其内部结构WOTS 和 HORST 的并行化版本,通过应用循环展开、内联函数或宏、统一数据表示、内联 PTX 汇编(仅 GPU 适用)、合并访问(仅 GPU 适用)及常量和共享内存(仅 GPU 适用)等优化技术,也能够实现 SPHINCS 的优化。FACLON 算法具有公钥长度和签名长度短、但算法设计复杂的特点,为实现FALCON 在内存资源受限的设备上运行,可通过快速傅里叶采样算法和生成FALCON 树的算法流程优化算法,一方面,将快速傅里叶采样算法改为非递归实现,另一方面,在调用 FALCON 树的叶子节点时实时生成值,并将中间值保存,最终实现 FALCON 需要 40kB RAM。基于 GPU 并行生成 FALCON 密钥树,利用奇偶线程联合控制的 SIMT 并行模式和无中间变量的直接计算模式,提高运算速度并减少资源占用,从而实现 FALCON 算法的优化。中国密码学会举办的全国密码算法设计竞赛公钥密码算法有三个抗量子密码算法获得一等奖,分别是基于格的公钥签名算法 Aigis-sig、基于格的公钥加密算法Aigis-enc、基于格的公钥加密算法 LAC.PKE 等。Aigis-enc 基于变种的 LWE 困难问题,Aigis-sig 基于一个变种的 SIS 困难问题和 LWE 困难问题,两个算法在经典随机预言机模型和随机预言机模型下可证明选择密文攻击安全,具有较短的公钥和密文长度,且密钥生成、密钥封装和解封装算法高效。LAC.PKE 的主要运算是多项式乘法,但它不支持 NTT,而是采用通用优化版本和基于 AVX2 的版本优化多项式乘法,并通过字节级模数减小密文和密钥的大小。2 基于抗量子密码算法的分布式协同签名协议基于抗量子密码算法的分布式协同签名协议分布式协同签名能够解决手机、平板等移动终端设备缺少密码硬件部件的现状。在量子时代下,通过设计基于抗量子密码算法的分布式协同签名协议,将用户私钥拆分成两个分量分别存储在移动终端和远程服务器,每个分量均不泄露私钥的任何信息,通过两方之间的安全协同计算实现用户签名。分布式协同签名基于公钥加密技术,允许多个签名者合作生成统一的数字签名。此类签名的核心在于私钥的安全管理,即私钥被分为多个部分,分别存储在不同的节点上,以确保私钥的安全性。在签名过程中,每个签名者使用自己持有的私钥部抗量子密码技术与应用白皮书36分对信息进行处理,然后通过协作生成最终的签名。具体签名过程如下:每个签名者生成自己的私钥部分,并计算出相应的公钥;通过协作,各签名者的部分私钥共同生成一个统一的签名;利用一个可信的协同签名服务器协调签名者之间的合作,服务器负责验证签名者的身份和签名的合法性;协同签名服务器将签名数据通过多方签名算法进行处理,将每个签名者的数字签名合并成一个统一的协同签名。3 抗量子密码算法与现有商密算法性能对比抗量子密码算法与现有商密算法性能对比为了促进抗量子密码算法在实际场景中的广泛应用,本白皮书基于测试平台Intel(R)Core(TM)i9-10920X CPU 3.50GHz 12核 24线程,针对抗量子密码算法、RSA1024-2048 与 SM2 进行性能对比。表 2-6 就 Kyber、Aigis-enc、LAC.PKE 与SM2 算法在公私钥长度、报文长度等维度进行对比。表 2-6 加密算法公私钥及报文长度对比(Bytes)Kyber-512公钥800私钥1632报文(密文 分享的密钥)768 32=800Kyber768公钥1184私钥2400报文(密文 分享的密钥)1088 32=1120Kyber-1024公钥1568私钥3168报文(密文 分享的密钥)1568 32=1600Aigis-enc-param1公钥672私钥928报文(密文 分享的密钥)672 32=704Aigis-enc-param2公钥896私钥1152报文(密文 分享的密钥)992 32=1024Aigis-enc-param3公钥1472抗量子密码技术与应用白皮书37私钥1984报文(密文 分享的密钥)1536 64=1600LAC-128公钥544私钥512 544=1056报文(密文 分享的密钥)704 16=720LAC-192公钥1056私钥1024 1056=2080报文(密文 分享的密钥)1352 32=1384LAC-256公钥1056私钥1024 1056=2080报文(密文 分享的密钥)1448 32=1480SM2公钥64私钥32报文(密文)消息字节长度 96如表 2-7 所示,对 Dilithium、Aigis-sig、SM2、RSA 签名算法在公私钥长度、报文长度开展对比。注意 RSA 的 e 固定为 65537。表 2-7 签名算法公私钥及报文长度对比(Bytes)Dilithium-2公钥1312私钥2528报文(签名)2420Dilithium-3公钥1952私钥4000报文(签名)3293Dilithium-5公钥2592私钥4864报文(签名)4595Aigis-sig-param1公钥1056私钥2448抗量子密码技术与应用白皮书38报文(签名)1852Aigis-sig-param2公钥1312私钥3376报文(签名)2445Aigis-sig-param3公钥1568私钥3888报文(签名)3046SM2公钥64私钥32报文(签名)64RSA-1024公钥(n)128私钥(d)128报文(签名)128RSA-2048公钥(n)256私钥(d)256报文(签名)256针对 Kyber、SM2、Aigis-enc、LAC.PKE 密钥封装算法在密钥生成、加密、解密阶段的性能进行对比,如表 2-8、表 2-9 所示。表 2-8 密钥封装算法性能(TPS)阶段Kyber-512Kyber-768Kyber-1024SM2密钥生成11878409203397472071288476加密1138045799078616176124299解密17325001132379835822113197表 2-9 国内抗量子密钥封装算法性能阶段Aigis-enc-param1Aigis-enc-param2Aigis-enc-param3LAC-128LAC-192LAC-256密钥生成7629936140155087931077443816492596690加密669076518569414510693127476297323806解密731350571427421283492040329210194968抗量子密码技术与应用白皮书39注:算法性能在 Intel(R)Core(TM)i9-10920X CPU 3.50GHz 12 核 24 线程环境中测试获得。针对 Dilithium、SM2、RSA、Aigis-sig 签名算法在密钥生成、签名、验签阶段的性能进行对比,如表 2-10、表 2-11 所示。表 2-10 签名算法性能(TPS)阶段Dilithium-2Dilithium-3Dilithium-5SM2RSA-1024RSA-2048密钥生成48475329302818758710906845949828861签名17300410977692744816228107511682验签490627305365194843313769670469201618表 2-11 国内抗量子签名算法性能(TPS)阶段Aigis-sig-param1Aigis-sig-param2Aigis-sig-param3密钥生成399476257328162919签名15479714624871575验签4401542851221880852.3.2 抗量子密码产品体系抗量子密码产品体系抗量子系列密码产品体系如图 2-8 所示,包括抗量子密码芯片、抗量子密码卡、抗量子密码机、抗量子安全网关、抗量子 UKEY、抗量子 IC 卡、抗量子密钥管理系统、抗量子数字证书认证系统等。图 2-8 抗量子密码产品抗量子密码技术与应用白皮书40密码安全芯片是用于处理和存储敏感信息,并提供高级安全功能的集成电路芯片。它集成了我国商用密码标准算法中的对称密码算法、非对称密码算法与杂凑算法,同时支持国际通用的密码算法。现有密码安全芯片所支持的密码算法无法抵抗量子攻击,存在较大的潜在风险。因此抗量子密码安全芯片的研发应满足以下几点。抗量子安全性抗量子安全性:抗量子密码芯片同时支持能够抵抗量子计算攻击的密码算法和现有商密算法,确保抵抗现代计算机的攻击和抵御未来可能出现的量子计算攻击,具有更长期的安全性保障。性能与效率性能与效率:抗量子密码芯片在提供强大的安全性的同时,还要兼顾在实际应用中的性能和效率,确保其可以在各种硬件平台上高效运行。兼容性兼容性:能够与现有的安全基础设施和网络通信协议兼容,以便于在不影响现有系统结构的情况下进行部署和升级。标准与认证标准与认证:抗量子密码芯片需要符合国际标准和密码学的最新研究成果,确保产品的安全性和可信度得到公认和认证。可部署性与集成性可部署性与集成性:易于集成到现有的硬件和软件平台中,能够满足不同行业和应用场景的需求,如云计算、物联网和金融等领域的安全需求。密码卡作为基础密码设备,适用于各类密码安全应用系统,可提供高速的、多任务并行处理的密码运算,满足应用系统数据的数字签名和数据加密的要求,同时提供安全、完善的密钥管理机制。密码机是一种专门设计用来进行加密和解密操作的设备或系统,支持加解密、密钥管理安全协议及标准等。密码软件系统集成密码学功能和安全控制机制,用于保护数据的安全性,确保数据在传输和存储过程中不被未经授权的访问者读取、篡改或破坏。现有绝大多数产品仅支持传统密码算法,存在被量子计算攻击的潜在风险。抗量子密码卡、抗量子密码机、抗量子密码系统作为可直接面向最终用户业务系统的产品,应具备以下特性:支持抗量子密码算法:使用抗量子计算攻击的密码算法,如基于格密码学、哈希函数、代码签名或超奇异同态加密等方案。这些算法能够在量子计算机环境下提供足够的安全性保障。密钥管理:为了确保系统安全,利用现有国密算法和抗量子密码算法实现密钥管理,包括生成、分发、存储和更新密钥,确保密钥在传输和使用过程中不易被破解。抗量子密码技术与应用白皮书41 密码运算功能:提供对数据进行加密和解密的功能,通过支持现有商密算法和抗量子密码算法来保护数据的机密性,提供数字签名功能,支持现有商密算法和抗量子签名算法来验证数据的完整性。安全协议和通信:采用现有商密算法和抗量子密码算法,设计和实施可支持抗量子密码的安全协议,保证系统中数据的传输过程中不易被窃听或篡改。性能和效率:考虑到实际应用中的性能需求,抗量子密码产品应在提供高安全性的同时,尽可能保持高效率和低延迟。可扩展性和兼容性:支持平滑迁移,能够与现有的软件和硬件系统兼容,并具备足够的扩展性,以应对未来的业务增长和技术进步。抗量子密码技术与应用白皮书423 行动篇行动篇“知行合一知行合一。”-传习录传习录卷上卷上抗量子密码技术与应用白皮书43“为者常成,行者常至。为者常成,行者常至。”-晏子春秋晏子春秋内篇内篇杂下杂下量子计算的推陈出新致使其发展进程体现出极大的不确定性。我们无法准确预知密码分析相关的量子计算机何时可用,但可以肯定的是,现有依存于如 RSA、ECC 等经典密码的产品、协议和服务均可能处于风险之下。目前需要思考的课题是:当那一天来临时,我们如何做到临危不乱、从容应对?执行抗量子密码迁移的工作目标,即是将基于传统的密码安全体系,有序、平稳、分阶段、按计划过渡到量子安全密码体系。3.1 抗量子密码迁移面临的挑战抗量子密码迁移面临的挑战抗量子密码迁移是一项复杂的系统工程。组织在策划抗量子密码迁移的活动时,不可避免地会引发对诸多问题的思考:组织人员是否熟悉抗量子密码相关技术与标准化进展?组织内哪些系统需要迁移?如何平稳有序迁移?迁移效果如何评价?迁移路线是否符合政策要求、具有技术可行性、有标准规范可遵循、无专利风险?是否协同供应链一同完成迁移准备?产品成熟度如何、是否满足功能、性能、安全、可靠性、互操作要求?从项目管理角度看,组织抗量子密码迁移也受到成本预算与投入资源的约束,亦应符合组织的管理文化与内部控制要求。行业规划抗量子密码迁移活动是更为复杂的社会工程,其影响更为深广,需要国家政策、产业链各方的协同。抗量子密码迁移面临的挑战主要体现在:信息系统抗量子密码迁移涉及到多个层面的产品与服务。组织可能不了解公钥密码技术的应用范围和功能依赖性。信息系统的密码设计可能不具备敏捷性。向抗量子密码过渡进程中,需考虑组织内部及组织间的互操作性。3.1.1 抗量子密码迁移时不我待抗量子密码迁移时不我待量子计算加剧网络基础设施安全风险。量子计算将从根本上改变现有网络安全威胁模型,并对网络基础设施安全保护带来极大挑战。其一,“追溯解密”型如 SNDL抗量子密码技术与应用白皮书44(Store Now and Decrypt Later)攻击意味着一旦大型量子计算机可用,恶意行为者将可解密此前截获的所有加密数据或通信。为此,若加密数据保密期超过 10 年且攻击者可获取密文,应立即采取行动保护数据安全。推出新的密码系统需花费大量时间和精力。若在攻击者可获取密码分析相关量子计算机(CryptanalyticallyRelevant Quantum Computer,CRQC)时,信息系统的重要数据均面临直接威胁。其二,随着量子计算的高速发展,在多项式时间内解决经典密码学依赖的传统困难性问题有望成为可能。有研究乐观认为,256 比特的椭圆曲线算法可以在 9 小时内使用 126133 薛定谔猫(态)量子比特位的量子计算机完成破解;2048 位 RSA 可以通过13436 量子比特位的量子计算机在 177 天内完成破解。在“足够规模且容错性高”(Large and Fault-tolerant,LFT)量子计算机研发出来之前,推动抗量子密码转型有其现实必要性与紧迫性。从目前态势观察,对量子计算技术主权的争夺日益激烈。美国、欧盟、德国、加拿大、澳大利亚、日本、韩国等均将量子技术发展作为重要战略任务,多个国家与供应链参与者均对量子计算机进行大规模投资研发。该领域研发进展并非全盘公开可见,世界首台功能齐全的大型量子计算机很可能不会公开宣发,实际进展可能远远领先于公开媒体报道。因此,政策制定者和系统所有者应立即着手准备。2024年 8 月,美国国家标准与技术研究院(NIST)正式发布三项抗量子密码算法标准ML-KEM(FIPS 203)、ML-DSA(FIPS 204)及 SLH-DSA(FIPS 205),规划抗量子密码迁移活动时不我待。3.1.2 密码体制变革导致工程复杂密码体制变革导致工程复杂从密码学的发展历程看,经历了从 DES 到 3DES 和 AES、SHA-1 到 SHA-256、RSA-1024 到 RSA-2048 和 ECDSA 的变化,进而驱动产业升级工程的规划与实施。随着 SM2、SM3、SM4 等商用密码算法的推出,国内信息系统也启动并逐步完成了向 SM 系列密码算法迁移的工程。部署当前的公钥密码基础设施花费了 10 余年时间,从 SM 系列密码算法出台到规模化应用,也经过了 10 年历程。因密码技术的广泛应用,任何一次密码体制的变革,均对产业工程实践产生重大的影响。抗量子密码迁移则更具长期性与复杂性。抗量子密码迁移的首要挑战在于技术复杂性。量子计算的潜在威胁迫使密码学领域从传统的基于数学难题(如大数分解和离散对数问题)的密码体制向能够抵抗抗量子密码技术与应用白皮书45量子计算攻击的量子安全密码体制转变。这一转变不仅仅是替换算法,还涉及到密码协议、密码方案、密码组件及密码基础设施的全面升级。抗量子密码算法的研究仍处于活跃阶段,尽管 Kyber、Dilithium、SPHINCS 等,于 2024 年 8 月被 NIST 正式标准化,后续可能出台新的算法标准;我国抗量子密码算法正在标准化进程中。算法的选择和标准化过程需要广泛的测试与验证,以确保其安全性和实用性。抗量子密码迁移要求升级现有的公钥基础设施,包括证书颁发机构(CA)、密钥管理系统等。这些基础设施的升级不仅涉及硬件设备的更换,还包括软件系统的改造和测试,以确保新旧系统的兼容性和平稳过渡。升级过程的复杂性提高了执行难度及工程周期。抗量子密码迁移还涉及对现有通信协议和应用系统的修改。由于抗量子密码算法在密钥大小、计算效率等方面与传统算法存在显著差异,现有的协议和应用可能需要重新设计或修改,以确保与抗量子密码算法的适配性。综上所述,抗量子密码迁移是一项极具技术复杂性与工程难度的任务,需要考虑基础设施与协议升级、实施与部署及安全与合规性等问题,并面临政策、标准、产业和用户教育等多方面的挑战。3.1.3 组织对密码依赖性了解不深组织对密码依赖性了解不深规划抗量子密码迁移的第一步是确定当前公钥密码所处位置及使用目的。组织考虑将其信息系统向抗量子密码迁移,首先需要明确使用密码技术保护的哪些系统需要考虑迁移、如何确定迁移优先级。由于缺乏对密码依赖性的全面了解,组织难以确定在何处及出于何种目的使用了量子脆弱性(Quantum-vulnerable)的密码功能与服务,从而导致缺乏全局可见性。(1)组织对信息系统密码依赖性的认知不足。公钥密码已经深入集成到计算机和通信硬件、操作系统、应用程序、数据库、通信协议、关键信息基础设施和访问控制机制中。然而,很多组织并不清楚这些组件中哪些嵌入了密码技术,以及如何在各种情况下使用这些密码技术。这种认知不足导致在规划抗量子密码迁移时,组织难以全面识别需要替换的密码算法和组件,也无法确定迁移的优先级。(2)公钥密码应用的广度和范围未知。公钥密码在信息技术和操作技术系统中有着广泛的应用,但许多系统并没有关于这些密码术在哪里使用的详细清单。这抗量子密码技术与应用白皮书46使得组织难以确定抗量子算法需要在何处以及以何种优先级取代当前的公钥系统。公钥密码通常作为系统的一部分被嵌入,而不是作为一个独立的、易于识别的组件,这增加了识别的难度。由于缺乏全面的密码使用情况清单,组织可能无法准确评估迁移的复杂性和成本。(3)信息系统密码使用缺乏文档说明。许多系统和组件的供应商没有提供足够的文档或工具来帮助用户理解密码技术的使用情况。组织可能不清楚其产品和服务的哪些部分依赖于公钥密码,或者这些密码技术是如何被集成和使用的。供应链中的不透明性,可能导致组织无法准确评估其对公钥密码技术的依赖程度,以及在量子攻击面前的脆弱性。与关键合作伙伴的依赖关系需要在迁移过程中进行跨组织的协调和沟通。因此,组织需要开发有效的工具发现和清点现有基础设施与信息系统中的公钥密码使用状况,确定迁移的紧迫性、合理资源分配,以便更好地规划和执行向抗量子密码的迁移。3.1.4 密码应用设计缺乏敏捷性密码应用设计缺乏敏捷性抗量子密码迁移不仅仅是替换密码算法,还包括将密码组件、密码协议、密码方案、密码基础设施等更新为量子安全的密码实现。密码功能与服务敏捷性(Cryptographic Agility,Crypto-Agility)是一种设计特征,使得未来在密码算法和标准更新时,无需修改或替换相关的基础设施,从而可使信息系统从当前密码体制平滑迁移到新的密码体制。密码功能与服务敏捷性是指信息系统在面对新的安全威胁、技术变革或法规要求时,能够迅速、灵活地调整其密码算法、协议和密钥管理策略的能力,这种能力确保了信息系统能够适应不断变化的安全环境,并保持其安全性。密码分析相关量子计算机(CRQC)使现有的经典密码算法变得不再安全,信息系统需要具备快速迁移到量子安全密码算法的能力,新的量子安全密码算法也在不断改进与推出。在量子计算时代,密码功能与服务敏捷性变得尤为重要。目前,许多经典密码应用在设计时并未充分考虑密码功能与服务敏捷性。这些应用往往使用固定的密码算法和协议,且这些算法和协议被固化集成到系统中,难以更改或升级。此外,一些应用系统在集成密码功能与服务时,也未采用模块化的设计方法,导致在需要替换密码算法时,需要对整个系统进行大规模的修改。抗量子密码技术与应用白皮书47缺乏密码功能与服务敏捷性的具体表现为:(1)密码算法实现固化、不灵活。许多经典密码应用在设计时将密码算法被固化集成到系统中,这意味着一旦密码算法被破解或不再安全,整个系统需要重新设计和部署,这是一项耗时且成本高昂的工作。(2)密码协议和组件升级困难。许多经典密码应用还依赖于特定的密码协议和组件。这些协议和组件在设计时往往没有考虑到未来的升级需求,导致在需要迁移到新的密码算法时,整个系统架构需要进行大规模调整。(3)密码模块化设计程度低。系统可能没有采用模块化设计,导致密码功能的集成和替换不是独立的,而是与系统的其他部分紧密耦合。缺乏密码功能与服务敏捷性,导致抗量子密码迁移活动面临诸多困难。由于经典密码应用往往使用固定的密码算法,且这些算法被深度集成到系统中,因此替换为量子安全密码算法需要进行大量的代码修改和测试工作。缺乏密码功能与服务敏捷性可能导致抗量子密码迁移的成本显著增加,因为需要对现有系统进行大规模的重构或重新设计;系统升级和迁移可能需要更长的时间来完成;在迁移过程中,新旧算法之间的兼容性问题可能导致系统中断或数据丢失。(1)系统架构的限制。一些信息系统的架构并不支持灵活的密码算法替换。如一些系统可能使用特定的硬件安全模块(HSM)来执行密码算法,在迁移过程中可能需要更换硬件或重新设计系统架构。(2)高昂的迁移成本。由于系统设计的限制,从经典密码系统迁移到量子安全密码系统需要大量的时间和资源。高昂的迁移成本可能使得一些组织在面临量子计算威胁时犹豫不决,甚至选择忽视这一威胁。(3)业务连续性影响。系统迁移过程中的中断可能影响业务连续性,对组织的运营和声誉造成负面影响。为了克服这些挑战,组织需要采取积极的措施,包括重新评估现有系统的密码体系设计,采用更加灵活和模块化的架构,以确保其信息系统能够适应未来的技术变革和安全需求。3.1.5 互操作性与依存性影响迁移进程互操作性与依存性影响迁移进程互操作性(Interoperability)指的是不同系统或组件之间能够相互通信和协作的能力,组件间依存性(Component Dependency)指的是系统中各个部分之间的依抗量子密码技术与应用白皮书48赖关系。互操作性和组件间依存性共同作用于密码系统的设计和实施中,它们确保系统的各个部分能够协同工作。互操作性和组件间依存性影响抗量子密码迁移进程。首先,缺乏标准化的密码接口和协议可能导致不同组件之间的互操作性差。在迁移过程中,需要确保所有组件都能够支持新的密码算法,并保持彼此之间的通信和互操作。这意味着需要大量的协调和测试工作;其次,组件间的依存性也可能导致迁移过程的复杂性增加。由于系统中的各个组件是相互依赖的,因此在替换密码算法时,可能需要同时更新相关的协议、方案和基础设施。这种全面的升级需要较长时间才能完成。为了确保所有组件都能够支持新的密码算法并保持互操作,同样需要进行大量的协调和测试工作,增加了迁移的复杂性。互操作性与组件间依存关系增加了抗量子密码迁移过程中的难度和复杂性,并可能导致业务延迟、中断或其他安全风险。因此,在规划和实施迁移过程时,需要充分考虑这些因素,并制定合理有效的策略和措施来应对这些挑战,最小化对业务运营的影响。可行策略包括:全面评估。在决定替换算法之前,需要对依赖于被替换算法的系统、应用程序、协议以及其他基础设施进行全面的评估。开发迁移剧本(Playbook)。制定一个详细的迁移剧本,需考虑所有相关因素,包括算法特性、系统组件、依赖关系和潜在的风险,并发现和记录依赖于被替换算法的基础设施、系统、应用程序、协议等。增强密码功能与服务敏捷性。通过设计改进和架构调整,增强信息系统的密码功能与服务敏捷性,使其能够更容易地适应新的加密原语和算法,尽量避免因算法标准变化而对系统进行重大更改。3.2 抗量子密码迁移策略与路径抗量子密码迁移策略与路径3.2.1 制定量子制定量子安全安全战略与行动纲要战略与行动纲要3.2.1.1 国外国外抗量子密码抗量子密码的政策导向的政策导向各国或组织高度重视量子科技的重要意义,并制定国家层面的量子技术战略或行动计划,以促进在量子技术的领导力,并加强抗量子密码的研究和部署。抗量子密码技术与应用白皮书49(1)美国国家安全战略与国家安全备忘录2023 年 3 月美国发布 国家安全战略(National Cybersecurity Strategy),其“战略目标 4.2”明确研发投资将集中在微电子、量子信息系统和人工智能三个领域;“战略目标 4.3:为美国未来的抗量子做准备”提出:量子计算有可能打破目前使用的一些最普遍的加密标准。必须优先考虑并加快投资,广泛更换容易被量子计算机破坏的硬件、软件和服务,从而保护信息免受未来的攻击。2022 年 8 月国家安全备忘录(促进美国在量子计算方面的领导地位,同时降低易受攻击的密码系统的风险)建立了一个将国家密码系统及时过渡到可互操作的抗量子密码系统的过程。联邦政府将优先考虑将脆弱的公共网络和系统过渡到抗量子密码的环境,并制定补充缓解策略,以在面对未知的未来风险时提供加密的灵活性。私营部门应遵循政府的模式,为未来的量子时代做好网络和系统的准备。(2)英国国家量子战略2023 年 3 月,英国科技、创新与技术部发布 国家量子战略(National QuantumStrategy)。提出了“到 2033 年,英国将成为世界先进的量子经济体”的目标。在“2.2.4.3 减轻与量子相关的风险”中指出:量子计算将威胁到现有公钥密码学安全,对未来国家网络安全构成风险。国家网络安全中心发布关于向量子安全密码学过渡的指南,对关键信息和服务采取了应对措施,并与国际合作伙伴合作,确保英国向量子安全密码学过渡的计划和指南保持一致。各种管理加密基础设施的组织都应将量子安全过渡纳入其长期计划,并确定过渡高优先级系统。(3)德国量子技术行动计划2023 年 4 月,德国联邦政府通过量子技术行动计划,该行动计划作为联邦政府 2023-2026 年量子技术活动的新战略框架,目的是使德国成为量子技术的世界领导者。该计划要求联邦政府将通过抗量子密码和量子保密通信,确保政府行政部门、安全机构和国防的数据安全。为此将推动德国向抗量子密码迁移;推进抗量子密码系统研发,将抗量子密码集成到安全解决方案中;促进量子密钥分发作为抗量子密码和量子通信的补充技术,并通过标准确化保障质量;制定抗量子密码迁移的战略;规划高安全领域向抗量子密码的迁移。(4)法国量子技术国家战略2021 年 1 月,法国发布量子技术国家战略,以掌握如量子加速器、量子抗量子密码技术与应用白皮书50模拟器、量子计算机、量子计算软件、量子传感器、量子通信、抗量子密码等关键量子技术,并规划向抗量子密码过渡期间抗量子算法和当前机制共存的思路。在创新生态建设方面强调技能培训和人才培养,开展不同级别的培训,在工程学院设置量子物理学、量子算法和工程学相结合的跨学科课程,在技术学院培养量子技术人员。(5)加拿大国家量子战略2023 年 1 月,加拿大宣布启动国家量子战略,扩大其在量子研究方面的现有全球领先地位,推动量子技术发展。该战略立足于量子计算软硬件、量子通信、量子传感器,使加拿大具备国家安全量子通信网络和抗量子密码能力。要通过国家安全量子通信网络和抗量子密码计划,努力确保现有和未来系统在遭受威胁前得到保护,鼓励部署抗量子密码技术,致力发展可保护高度敏感信息的国家量子通信网络。(6)澳大利亚国家量子战略2023 年 5 月,澳大利亚工业、科学和资源部发布国家量子战略,旨在使澳大利亚在 2030 年成为全球量子产业的领导者,提高国家的经济竞争力。提出了5 个关键主题和相应战略行动,包括高素质劳动力队伍建设、标准和框架、量子生态建设等。该战略指出,量子技术会影响国家安全,包括网络安全。应营造值得信赖、合乎伦理道德、具有包容性的量子生态系统。(7)日本量子未来社会愿景2022 年 4 月,日本发布量子未来社会愿景,以加快量子技术在日本的发展。该战略提出在量子计算机、量子软件、量子安全网络、量子测量和传感以及量子材料等技术领域进行研究和产业开发。量子安全和量子网络方面,强调建设量子密码学通信测试平台和使用示范,开发如抗量子密码等量子和经典技术相结合的安全技术。(8)韩国量子科学技术战略2023 年 6 月,韩国发布韩国量子科学技术战略,作为国家量子科技中长期发展愿景与综合发展战略,提出了到 2035 年成为全球量子经济中心的目标。在促进国防和安全一体化方面,该战略指出:为应对现有密码系统因量子计算机的发展而崩溃的情况,韩国需要启动向下一代密码系统过渡的计划,并开发韩国的抗量子密码算法。抗量子密码技术与应用白皮书51(9)欧盟委员会抗量子密码迁移的协同实施路线图建议2024 年 4 月,欧盟委员会发布抗量子密码迁移的协同实施路线图建议(Recommendation on a Coordinated Implementation Roadmap for the Transition toPost-quantum Cryptography),鼓励成员国制定统一战略,确保向抗量子密码的协调和同步迁移,包括明确的目标、关键里程碑和时间表,以实现保护数字及其他关键信息基础设施的目的。该建议要求成立专门机构,推动向抗量子密码的迁移。抗量子密码分组应考虑采取适当、有效和适度的措施制定“抗量子密码迁移的协同实施路线图”,为产业制定迁移计划提供指导依据,也确保跨行业的互操作性。为有效向抗量子密码迁移,路线图应提供需要采取的行动清单,包括对抗量子密码算法的考虑,为不同阶段要达到的里程碑制定时间表,同时考虑各阶段的相互依存关系及参与的利益相关方。3.2.1.2 我国抗量子密码发展的战略思考我国抗量子密码发展的战略思考2020 年 10 月 16 日,中共中央政治局就量子科技研究和应用前景举行第二十四次集体学习。中共中央总书记习近平在主持学习时强调,要充分认识推动量子科技发展的重要性和紧迫性,加强量子科技发展战略谋划和系统布局,把握大趋势,下好先手棋。2021 年 3 月国家发布 国民经济和社会发展第十四个五年规划和 2035 年远景目标纲要,在“第四章 强化国家战略科技力量”、“第九章 发展壮大战略性新兴产业”中指出,要在量子信息等前沿科技和产业变革领域,谋划布局一批未来产业;在“第十五章 打造数字经济新优势”中提出,要加快布局量子计算、量子通信等前沿技术。量子科技发展具有重大科学意义和战略价值,是一项对传统技术体系产生冲击、进行重构的重大颠覆性技术创新,量子计算必将引发新一轮技术变革和激烈竞争。积极研发抗量子密码和敏捷部署技术,主动应对量子计算安全威胁,具有重要的现实意义。聚焦量子保密通信和抗量子密码等前沿技术,制定国家量子安全战略与行动纲要,有助于推动科技创新,协调资源,加快发展量子安全技术,对保障国家数字经济安全具有非常重要的作用。通过国家行动计划,抢占国际竞争制高点,构筑发展抗量子密码技术与应用白皮书52新优势,有利于提升推动经济社会的安全运行,提升国家在全球科技竞争中的地位。应通过国家量子安全战略及顶层设计,通过财力支持、人才赋能、统筹协调、产业联动等多方位支撑国家抗量子密码迁移的进程。制定国家量子安全战略或行动纲要的意义在于:应对量子计算的威胁。量子计算的出现对传统密码体系构成了前所未有的威胁,制定国家量子技术战略是应对这一安全挑战、保障国家信息安全的关键举措。细化实施路径。国家量子安全战略或行动纲要明确发展方向和重点任务,为量子保密通信与抗量子密码的发展,提供了宏观指导和行动路径措施,明确了各项任务的时间表、路线图和责任主体,确保战略目标的顺利实现。促进产学研用融合。量子安全技术需要产学研用各方的紧密合作和协同创新。制定行动纲要可以促进各方之间的交流和合作,推动科技成果的转化应用。加强资源配置。量子安全技术研究需要大量的资金投入和资源配置。制定行动纲要可以明确资源配置的方向和重点,优化资源配置结构,提高资金使用效率,确保抗量子密码领域的持续投入和稳定发展。通过设立专项基金、建设重点实验室等措施,为抗量子密码研究提供充足的资金和资源保障。促进抗量子密码技术体系建设。制定国家量子安全战略或行动纲要,将推动我国抗量子密码标准化进程,加强与国际标准组织的合作和交流,提升我国在抗量子密码领域的国际影响力和话语权。通过制定统一的技术标准和规范,推动抗量子密码技术在不同领域和场景下的广泛应用和互操作。同时,加强抗量子密码技术的安全性和可靠性评估工作,确保其在实际应用中的稳定性和可靠性。制定国家量子安全战略或行动纲要,将促进我国抗量子密码的理论研究、技术突破及应用创新,为向抗量子密码的迁移奠定良好的技术支撑与生态环境。3.2.2 抗量子密码迁移目标与策略抗量子密码迁移目标与策略3.2.2.1 迁移目标迁移目标抗量子密码技术与应用白皮书53抗量子密码迁移工作,即将基于传统的密码安全体系过渡到量子安全密码标准体系。抗量子密码迁移旨在确保现有密码安全体系能够有效抵御未来量子计算攻击,通过有序、平稳、分阶段、按计划的过渡,将传统密码标准体系逐步升级为量子安全密码标准体系,以保障关键信息基础设施与重要领域信息系统的长期安全。3.2.2.2 迁移策略迁移策略2021 年 5 月,欧盟网络安全局(ENISA)发布抗量子密码:当前状态和量子 风 险 缓 释 报 告(Post-quantum Cryptography:Current State and QuantumMitigation)。该报告提出了通过“欧盟量子旗舰计划”和欧盟网络安全战略进行战略部署、参与国际抗量子密码算法标准化、立法支持、过渡期间采用结合经典密码方案和抗量子密码的混合实现方案等应对策略。2022 年 10 月,欧盟网络安全局(ENISA)发布抗量子密码整合研究(Post-quantum Cryptography-IntegrationStudy)报告,作为 2021 年 5 月抗量子密码:现状与量子迁移的后续研究。报告阐述了如何将抗量子密码集成到如 TLS、IPsec 等安全协议中、及围绕抗量子密码设计新协议的可能性。2024 年 8 月,NIST 正式发布三项抗量子密码算法标准 ML-KEM(FIPS 203)、ML-DSA(FIPS 204)及 SLH-DSA(FIPS 205)。考虑抗量子密码国际标准化进展,结合我国抗量子密码研究及产业需求现状,我们提出如下抗量子密码迁移策略:(1)优先级策略组织向抗量子迁移,需要明确使用了易受量子计算攻击的密码技术的信息资产清单,根据信息资产的重要程度及资产间依存关系,确定迁移顺序;与供应链协调,制定抗量子密码迁移计划,并逐个制定并试点实施具体迁移方案。同时,通过测试与监控,评价迁移效果以改进迁移方案。优先级策略是抗量子密码迁移的关键。由于不同系统和资产面临的量子计算威胁程度各异,迁移工作应首先关注高价值、高风险的目标。通过风险评估,识别出最易受量子计算攻击的密码算法和资产,评估迁移技术可行性及影响,优先进行迁移。迁移次序安排也应考虑业务连续性和系统复杂度,迁移工程实施应确保关键服务在迁移过程中不受影响。(2)密码功能与服务敏捷性设计策略抗量子密码技术与应用白皮书54密码功能与服务敏捷性策略强调密码系统变更的灵活性。虽然 NIST 首批抗量子密码算法标准已发布,但后续还会出台新的算法标准,我国抗量子密码算法尚处于标准化过程中。在迁移过程中,不仅要替换密码算法,还涉及密码协议、密码方案、密码组件及基础设施的更新机制,需设计可配置的密码技术架构,便于未来算法升级和替换。同时,制定密码系统的更新计划,确保在量子计算威胁出现时,能够迅速响应并调整安全策略。组织应计划密码功能与服务敏捷性,特别是在密码接口设计与密钥管理设计上,采用抽象化与参数配置化的方法,以尽量减少后续集成新的抗量子密码算法导致的应用层面的重大变化。类似于“自适应安全(Self-adaptive Security)”的概念,密码功能与服务敏捷性设计的理想境界应达到“自适应密码应用(Self-adaptive Cryptography Application)”的效果,并成为自适应安全体系的重要支撑。(3)量子脆弱性密码技术发现与评估策略量子脆弱性密码技术发现(Quantum-vulnerable Cryptography Discovery)与评估策略是有序实施迁移工作的重要前提。通过全面的系统扫描和风险评估,发现现有密码算法及密码应用中的脆弱点,评估其在量子计算下的潜在威胁。这需要对不同场景下的密码算法及密码应用进行深入分析。基于评估结果,确定迁移优先级,首先考虑高风险信息资产,确保迁移工作的有效性和针对性。(4)现在着手行动与混合过渡策略现在着手行动与混合过渡策略强调迁移工作的前瞻性和渐进性。面对量子计算的潜在威胁,不应等待所有量子安全密码标准及密码协议完全出台后再行动。应从现在就开始准备,梳理密码资产清单,制定迁移计划,并加强与技术供应商的合作。在迁移过程中,因行业政策导向与合规性监管、迁移实践指南、算法与技术规范的标准化进程、供应链成熟度等不可能在同一时间节点就绪,一步到位的思路可能置组织的重要资产于量子计算威胁之下。采用混合过渡方案,能保障当前系统的安全性,又能为未来量子安全奠定基础。同时,通过持续监控和测试,评估迁移效果,不断优化迁移方案,确保迁移工作的顺利进行。现在着手行动的意义在于:不会因为“足够规模且容错性高”(LFT)的密码分析相关量子计算机(CRQC)的突然出现而手足无措,使组织陷入困顿的境地;采取混合过渡而不是一步到位方案的意义在于:在量子威胁成为现实之前,可在现有抗量子密码技术与应用白皮书55实际环境中测试抗量子密码的应用,在密码功能上提供与传统应用程序的后向兼容性,继续遵守现有的加密要求或认证,同时抵御量子攻击。此外,因迁移工程的复杂性,涉及到多个同类待迁移节点或多个待迁移关联系统时,同时完成迁移工作具有较大的实施难度。(5)长期规划与分阶段实施抗量子密码迁移是一个长期且复杂的工程,需要制定详细的实施计划和时间表。升级过程可能遇到各种未知问题,要求实施计划需要具有一定的灵活性和可调整性。从工程角度看,制定一种分阶段过渡到量子安全密码是科学的方法。从试点项目开始,逐步将部署扩展到关键系统和应用程序;从关键信息基础设施和高风险系统开始,分阶段逐步扩展到其他系统和领域。通过这些迁移策略,组织可在量子计算时代,维护其信息系统的安全性和可靠性,同时减少迁移过程中的风险和影响。3.2.3 现在着手行动现在着手行动产业界研究表明,抗量子密码迁移的紧迫性要求“现在着手行动”。2022 年 5月,自然 期刊上发表了一篇综述 推动组织过渡到抗量子密码。文章就 SNDL攻击与 RSA 和 ECC 被破解等威胁、组织在向抗量子密码过渡时需要采取的行动、抗量子密码标准化进程等进行了分析,强调了时间规划的重要性,指出组织必须在RSA 和 ECC 被有效攻击前完成过渡计划。各国监管政策也要求政府信息系统“现在着手行动”。以美国为例:2022 年 5 月,美国在国家安全备忘录(促进美国在量子计算方面的领导地位,同时降低易受攻击的密码系统的风险)指出,应尽快开始过渡的准备工作。为了平衡量子计算的推广和进步与数字系统所面临的威胁,该备忘录建立了一个将国家密码系统及时过渡到抗量子密码系统的时间路线图。2022 年 8 月,美国网络安全和基础设施安全局(CISA)发布 关键信息基础设施向抗量子密码迁移的新见解,对美国 55 类关键信息基础设施向抗量子密码迁移的紧迫性进行了分析。2022 年 9月,美国国家安全局(NSA)发布商业性国家安全算法组件 2.0(CNSA2.0),建议联邦机构加快部署使用抗量子密码 Kyber 和 Dilithium。2022 年 12 月,美国总统签署了量子计算网络安全防范法,要求加快梳理联邦机构中易受量子计算攻击的 IT 系统,并向抗量子密码迁移。2023 年 8 月,CISA、NSA 和 NIST 联合发布抗量子密码技术与应用白皮书56量子准备:向抗量子密码的迁移。该文件强调早期规划、与供应商合作的重要性,鼓励各组织为未来迁移到采用抗量子加密标准的产品做好积极准备,开发量子准备就绪路线图,在组织内积极实施审慎的风险管理措施,以降低密码分析相关量子计算机(CRQC)带来的风险。在前节迁移策略中,我们提出了“现在着手行动与混合过渡策略”。从我国抗量子密码研究现状及市场需求看,面对量子计算的潜在威胁,不应等待我国量子安全密码标准完全出台后再行动。现在着手行动的意义在于:密码分析相关量子计算机构成实质威胁前,组织已考虑了有效的安全应对措施;此外,“追溯解密”型如 SNDL攻击意味着一旦大型量子计算机可用,恶意行为者将可解密此前截获的所有加密数据或通信。若加密数据保密周期过长,应立即执行保护数据安全的措施。“来而不可失者,时也;蹈而不可失者,机也。”参考过往类似迁移历程,抗量子密码的过渡更为复杂。成功的抗量子密码学迁移需要时间规划和执行。抗量子密码迁移是一个长期且复杂的工程,需要组织从现在开始规划并实施一系列措施。这些措施包括风险评估、算法实现、安全设计、功能集成等多个方面,需要时间和资源的大量投入。抗量子密码迁移需要时间规划和执行,因此要求组织必须从现在开始准备。3.2.4 规划抗量子密码路线图规划抗量子密码路线图虽然我国抗量子密码算法尚处标准化进程中,但鼓励行业或组织通过建立一个项目团队来确定抗量子密码迁移的范围,规划抗量子密码路线图。项目团队应启动主动的量子脆弱性密码技术发现活动,以确定当前对量子脆弱性密码技术的依赖性。具有易受量子计算攻击的密码系统和资产如:参与生成和验证数字签名的系统和资产、软件和固件更新系统、密钥协商与交换系统等。随着对存在量子脆弱性密码技术的系统范围、分布、特征和要求的梳理,及随后对供应链就绪状态评估,可着手完善行业或组织的抗量子密码路线图,包括规划存在量子脆弱性密码技术与密码使用清单、以优先级排序的风险清单和以时间节点标识的迁移工程清单等。抗量子密码路线图应与供应链就绪计划协同,保证工程实施的可行性。量子安全密码路线图的制定是一个复杂的过程,涉及到技术、政策、法规和实施等多个方面。规划抗量子密码路线图应考虑以下内容:算法标准化。跟踪国际抗量子密码标准化进展,计划或参与行业抗量子密抗量子密码技术与应用白皮书57码标准的制定。意识提升。在行业内提升对量子计算威胁的认识,对相关人员进行培训,提高对量子计算和密码学的理解。量子风险评估。梳理行业所使用的密码技术,分析其量子脆弱性,以确定行业信息系统面临的量子威胁。制定安全策略。基于量子风险评估,制定一个量子安全策略和过渡路线图,包括短期、中期和长期行动计划,规划迁移路径,设定时间表。持续监测和评估。持续监测量子计算领域的进展,评估隐私政策和法规的充分性,并根据需要更新策略;审查现有的政策、指南和法规,确保它们与量子安全的目标一致。确保所有行动符合国家法律法规,并准备好应对新的法规要求。通过这些步骤,行业或组织可以制定出一个全面的抗量子密码路线图,以确保在量子计算时代保护关键资产和信息的安全。行业或组织路线图有助于指导业内组织制定本组织的抗量子密码迁移计划。此外,行业路线图需要产业生态的支持与供应链协同。在政府或产业层面,应加强对抗量子密码生态的培育与对抗量子密码迁移的指导与监管。抗量子密码生态的培育涉及到“产学研用测管”的高效决策与工作协同,包括法律法规与标准体系颁布、公共技术支撑平台建设、创新示范工程推广等。强化对抗量子密码迁移的指导与监管,可确保在量子时代,关键信息基础设施能够安全过渡到抗量子密码体系,同时保护社会安全和公众利益。3.2.5 构建抗量子密码技术支撑体系构建抗量子密码技术支撑体系公共技术支撑平台建设可为政府或产业向抗量子密码迁移提供有力的技术支撑。目前,可在量子脆弱性发现、互操作测试、性能测试等方面组织资源研发,作为公共支撑平台的基础功能,服务于产业链产品研发、检测认证、公共培训等目的。3.2.5.1 量子脆弱性发现工具量子脆弱性发现工具SP 1800-38B量子准备:密码发现(公钥应用程序发现工具的方法、架构和安全特征)草案描述了量子脆弱性算法发现(Quantum-vulnerable AlgorithmDiscovery)工具及其应用。抗量子密码技术与应用白皮书58量子脆弱性算法发现是指利用特定的工具和方法,识别信息系统中所使用的密码算法(尤其是公钥算法)及其使用特征,分析在面对量子计算攻击时可能存在的脆弱性。组织使用发现工具,识别易受量子计算攻击的公钥算法,以创建密码算法及密码使用清单,帮助组织制定抗量子密码迁移路线图。通过发现工具评估现有密码体系的安全性,可提升抗量子密码迁移的工作效率。量子脆弱性算法发现可以通过开发或使用专门的工具来实现。这些工具通常基于已知的量子计算算法对经典密码的潜在威胁进行分析。工具检查当前部署的密码算法是否属于已知易受量子计算攻击的算法类别,如分析算法的数学基础、结构以及其在面对特定量子攻击时的表现。量子脆弱性密码算法发现的工作流程包括:扫描和识别组织当前使用的密码算法尤其是公钥密码算法。对算法进行分析。收集和分析扫描结果,生成易受量子计算攻击的算法和资产的清单。根据清单评估潜在的安全风险,并确定优先级,为制定应对措施提供决策支持。量子脆弱性算法发现工具需持续更新以适应新的量子攻击方法和算法。目前,市场上已经出现的工具如IBM的Qiskit量子安全分析工具、微软的AzureQuantum 安全工具等。这些工具提供了不同程度和范围的量子脆弱性评估功能,可以帮助组织识别其密码系统中的潜在量子脆弱性。其他工具包括:IBM z/OS Integrated Cryptographic Service Facility(ICSF):监控和报告密码算法的使用情况。CryptoNext Quantum Safe Library(C-QSL):提供抗量子密码算法的优化实现。Open Quantum Safe(OQS):支持抗量子密码算法的开发和原型设计。3.2.5.2 抗量子密码互操作测试工具抗量子密码互操作测试工具SP 1800-38C量子准备:测试标准(抗量子密码技术互操作性和性能报告)草案描述了抗量子密码技术的互操作性要求,展示了不同算法在不同协议和场景下的互操作性,有助于推动抗量子密码标准化进程。抗量子密码技术与应用白皮书59抗量子密码技术互操作性测试工具可提供以下功能:SSH:测试抗量子密码密钥交换方法的兼容性。SSH 互操作性测试配置文件 可 包 含 以 下 算 法 参 数:P256 Kyber-512,x25519 Kyber-512,P384 Kyber-768,P521 Kyber-1024。TLS:测试抗量子密码密钥交换和身份验证在 TLS 1.3 中的兼容性。TLS互 操 作 性 测 试 配 置 文 件 可 包 含 以 下 算 法 参 数:P256 Kyber-512,P384 Kyber-768,P521 Kyber-1024。QUIC:测试抗量子密码在 QUIC 协议中的表现,重点关注密钥交换和身份验证的兼容性。X.509:探讨不同 X.509 证书格式的抗量子密码兼容性,并进行互操作性测试。HSM:测试硬件密码设备在生成、导出和导入抗量子密码密钥、生成和验证数字签名以及密钥封装和解封装方面的互操作性。互操作性测试工具是执行向抗量子迁移的重要环节。其意义在于:识别抗量子密码算法之间的兼容性问题。在受控的非生产环境中解决兼容性问题。减少各个组织为自己的迁移工作执行类似的互操作性测试所花费的时间。3.2.5.3 抗量子密码性能测试工具抗量子密码性能测试工具(1)SP 1800-38CSP 1800-38C量子准备:测试标准(抗量子密码技术互操作性和性能报告)草案描述了测试相关内容。SP 1800-38C 测试范围中,选择 Kyber、Dilithium 等抗量子算法及 TLS 1.3、SSH、X.509 证书等协议、标准和用例。性能测试应基于同一的测试环境。如 SP 1800-38C 执行 TLS 测试的环境为:Ubuntu 22.04.1 LTS(GNU/Linux 5.15.0-72-generic x86_64);Intel Xeon Gold 6126 CPU 2.60 GHz(2 核);32 GB RAM通过标准化性能测试工具,可以验证抗量子密码实现性能。通过对抗量子密码算法性能的测试和分析,可有助于评估抗量子密码算法对现有系统性能的影响,并选择合适的算法进行迁移。抗量子密码技术与应用白皮书60(2)SUPERCOP标准化的密码软件或系统测试工具也可参考 SUPERCOP 设计实现。SUPERCOP 根据以下标准测量加密原语(Cryptographic Primitives):数字摘要算法时间度量:对非常短的数据包进行哈希处理的时间、对典型大小的 Internet 数据包进行哈希处理的时间、对长报文进行哈希处理的时间。密码算法时间度量:使用密钥和随机数(Nounce)对非常短的数据包进行加密的时间、对典型大小的 Internet 数据包进行加密的时间、对长报文进行加密的时间。验证加密(Authenticated Encryption)算法时间度量:对一小数据包进行验证加密的时间、对典型大小的 Internet 数据包进行验证加密的时间、对长消息进行验证加密的时间;生成密钥对(私钥和相应的公钥)的时间。密钥协商时间度量:从私钥和另一个用户的公钥生成共享密钥的时间。公私钥加解密时间度量:使用公钥加密消息的时间;使用私钥解密消息的时间度量。公私钥签名验证时间度量:使用私钥对消息进行签名的时间;使用公钥验证已签名消息的时间度量。3.2.5.4 开放资源利用开放资源利用为引导产业对抗量子密码的理解,可充分利用如抗量子密码算法库、测试工具等开源资源。其中较全面的资源库如开放量子安全项目的 Liboqs。其他资源包括BoringSSL 和 Tink,它们在混合模式下实现了 NTRU-HRSS 和 X25519。SUPERCOP可作为抗量子密码方案的基准工具。现在可用的其他抗量子密码规划和测试工具包括 Open Quantum Safe 项目、欧洲的 FLOQI 项目等。3.2.6加强密码人才培养和国际合作加强密码人才培养和国际合作3.2.6.1 各国密码人才与合作政策各国密码人才与合作政策各国量子国家战略或量子科学技术计划均强调产业生态的建设与完善,首先需要解决的是强化国内人才队伍建设与国际合作的外部环境。抗量子密码技术与应用白皮书61美国促进量子美国在科学技术方面的全球领导力指出,量子信息科学发展需要重视培养具有相应技能的劳动力。国家量子计划法案支持量子信息科学技术的研发和运用,增加从事量子信息科学技术的研究者、教育者和学习者的数量,确保从事量子信息科学技术研发及其他类型工作的劳动力数量;为量子信息科学技术的本科生、研究生和博士后提供更多的多学科课程和研究机会;缩小基础研究的知识鸿沟。德国 量子技术行动计划 要求加强生态系统建设,激发兴趣,吸引专业人才。展示不同职业发展路径的机会和可能性;分析德国量子技术开发者和使用者的需求以及人才培养领域的相关能力,促进物理学以外的学科,特别是计算机科学和工程等相关领域对量子技术的利用;支持具有实践经验的量子专业人员的教育和培训。法国 量子技术国家战略 提出要以优越的创新环境加强对国际人才的吸引力。在创新生态建设方面强调技能培训和人才培养,开展不同级别的培训,在工程学院设置量子物理学、量子算法和工程学相结合的跨学科课程,在技术学院培养量子技术人员。加拿大计划启动国家量子战略,推动量子技术、企业和人才发展。为加强加拿大在量子科学方面的研究实力,该战略通过创新实习经验和专业技能开发,支持吸引、培训、留住和部署量子科技领域的高素质人才。澳大利亚国家量子战略,旨在使澳大利亚要求建立一支技术娴熟且不断增长的高素质劳动力队伍。相关行动包括:实施国家量子合作计划和量子技术人才博士奖学金;发布量子劳动力报告;将量子科学纳入资助学校、大学和职业教育技术学院提高科学、技术、工程和数学认知的项目中;探索吸引全球量子人才的措施,将澳大利亚建设为量子人才的首选目的地。韩国量子科学技术战略中提出把培养量子人才作为最优先任务。增设量子科技相关学科,通过量子研究生院等培育大学量子教育与研究基地,构建培养“核心人才 量子工程师”的量子融合人才生态系统。3.2.6.2 密码人才培养与合作举措密码人才培养与合作举措加强量子安全方面的密码人才培养和国际合作,对于我国构建安全、可持续的信息技术基础设施至关重要。此举旨在为应对量子计算带来的安全挑战做好准备,抗量子密码技术与应用白皮书62提升我国在全球抗量子密码领域的地位和影响力。量子相关密码产业的发展需要大量具备专业知识和技能的人才,加强人才培养和国际合作可以为产业发展提供有力的人才保障,推动量子相关密码产业的发展和应用创新,为我国经济社会的持续发展提供新的动力,更好地保障国家信息安全。加强量子相关密码人才培养与国际合作,可从以下几个方面开展工作:在高校和科研机构设立抗量子密码相关教育课程,鼓励量子物理学、量子保密通信、抗量子密码等跨学科教育和研究,培养具备深厚理论基础和实践能力的人才。通过举办抗量子密码培训班、研讨会、抗量子密码应用创新等活动,提高技能型抗量子密码人才的专业素养和实践能力。构建抗量子密码人才生态系统,促进政府、企业、高校和科研院所之间的合作与交流,提供实际案例和示范项目,促进理论与实践相结合,激励抗量子密码人才的创新和实践,共同推动量子科技的发展和应用。与国际抗量子密码机构建立合作关系,通过举办国际抗量子密码会议和研讨会,通过学者互访、合作研究、高端人才引进等方式,多途径开展抗量子密码研究和人才培养。尽快推出国内抗量子密码算法与应用协议技术规范,并积极参与国际量子科技联盟和标准制定,增强国际话语权,提升我国在国际量子科技领域的影响力。3.2.7 抗量子密码迁移供应链协同抗量子密码迁移供应链协同3.2.7.1 协调供应链抗量子密码进展协调供应链抗量子密码进展“积力之所举,则无不胜也;众智之所为,则无不成也。”在抗量子密码迁移的准备工作中,需要从责任分工的角度,明确供应链各方协同。(1)供给侧:信息系统提供商尤其是密码产品与服务提供商,应密切跟踪抗量子密码技术研究、标准进展、产业政策变化,研究设计产品与服务灵活升级的可行性方案,提供满足功能要求、安全要求、性能要求、互操作要求的可选升级组件或升级产品与服务,满足技术、产品与服务层面的可获取性、易用性需求。(2)需求侧:信息系统所有者,尤其是关键信息基础设施与重要领域信息系抗量子密码技术与应用白皮书63统所有者与使用者,应充分调研其系统面临的量子脆弱性算法现状与抗量子密码需求,评估其优先级与风险清单,就其本地系统及云服务系统对供应链的依赖性,协调供应商,共同制定抗量子密码迁移计划,理解技术可获取性与成熟度,探讨抗量子迁移项目试点的可行性,并对执行效果进行监控评价,进而制定符合本组织需求的抗量子迁移方案。(3)基础支撑侧:为保证抗量子密码迁移的供应链的“产学研用测管”有序推进,需要开展产业政策引导、抗量子密码技术研究、技术标准与实施规范制定、产品检测与认证、通用技术支撑、服务行业监管与评价、量子科技人才培育、量子科技领域国际合作等工作,以构建良好有序的产业生态,推动抗量子密码迁移进程。通过供应链各方责任分工与产学研协同创新,提高抗量子密码理论研究成果向实用化、工程化转化的效率,积极吸纳各方资源参与抗量子密码发展,促进产业升级,形成具有国际引领地位的战略性新兴产业。3.2.7.2 供应链技术及服务商的责任供应链技术及服务商的责任供应链量子就绪是抗量子密码迁移的基础。为关键信息基础设施及重要领域信息系统提供密码技术、产品与服务,应着手规划对抗量子密码的支持,并开展与应用系统集成、测试工作。供应商应规划其抗量子密码迁移路线图,确保其使用抗量子密码算法的产品安全可靠,满足市场需求。供应商的责任主要包括:(1)供应链各方需了解量子计算对现有密码体系的潜在影响,并对相关人员进行教育和培训。供应商应及时追踪抗量子密码的最新进展、技术挑战、标准化进程及可能影响产品或服务交付的任何因素,确保其提供的产品和服务支持抗量子密码,包括密码机设备、密钥管理与密码服务系统、以及集成密码功能的应用系统;确保新的密码产品和服务能与现有的系统互操作,设备应经过严格的测试和验证,具有安全性、可靠性和高效性。(2)供应商应设计模块化的密码架构,提供敏捷性的产品和服务,以利于支持后续新的抗量子密码算法及国内抗量子密码标准。(3)供应商应与组织合作,协助组织制定抗量子密码迁移计划,论证其技术可行性,并确保计划的顺利实施;在迁移过程中,供应商应提供必要的技术支持和抗量子密码技术与应用白皮书64资源,以帮助组织解决可能遇到的问题;供应商应评估其产品与服务在量子安全方面的技术能力,确保能够提供符合抗量子标准的解决方案。(4)供应商需提供升级路径,包括升级组件或全新的产品与服务,以满足抗量子密码的安全要求;供应商应提供关于其抗量子密码产品的详细信息,包括算法支持、性能影响、兼容性等,确保新旧系统间能够无缝过渡,包括密钥尺寸、签名尺寸和密码算法的兼容性。3.2.7.3 供应链标杆企业动向供应链标杆企业动向我们选取几家代表性的企业,就其在抗量子密码方面的进展分析如下:(1)IBM 发布支持抗量子密码的密码模块IBM 公司针对抗量子密码学领域已经制定并发布了详细的计划和路线图,包括 IBM 量子安全路线图(IBM Quantum Safe Roadmap)和 IBM 量子发展路线图(IBM Quantum Development Roadmap)。此外,IBM 还开发了端到端的解决方案IBM Quantum Safe Technology,帮助客户为量子时代做好准备。IBM 研发了密码模块 4770-001 Cryptographic Coprocessor Security Module(“Crypto Express8S withCCA”,CEX8C),支持 Kyber、Dilithium 两种抗量子密码算法,并于 2024 年 4月通过 PCI PTS HSM V4.0 认证。(2)谷歌 Chrome 浏览器部署抗量子密码技术2023年8月,谷歌Chrome浏览器在其最新版本中部署了混合抗量子密钥协议,旨在建立对传输层安全协议 TLS 的抗量子密码的支持。谷歌 Chrome 混合抗量子密钥协议结合了两种密码算法 X25519 与 Kyber-768,以创建用于会话的密钥。(3)三未信安推出抗量子密码系列产品结合对抗量子密码技术的持续跟踪,三未信安已研发支持抗量子密码算法的密码安全芯片、UKEY、IC 卡、PCI-E 密码卡、密码机、安全网关、数字证书认证系统、密钥管理系统等产品,其产品线支持的抗量子密码算法包括:NIST 抗量子密码标准算法 ML-KEM(Kyber)、ML-DSA(Dilithium)、SLH-DSA(SPHINCS )及 Faclon;全国密码算法设计竞赛公钥算法 Aigis-sig、LAC.PKE、Aigis-enc;我国密码行业标准化进程中的算法:基于 NTRU 的密钥封装机制、基于抗量子密码技术与应用白皮书65SM3 的带状态数字签名算法。三未信安基于密码功能与服务敏捷性的设计思路,可为后续算法更新、新的算法引入,在用户业务系统集成时体现极大的灵活性。3.3 抗量子密码迁移工程指南抗量子密码迁移工程指南3.3.1 国外抗量子密码迁移研究进展国外抗量子密码迁移研究进展目前,各国都积极开展抗量子密码迁移的研究与实践。以美国为例,2021 年10 月,美国国土安全部(DHS)与国家标准技术研究院(NIST)联合发布了抗量子密码过渡路线图,旨在帮助企业保护其数据和系统,降低量子技术发展带来的相关风险。该指南提出了组织向抗量子密码迁移的工作思路:(1)参与标准化组织(Engagement with standards organizations)。组织应与标准制定组织保持接触,以获取密码算法和协议方面的最新进展。(2)明确关键数据清单(Inventory of critical data)。识别本组织需要采用密码技术保护的关键数据,评估其面临的量子计算威胁。(3)明确密码技术清单(Inventory of cryptographic technologies)。组织应对使用密码技术实现任何功能的所有系统进行清点,以促进未来抗量子密码迁移的平稳过渡。(4)识别内部标准(Identification of internal standards)。组织应评审及改进组织内部关于信息安全及采购相关的标准,以支持抗量子密码迁移的程序要求。(5)识别公钥密码的使用情况(Identification of public key cryptography)。组织应确定其信息系统哪些环节使用到及出于何种防护目的使用到存在量子脆弱性的公钥密码。(6)确定系统迁移的优先级(Prioritization of systems for replacement)组织应根据职能、目标、需求及量子计算攻击的影响等因素确定迁移的优先级。2023 年 4 月起,NIST 以特别出版物形式发布了向抗量子密码迁移的实践指南草 案(Migration to Post-quantum Cryptography-SP 1800-38 Practice GuidePreliminary Draft)。该草案包括 SP 1800-38A、SP 1800-38B、SP 1800-38C 三个文件,描述了迁移到新的量子安全密码标准时可能出现的问题及潜在的解决方案。(1)SP 1800-38A抗量子密码技术与应用白皮书662023 年 4 月,NIST 发布 SP 1800-38A考虑实施和采用量子安全密码的准备工作(执行概要)草案(Preparation for Considering the Implementation and Adoptionof Quantum Safe Cryptography,VolumeA:Executive Summary)。SP 1800-38A 是一个实践指南,旨在帮助组织识别公钥算法的使用情况,并提前规划,以应对量子计算对现有密码技术的潜在威胁,确保抗量子密码迁移的一致性和安全性。(2)SP 1800-38B2023 年 12 月,NIST 发布 SP 1800-38B量子准备:密码发现(公钥应用程序发现工具的方法、架构和安全特征)草案(Quantum Readiness:CryptographicDiscovery,Volume B:Approach,Architecture,and Security Characteristics of PublicKey Application Discovery Tools)。SP 1800-38B侧重于指导组织使用自动发现工具去识别易受量子计算攻击的公钥算法实例,以创建密码算法清单,帮助组织制定抗量子密码迁移路线图。该草案提供了自动发现工具功能测试计划,旨在确定自动发现工具的基本能力;自动发现工具的演示用例场景以及演示范围;在本次演示中应对的安全威胁;大多数组织可开始使用的安全威胁发现流程;基于演示用例并集成各种发现工具的安全识别架构。(3)SP 1800-38C2023 年 12 月,NIST 发布 SP 1800-38C量子准备:测试标准(抗量子密码技术互操作性和性能报告)草案(Quantum Readiness:Testing Draft Standards,VolumeC:Quantum-resistantCryptographyTechnologyInteroperabilityandPerformance Report)。SP 1800-38C 侧重于如何协调量子安全密码算法与现有网络基础设施,提供了解决受控非生产环境中兼容性问题的方法,并提供了传输层安全(TLS)协议、安全外壳(SSH)协议和硬件安全模块(HSM)等各种场景下量子安全密码算法的标准化实施方法。3.3.2 迁移工作思路迁移工作思路从目前行业在抗量子密码迁移的研究活动与工程实践看,组织可按照以下工作思路,执行向量子安全密码的迁移:(1)明确迁移对象抗量子密码技术与应用白皮书67组织规划抗量子密码迁移活动时,首先要确定项目的工作范围,也即组织内的信息系统。理论上不可能对所有信息系统在同一时间节点完成迁移,可以以不同业务或应用的子系统为考察对象,研究其迁移的可行性途径。因为子系统间因为业务关联可能存在连通性,在执行迁移可行性论证时,应考虑系统间的相互影响,根据依赖关系推导迁移工作的次序安排。(2)确定迁移方法抗量子密码迁移的目的是使组织信息系统免除或减轻因量子计算威胁带来的风险。可行的思路是采用风险评估的方法,决定所确定的迁移对象的优先级排序。一般来说,将一个系统优先于另一个系统,在很大程度上取决于组织职能、目标和需求,也即该系统作为信息资产对组织业务目标的重要程度。为了补充优先级排序工作,组织在评估易受量子计算攻击系统时应考虑以下因素:系统保护的信息的关键性、系统保护的信息所需保护的时间周期、面临的量子计算的威胁、系统采用的密码技术存在的脆弱性、系统所需抗量子密码技术与产品的成熟度与可获取性、系统向抗量子密码迁移对其他关联系统的影响等。(3)指派迁移责任主体成立一个专门的项目管理团队来负责规划和执行迁移到量子安全密码的整个过程;并与供应链中的供应商接触,确保他们了解迁移的必要性,并识别可以支持迁移到量子安全密码的技术和解决方案。(4)执行量子风险评估在确定了基于风险评估的方法后,应启动基于资产、脆弱性、威胁的风险评估流程,根据受量子计算威胁的公钥算法及其使用情况梳理,识别当前依赖量子脆弱性公钥算法的系统资产,如涉及数字签名、公钥加密或密钥封装、软件和固件更新等,创建量子脆弱性资产清单,并根据量化或半量化风险定级模型,确定哪些系统和资产迁移的优先级。(5)协调供应商制定迁移计划与实施方案组织需与技术供应商接触,了解供应商的抗量子密码迁移计划,并着手考虑组织信息系统的抗量子密码迁移路径,包括依托供应商产品与方案,为测试量子安全密码算法和集成到产品中制定时间表;制定详细的迁移计划,包括进度、预算、资源分配和实施步骤;按照迁移计划,逐步实施量子安全密码技术,替换或升级现有抗量子密码技术与应用白皮书68系统;在实施过程中进行持续的测试和验证,确保新系统的性能和安全性。(6)监控评估与改进迁移完成后,持续监控和评估量子安全密码系统的运行情况,确保其满足安全要求;确保迁移过程和结果符合所有相关的法律、法规和标准;制定应对可能出现的问题或攻击的应急计划;更新组织的政策和程序,以反映对量子安全密码的使用和依赖;对员工进行量子安全密码相关的培训和教育,确保他们理解新系统并能够正确使用;基于反馈和监控结果,持续改进量子安全密码策略和实施。3.3.3 迁移工作组职能迁移工作组职能如前章节所述,随着量子计算技术的快速发展,现有的公钥密码体系面临被攻击的威胁,应现在着手考虑将组织的信息系统向抗量子密码迁移的工作。而抗量子密码迁移是一项复杂的系统工程,面临着诸多挑战。为实现有序、平稳、分阶段、按计划的迁移目标,需要设置专门的职能机构。迁移工作组的工作目标是:制定并执行抗量子密码迁移计划,确保组织的信息系统能够平稳、有序、安全地过渡到抗量子攻击的安全密码算法。作为一个跨部门、跨领域的协调机构,迁移工作组负责整合组织的内部资源,与外部供应链协调、与专家团队合作,共同推进组织信息系统向抗量子密码迁移的工作。迁移工作组需要具备高度的专业素养和协调能力,成员应熟悉密码学、信息安全、系统架构等相关领域的知识。人员构成上,应包括组织内部的 IT 运维人员、信息系统研发人员、信息安全人员、风险合规人员、业务及应用人员、供应商联络人员,及外部的密码学专家、安全顾问等。通过跨部门、跨领域的合作,确保迁移工作的顺利进行。迁移工作组应依据行业政策指南、组织管理程序,规划与落实抗量子迁移工作,除项目管理、技术协调、安全评估、培训与推广等,还包括以下工作内容:追踪抗量子密码技术与规范、产业政策动向,开展抗量子密码迁移可行性研究。梳理密码相关资产清单,组织量子安全风险评估,指导确定迁移的优先级和范围。分析供应链的依赖性,协调供应商抗量子迁移计划。制定抗量子密码迁移策略和标准,选择合适的算法和方案,确定组织向抗抗量子密码技术与应用白皮书69量子迁移路线图。协调制定详细的迁移计划和实施方案,确定迁移顺序,确保资源的合理分配,并制定具体迁移方案及应急预案,确保迁移过程中的技术选型和实施方案的科学性和可行性。协调预算与资源,按优先级执行测试、试点、示范等迁移活动。监督实施过程,保障迁移后系统的安全性和稳定性。通过测试与监控评价迁移效果,以持续改进迁移方案,提升组织对量子威胁的应对能力。3.3.4 量子风险评估方法量子风险评估方法信息系统风险评估是采用科学的方法,对信息系统中可能存在的风险进行识别、分析、评估、控制的过程。标准的风险评估主要从资产(Asset)的关键程度、脆弱性(Vulnerability)被利用的概率、威胁(Threat)发生后产生后果的严重性等构建量化或半量化模型,输出风险的优先级,并制定风险控制策略。量子风险评估(Quantum-risk Assessment)是在量子计算对传统公钥密码产生威胁的背景下,对采用量子脆弱性公钥密码技术保护的信息系统,进行风险识别、分析、评估、控制的风险管理活动。量子风险评估在识别信息资产、量子脆弱性公钥密码、量子计算威胁时,需要考虑机密数据的保密周期。使用经典公钥密码技术保护的敏感信息资产,尤其是那些具有中长期保密价值的信息资产,将容易受到量子计算机的威胁。3.3.4.1 Mosca 定理定理类似于其他解决量子计算威胁的风险管理方法,Mosca 定理(Michele MoscasTheorem)用于促进组织策划抗量子密码迁移活动。这些方法描述了一种采用密码技术保护的资产发现活动,进而评估得出优先级列表。一旦识别出组织中的公钥密码学组件及其相关资产,即可使用“Mosca 定理”和其他风险管理方法,优先考虑需要首先向抗量子密码迁移的组件。Mosca 定理见 Michele Mosca 与 John Mulholland 2017 年 1 月的文 章“AMethodology for Quantum RiskAssessment”。Mosca 定理可概述为:当希望数据安全的时间(X)加上计算机系统从经典密码过渡到抗量子密码所需的时间(Y),大于量子计算机开始破解现有的量子脆弱抗量子密码技术与应用白皮书70性密码所需的时间(Z),即 X YZ 时,则应考虑密码分析相关量子计算机的影响,并立即开展抗量子密码迁移的准备工作。因此,在考虑量子风险评估时,可执行以下活动或阶段:(1)识别信息资产及其采用的密码保护技术。量子风险评估从敏感或有价值的资产清单开始,这些资产需要根据组织的安全策略采用密码技术进行保护。重要的是要确定所使用的密码技术的性质,加密密钥的生成、存储和应用方式,以及这些过程中使用的工具或设备的来源。(2)跟踪量子计算技术和抗量子密码技术发展动态,评估其技术可用性时间表(timeline),推进量子安全密码的开发和验证;与学术界和研究界专家合作,使量子风险评估揭示的问题影响抗量子密码研究方向。(3)识别威胁行为者,并估计他们访问量子技术的时间(Z)。量子风险评估重点关注威胁能够利用量子计算机及其访问它们的时间线,及量子计算成为现实后可能出现的新的威胁行为。(4)确定资产的生命周期(X),以及将组织的技术基础设施转换为量子安全状态所需的时间(Y)。确定业务信息的生存期对于了解组织对抗如 SNDL 攻击具有指导意义。在考虑保护组织的加密信息免受内部和外部威胁时,亦需考虑:当前策略和程序的有效性;组织现用的密码技术强度及它的应用和使用效率;目前在研的量子安全加密方法及其对现用密码技术的替代性;供应链对量子安全算法或协议的就绪性等。(5)计算业务资产是否会在组织采取行动保护它们之前变得脆弱,确定量子风险。考虑敏感数据的生命周期及其暴露的可能性,与迁移现有流程和基础架构所需的时间相结合,为组织何时需要采取积极措施来降低量子风险提供合理的估计。进而评估预期的更改所导致的业务流程影响。包括:对产品、协议和程序实施必要的更改所需时间;量子安全技术的可靠性或性能问题;是否需要更改策略或程序以改进修订后的系统,或改进组织信息的整体安全性等。(6)确定维持安全意识所需的活动并确定其优先级,将组织的技术迁移到量子安全状态。组织都应该制定向抗量子迁移路线图,而量子风险评估则作为构建量子安全路线图的第一步。路线图旨在确保继续获得遵循这些技术并了解量子计算和量子密码学新发展,为与组织、合作伙伴、客户和产品供应商进行讨论提供基础,抗量子密码技术与应用白皮书71确保供应链角色了解正在采取的步骤,及对其自身流程和基础设施产生的影响。3.3.4.2 敏捷性风险评估框架敏捷性风险评估框架2021 年 5 月 Chujiao Ma,Luis Colon 等在 Journal of Cybersecurity 发表“CryptoAgility RiskAssessment Framework”,提出了“密码功能与服务敏捷性风险评估框架”的概念,旨在不对基础设施进行重大改变的前提下,使信息系统能够快速集成新的密码算法、协议等密码功能。类似于 Mosca 方法,该框架用于分析和评估由于缺乏密码功能与服务敏捷性而导致的风险,并指导组织制定适当的风险缓解策略。不同于 Mosca 定理,该框架是针对抗量子密码的特定描述,但其思想可以借鉴于抗量子密码迁移的应用场景。(1)在对现有系统进行评估时,识别和记录当前系统中使用的密码算法、密码协议和密钥管理策略,同时评估现有密码功能实现是否具有敏捷性。具有敏捷性的密码功能设计在执行抗量子密码迁移时,具有较好的灵活性。(2)在确定设计原则与迁移策略时,可考虑采用模块化和抽象化的设计原则,确保加密组件的独立性和可替换性,并根据抗量子密码标准和适用性,选择适合的密码算法和密码协议。(3)在技术选择与接口设计时,选择支持量子安全密码算法的技术栈,在设计功能接口时,规划对未来新的密码算法的无缝支持与灵活配置。3.3.5 信息资产识别与分析信息资产识别与分析从前述可知,组织规划抗量子密码迁移活动时,首先要确定项目组织内哪些信息系统纳入项目范围,可以从不同业务或应用的子系统进行考察。识别信息资产尤其是采用经典公钥密码技术保护的信息资产,是在确定项目范围后,执行量子风险评估的首要任务。量子风险评估从敏感或有价值的资产清单开始,这些资产需要根据组织的安全策略采用密码技术进行保护。因此,信息资产识别首先从该信息系统等在组织的业务战略的关键性,判断信息的重要程度;其次,识别信息资产的目的是分析其是否存在量子计算威胁,并研究其抗量子密码迁移的可行性途径。需要识别信息资产采用的密码保护技术,确定所使用的密码技术的性质,加密密钥的生成、存储和应用方式;再次,需对信息系统依存关系进行分析。子系统间因业务关联可能存在连通抗量子密码技术与应用白皮书72性,在识别信息资产时,应考虑系统间的相互影响,依赖关系可能影响迁移工作计划的实施优先级。在高层次上,组织必须了解其敏感或有价值信息的性质,包括其业务价值、访问控制和数据共享安排、备份和恢复过程,以及在生命周期结束时如何处理这些信息,需要对所有这些因素进行全面梳理,以确定组织对外部和内部威胁的脆弱性。对于抗量子迁移工作的风险评估,可能覆盖硬件、固件、操作系统、通信协议、密码库和采用密码技术的应用程序的更新等,可以考虑基于业务系统重要性分类,每业务系统分别梳理应用层、设备与计算层、网络通信层、物理层的安全需求及密码技术使用情况;同时亦应梳理业务系统与业务系统间的联系、业务系统对密码支撑系统如公钥基础设施的依赖关系。信息系统清单及使用密码技术的情况说明是开展风险评估的先决条件。2021 年 8 月美国国家网络安全卓越中心(NCCoE)关于抗量子密码学迁移项目列举了这些场景:采用易受量子计算攻击的公钥密码的 FIPS-140 验证的硬件和软件模块。包含易受量子计算攻击的公钥密码的密码库。包含或专注于易受量子计算攻击的公钥密码的加密应用程序和加密支持应用程序。在计算平台中嵌入易受量子计算攻击的密码。在不同行业领域广泛部署的通信协议,这些协议利用了量子脆弱的密码算法。以电信系统为例,2023年2月全球移动通信系统协会(Global System for MobileCommunicationsAssembly,GSMA)发布的 抗量子电信网络影响评估白皮书(PostQuantum Telco Network Impact Assessment Whitepaper),关于电信系统的信息资产及依赖关系描述为:密码技术,包括密码库、密码协议、密码硬件。密码系统,包括公钥基础设施、证书颁发机构、硬件安全模块、身份/访问管理和特权访问管理。计算技术,例如服务器、固件、操作系统、虚拟化、云基础设施、数据库(列长度)、软件(数据结构)、中间件、安全系统。抗量子密码技术与应用白皮书73 网络设备,例如以太网交换机、IP 路由器。电信架构,例如结算、电信特定网络功能、无线电、核心、传输、通信服务(语音、消息、关键任务)、OSS/BSS 系统。电信特定业务流程,例如设备激活、漫游和结算。另一个可参考的案例是,美国网络安全和基础设施安全局在 向抗量子算法过渡的路线图中,建议组织在梳理信息资产时考虑以下因素:该系统是否属于组织的高价值资产或承载关键信息基础设施业务。该系统保护的内容是否为关键数据,如密钥库、密码、根密钥、签名密钥、个人身份信息、敏感个人身份信息。该系统是否与其他重要系统存在通信或信息共享,及信息共享程度。该系统敏感数据的保质期。在厘清信息系统依存关系及密码技术使用情况后,可通过量子脆弱性发现评估分析代码开发、操作系统、网络通信、应用系统易受量子计算攻击的信息,作为标识优先级的风险清单的输入。3.3.6 系统量子脆弱性分析系统量子脆弱性分析在识别出信息系统及其中使用的密码技术后,首先要了解使用的密码算法是否存在量子脆弱性,并进一步对这些存在量子脆弱性的密码算法的使用目的、如何使用、替换可行性等进行分析。在 SP 1800-38B量子准备:密码发现(公钥应用程序发现工具的方法、架构和安全特征)草案中,NIST 提出了基于发现工具的量子脆弱性公钥算法的检测与发现方法。在迁移到抗量子密码(Migration to Post-quantum Cryptography)中,美国国家网络安全卓越中心(NCCoE)提出了“项目工作流”(Project Workstreams)的概念。该项目工作流通过发现工具检测和报告量子脆弱性公钥算法的存在和使用情况,为风险分析和缓解措施提供足够的详细信息。发现过程主要利用量子脆弱性发现工具(集),在代码研发、操作系统、协议、网络服务、应用等层面,以多种方式搜集系统存在的公钥密码算法、密码功能、密码服务,并分析其脆弱性及依赖关系。通过正则化及关联性处理,结合信息资产的关键程度,形成组织的信息系统在量子计算威胁下的风险清单,作为后续制定基于优先级的行动计划的基础。抗量子密码技术与应用白皮书743.3.6.2 量子脆弱性公钥密码算法量子脆弱性公钥密码算法根据目前的理论研究,当具有较大量子比特规模的密码分析相关量子计算机可用时,现有基于整数分解问题、基于离散对数问题、基于椭圆曲线离散对数问题的公钥密码算法、密钥协商协议等面临被破解的风险。同时,量子算法可极大降低分组密码算法、杂凑函数的密码分析复杂度。易受攻击的国际公钥密码算法见下表:表 3-1 易受攻击的经典密码算法算法算法功能功能规范规范Diffie Hellman(DH)密钥交换用于密钥交换的非对称密码协议IETF RFC 3526Elliptic Curve Diffie Hellman(ECDH)密钥交换用于密钥交换的非对称密码协议NIST SP 80056A/B/CMenezes Qu Vanstone(MQV)密钥交换用于密钥交换的非对称密码协议NIST SP 80056A/B/CRSA 密码算法用于数字签名、加密的非对称密码算法SP 800-56B修 订 版2、FIPS PUB 186-5椭圆曲线数字签名算法(ECDSA)用于数字签名的非对称密码算法FIPS PUB 186-5同理,我国密码行业标准 SM2 等公钥密码算法亦存在被较大规模量子比特的量子计算机攻击的风险,SM4 等分组密码算法及 SM3 数字摘要算法也存在受量子计算威胁,安全强度降低的风险。总之,若密码分析相关量子计算机(CRQC)可用,则使用易受量子计算攻击的密码算法存在安全风险。量子计算机可能会威胁到所有基于整数分解和(椭圆曲线)离散对数问题的公钥算法,进而破坏任何受保护的数据。特别地,先存储后解密攻击如 SNDL 攻击,可导致敌手现在搜集加密数据,在以后使用量子计算机执行解密。拥有量子计算机能力的攻击者可伪造易受量子计算攻击的算法的签名,从而给签名保护的数据带来风险。3.3.6.1 量子脆弱性密码技术发现量子脆弱性密码技术发现量子脆弱性(Quantum-vulnerable)密码技术发现是指利用特定的工具和方法,抗量子密码技术与应用白皮书75对系统中使用的密码算法及其使用情况进行分析,以识别出在面对量子计算攻击时可能存在的脆弱性。识别系统中易受量子计算机攻击的密码算法的过程涉及对算法的安全性进行评估,以确定其是否容易受到量子计算机的攻击。量子脆弱性密码技术发现的目标是帮助组织和机构了解其当前使用的密码措施在量子计算环境下的安全性,并为抗量子密码迁移提供决策支持。随着量子计算机的快速发展,现有的基于经典密码学的算法可能面临被量子计算机破解的风险。量子脆弱性密码技术发现的目标是帮助组织识别和评估组织在其系统中存在的量子脆弱性公钥算法如RSA、ECDSA 和 ECDH 等及其使用,并为迁移到量子安全密码算法提供指导。量子脆弱性密码技术发现是一种主动的、系统化的方法,用于识别和评估系统中使用的密码技术的量子脆弱性。它包括对系统中的所有密码组件进行分析,并确定哪些算法可能受到量子计算机攻击的影响。量子脆弱性密码技术发现的主要目的是:为组织提供一个清晰的视图,帮助组织识别系统中存在的量子脆弱性,并确定哪些数据或系统可能面临风险。基于风险评估结果,制定迁移到量子安全密码算法的策略和迁移计划,保护关键数据和系统。提前识别脆弱性,降低未来量子攻击的风险,提高组织的量子安全准备度和适应性。通过量子脆弱性密码技术发现可提升安全性。提前识别潜在的安全风险,为组织提供足够的时间来准备和应对量子计算威胁,有助于组织优先保护最关键和敏感的数据集,确保这些数据在量子计算时代仍然安全;促进组织内部的密码资产管理和合规性,通过了解量子脆弱性,组织可以更好地制定长期的安全策略,包括向抗量子密码的迁移计划。量子脆弱性密码技术发现可用于以下用例场景中发现易受量子计算攻击的密码算法及其使用情况:在持续集成/持续交付期间,密码功能代码或依赖项中可能使用的易受量子计算攻击的密码算法。网络协议中可能使用的易受量子计算攻击的密码算法,使用主动扫描和历史流量捕获可实现对特定系统的可追溯性。在终端用户系统和服务器上的采用密码技术保护的信息资产中(包括应用程序、关联的库、固件等),可能使用的易受量子计算攻击的密码算法。3.3.6.3 信息系统中密码技术的使用特征信息系统中密码技术的使用特征抗量子密码技术与应用白皮书76抗量子密码迁移的挑战不仅在于技术层面,还包括组织对现有密码技术依赖性的理解和评估。组织需要投入资源来识别和清点公钥密码的使用情况,评估风险和依赖性,确定迁移优先级,并制定有效可行的迁移策略。公钥密码已集成到现有的计算机和通信硬件、操作系统、应用程序、数据库、通信协议、关键信息基础设施和访问控制机制中。公钥密码使用的示例包括:用于提供源身份验证和完整性身份验证的数字签名,及对消息、文档或存储数据的签名。用于建立经过身份验证的通信会话或授权以执行特定操作的身份验证过程。对称密钥(例如,密钥包装、数据加密、消息身份验证密钥)和其他密钥材料(例如,初始化向量)的密钥传输。权限授权过程。公钥密码替换为抗量子密码,通常需要更改或替换密码库、实现验证工具、实现或加速算法性能的硬件、依赖的操作系统和应用程序代码、通信设备和协议,以及用户和管理程序。因此,抗量子密码迁移需要明确公钥密码的使用位置和方式。在任何情况下,从当前的公钥密码算法迁移到抗量子算法的先决条件是确定在何处使用及出于何种目的使用公钥密码,即确定信息系统中公钥密码的使用特征。一旦组织发现了它在何处使用公钥密码以及使用公钥密码的目的,就可确定其使用特征。NIST 在为抗量子密码学做好准备:探索与采用和使用抗量子密码算法中,示例性描述了公钥密码相关使用特征:当前密钥大小以及未来密钥大小和签名大小的硬件、软件限制。延迟和吞吐量阈值。用于加密协商的流程和协议。当前关键建立握手协议。每个加密过程在堆栈中发生的位置。如何调用每个加密进程(如对密码库的调用、嵌入在操作系统中的进程、对应用程序的调用)。是否为密码功能与服务采用敏捷性实现。是否可以通过软件更新实施。每个加密硬件、软件、过程的供应商和所有者。抗量子密码技术与应用白皮书77 密钥和证书的来源。供应商施加的合同和法律条件。使用实现是否需要根据加密模块验证程序(CMVP)进行验证。受保护信息的敏感性与保密周期。一旦确定了这些特点,就有可能提出未来向抗量子密码迁移的要求和优先事项。通过使用预期的抗量子密码算法的实现工具或密码库资源,可以帮助推导需求并对迁移工作进行优先级排序。任何迁移手册都需要考虑互操作性要求、密码技术实现的敏捷性要求。3.3.6.4 量子脆弱性密码应用清单量子脆弱性密码应用清单组织根据内部信息系统现有使用的密码系统和密码算法使用情况,首先确定公钥密码算法在信息系统上的使用位置和方式,这些也是实施迁移计划时需要逐步替换或更新的内容。审查组织中使用的每个设备、系统、代码、固件、平台,了解使用的密码技术,包括密码算法、密码算法使用、密钥管理方法,并依此构建组织内存在量子脆弱性的信息系统密码应用清单。构建量子脆弱性密码应用清单(Cryptographic Inventory)的目标是,发现组织在何处以及如何使用公钥密码算法、密码协议及密码产品,来保护组织重要数据和数字资产,包括应用程序和相关库中存在量子脆弱性的密码技术、网络协议中使用的密码算法、持续集成/持续交付开发管道中的密码相关代码或依赖项、终端用户系统和服务器上的采用密码技术保护的资产等,并确定公钥密码影响系统和应用的重要因素(如密钥大小、延迟和吞吐量限制、当前密钥建立协议、每个加密过程的调用方式、依赖关系),以制定组织必须保护的最重要的易受量子计算攻击的系统的优先级列表。3.3.7 迁移计划与实施方案迁移计划与实施方案组织在开展量子风险评估,通过量子脆弱性算法发现,梳理其信息资产量子脆弱性密码应用清单及量子风险优先级后,应立即着手协调供应商量子就绪情况,评估技术可获得性与成熟度、迁移到抗量子密码所需的工作量和时间,结合资产敏感度及机密数据保密周期,选择抗量子密码迁移路线图与时间表,规划向抗量子密码迁移的逻辑次序与实施方案,包括混合过渡方案及全抗量子密码方案。抗量子密码技术与应用白皮书783.3.7.1 协调供应链量子就绪情况协调供应链量子就绪情况关键信息基础设施与重要领域信息系统所有者与使用者,在充分调研其系统面临的量子脆弱性算法现状与量子安全密码需求,评估其优先级与风险清单后,单纯依靠组织内部资源,很难着手制定出其抗量子密码迁移计划,因不清楚技术可获取性与成熟度,抗量子迁移项目试点的可行性及预期的执行效果。组织的信息系统、安全设计、密码功能与服务可能从第三方采购,向抗量子迁移的工程可能也需要向第三方采购或与第三方协作实现。因此需要协调供应链的抗量子密码安全准备就绪状态,作为组织制定迁移计划或实施方案的决策支持。信息系统提供商,尤其是密码产品与服务提供商,应密切跟踪抗量子密码技术创新、标准进展状态、产业政策要求的变化,研究设计产品与服务灵活升级的可行性方案,提供满足功能要求、安全要求、性能要求、互操作要求的可选升级组件或升级产品与服务,满足技术、产品与服务层面的可获取性、可用性需求。(1)供应商选择各组织应了解其对系统和资产中易受量子计算攻击的密码技术的依赖性,以及供应链中的供应商的抗量子迁移计划,以尽量降低量子风险。不仅仅涉及到组织信息系统、主机与计算资源、网络通信、密码产品等直接关键供应商,也可考虑其他已做好量子准备的第三方密码产品供应商;同时也应考虑组织租用的云服务提供商对组织的云应用向抗量子密码迁移提供支持的可行性。供应商应与组织保持透明沟通,及时分享关于抗量子密码的最新进展、技术挑战、以及可能影响产品或服务交付的任何因素,提供关于其抗量子密码产品的详细信息,包括算法支持、性能影响、兼容性等,协助组织制定抗量子密码迁移计划,论证其技术可行性,并确保计划的顺利实施。在迁移过程中,供应商应确保新旧系统间能够无缝过渡,包括密钥尺寸、签名尺寸和密码算法的兼容性,提供必要的技术支持和资源,以帮助组织解决可能遇到的问题。(2)与供应商协调组织应制定明确的抗量子密码策略和迁移路线,并与供应链共享这些信息,以确保所有相关方都对迁移过程有清晰的理解。组织应定期评估供应链的准备情况,包括供应商的产品和服务是否支持抗量子密码、是否存在任何潜在的技术挑战或风险。抗量子密码技术与应用白皮书79 组织应与供应链建立紧密的协作机制,共同解决迁移过程中遇到的问题,并分享关于抗量子密码的最佳实践和经验。组织应与供应链一起制定应急预案,以应对在迁移过程中可能出现的任何意外情况或风险。在迁移过程中,组织应持续监控供应链的准备情况和迁移进度,并进行必要的评估和调整,以确保迁移过程的顺利进行。(3)技术可行性分析跟踪行业监管政策及技术标准动向,了解供应商对抗量子密码技术的技术能力与产品计划;供应商提供的技术与产品与组织抗量子密码迁移工作的可集成性与适配性;供应商对组织抗量子密码迁移工作的密码功能与密码服务需求的可达成性;供应商的技术与产品是否满足组织抗量子密码迁移的功能要求、性能要求、安全要求、可靠性要求、互操作性要求、进度要求、预算要求、工程实施时的业务延续性要求等。需要明确公钥密码的使用位置和方式。公钥密码一般集成到硬件、操作系统、应用程序、通信协议、密钥基础设施和访问控制机制中。从供应商角度看,涉及到 HSM 设备、密码库、实现验证工具、实现或加速算法性能的硬件、依赖的操作系统和应用程序代码、通信设备和协议及负载均衡、备份设施,及用户和管理程序的更新。识别不同应用程序需要部署不同算法的需求,算法涉及到的密钥尺寸、签名尺寸、密文尺寸;因新的算法在密钥尺寸、签名尺寸、密文尺寸等差异导致对现有协议的适配。除考虑通用的功能要求、安全要求、性能要求外,组织应与供应商协调的技术路线是否满足机密数据保密周期要求。尤其是那些具有中长期保密价值或对长期保密有相应需求的信息和通信,是否面临 SNDL 攻击或其他量子计算威胁。(4)技术实现要求供应商提供的抗量子密码迁移的产品与服务支持密码功能与服务敏捷性,以便灵活管理计划的加密迁移配置。以数字证书为例:证书长度变大,可能影响缓冲区尺寸被实现固化的非敏捷加密设计的应用;签名验证性能降低,可能影响高时效签抗量子密码技术与应用白皮书80名验证功能。技术方案应在不影响业务延续性的前提下,满足后向兼容性和未来灵活性的设计要求。应评估抗量子密码算法与现有加密协议、密码库和安全框架的兼容性,以确保无缝集成到组织的基础设施中。设备或组件升级方案应考虑互操作要求。抗量子密码实现进行彻底的测试和验证,以验证它们与遗留系统的兼容性以及与其他加密组件的互操作性。如引入新的量子安全密码算法,可能同时要考虑依存该算法的安全协议的升级改进。3.3.7.2 制定抗量子密码迁移方案制定抗量子密码迁移方案抗量子密码迁移方案编制需考虑以下内容:(1)确定迁移技术清单及工程优先级。在计划抗量子密码迁移工作时,将一个系统优先于另一个系统在很大程度上取决于组织功能、目标和需求,也与技术成熟度与工程可实施性、互操作性影响等因素相关。组织应与供应商交互论证迁移技术清单及工程优先级的合理性。(2)与密码产品、带密码功能组件的系统、存在密码改造需求的系统的供应商协调迁移行动计划,形成可行方案。(3)对供应商量子安全设备、组件、系统执行功能测试与可靠性测试。(4)制定设备层、算法层、协议层、应用层迁移方案及应急预案。(5)按优先级明确每个系统的迁移时间节点。所需的工作量和时间(包括评估、计划、采购、验证、实施等环节)。(6)过渡计划应考虑密码功能与服务敏捷性机制设计,以便于将来进行调整升级,并在出现意外时能够快速启动回退等预案。(7)合理估算迁移过程中所需的成本、规划参与迁移工作的具体人员和资源,明确每个阶段的具体任务和执行流程。3.3.7.3 应用试点及示范推广应用试点及示范推广制定一种分阶段过渡到抗量子密码学的方法,从试点项目开始,逐步将部署扩展到关键系统和应用程序。主要工作包括:(1)抗量子密码应用测试、效果验证。在迁移过程中进行持续的测试和验证,确保新系统的性能和安全性满足要求。测试内容应包括功能测试、性能测试、安全抗量子密码技术与应用白皮书81测试、互操作性测试等。(2)持续监控与评估。迁移完成后,持续监控抗量子密码系统的运行情况,确保其满足安全要求。监控内容包括系统性能、稳定性、安全性等方面;确保迁移过程和结果符合所有相关的法律、法规和标准。进行定期的合规性检查,确保系统始终保持在合规状态。(3)政策与程序更新。更新组织的政策和程序,以反映对抗量子密码的使用和依赖,包括加密标准、密钥管理、安全审计等方面的更新。(4)意识和培训。结合实际项目内容,对员工进行抗量子密码相关的培训和教育,确保理解新系统并能够正确使用。培训内容应包括系统改造中涉及的抗量子密码内容、改造后系统操作流程、应急响应机制等。(5)持续改进。基于监控和评估结果,持续改进抗量子密码策略和实施。包括优化系统配置、更新安全策略等方面。3.3.8 密码功能与服务敏捷性设计密码功能与服务敏捷性设计前述章节我们给出密码功能与服务敏捷性的定义为:密码功能与服务敏捷性是指信息系统在面对新的安全威胁、技术变革或法规要求时,能够迅速、灵活地调整其密码算法、协议和密钥管理策略的能力。这种能力确保了信息系统能够适应不断变化的安全环境,并保持其安全性。密码分析相关量子计算机(CRQC)使现有的经典密码算法变得不再安全,信息系统需要具备快速迁移到量子安全密码算法的能力,新的量子安全密码算法也在不断改进与推出。在量子计算时代,密码功能与服务敏捷性变得尤为重要。密码功能与服务敏捷性既是为了减少过渡所需的时间,也是为了能够无缝(Seamless)更新到未来的新出台的加密标准。密码功能与服务敏捷性要求在设计阶段就考虑到密码算法、协议、服务等可替换性,采用模块化设计和抽象化接口,以便于未来的维护和升级。(1)组织执行密码功能与服务敏捷性设计的意义量子安全密码算法不同于传统密码算法,其公钥加密、数字签名、密钥封装等存在多类设计原理与机制不同的算法,且因多轮标准征集会存在多种适应不同场景的选择。2024 年 8 月,NIST 正式发布 ML-KEM(FIPS 203)、ML-DSA(FIPS 204)及 SLH-DSA(FIPS 205),后续可能还会发布其他新的抗量子密码算法标准。我抗量子密码技术与应用白皮书82国抗量子密码算法基于 NTRU 的密钥封装机制、基于 SM3 的带状态数字签名算法正在标准化进程中。因此,在向抗量子密码迁移过程中,一方面应结合实际应用场景选择适配的抗量子密码算法,另一方面应考虑未来对国内密码算法标准的支持,如适用于信创需求的抗量子密码算法。组织执行密码功能与服务敏捷性设计基于以下考虑:应对不确定性。包括:安全环境的不确定性:信息系统面临的安全威胁不断变化,密码功能与服务敏捷性使组织能够迅速应对这些不确定性;业务连续性:在密码算法或协议被破解时,密码功能与服务敏捷性可以确保业务的连续性和数据的完整性。保持灵活性。组织能够快速适应新的安全技术和标准,保持竞争力。能够快速调整密码算法、协议和密钥管理策略。密码功能与服务敏捷性设计允许信息系统在不进行大规模重构的情况下,灵活地更新和替换密码算法。适应性与可扩展性。能够适应新的安全威胁、技术变革和法规要求。设计应支持未来技术的集成,包括新的密码算法和密钥管理策略。优化迁移成本。通过灵活的加密设计,减少因频繁更换系统而带来的额外成本。计划迁移活动。通过模块化及安全配置的密码功能设计,可确保迁移活动的规划与执行,提升迁移工程效率。在组织计划迁移活动时,不仅涉及到应用、网络、系统、设备等层级的次序安排;也涉及到迁移过程中的已迁移与未迁移的共存兼容性考虑。(2)组织提升密码功能与服务敏捷性的策略组织提升密码功能与服务敏捷性可基于以下策略:采用模块化架构。密码系统设计应采用模块化架构,将密码功能与服务作为独立的模块,便于未来的更新和替换。模块化设计思想即将密码算法、密码协议和密码组件封装成独立的模块,这样,在需要升级或替换密码算法时,只需替换相应的模块即可,无需对整个系统进行大规模调整。模块化设计不仅提高了系统的可维护性,还降低了迁移成本。标准化接口设计。确保使用标准化的密码算法,且密码算法的实现已在加密模块验证计划下进行验证。设计标准化密码服务接口,为后续新的抗量抗量子密码技术与应用白皮书83子标准算法包括国内密码算法的拓展提供灵活性。抽象密码服务。通过抽象层将密码算法的使用与业务逻辑分离,使得算法的更换不会直接影响到核心业务。集中密钥管理。建立一个统一的密钥管理系统,确保所有密码算法和密钥都易于更新或替换。通过集中管理,组织可以更加灵活地应对新的安全威胁和法规要求,同时降低管理成本。加强与产品与服务供应商合作。与技术供应商建立紧密的合作关系,及时了解其密码功能与服务敏捷性设计方法与技术实现的可行性;制定采购策略,确保在将来的采购中考虑密码功能与服务敏捷性;了解供应商的软件和固件升级策略和过程,为任何不满足敏捷性要求的密码产品制定过渡计划。(3)算法替换的敏捷性算法的替换通常需要以下几步:识别遗留算法的存在(例如,在使用密码算法的常见应用中,如加密电子邮件或虚拟专用网络、操作系统和网络服务器中的访问管理代码、代码签名实用程序、识别软件等)。了解密码库的数据格式和应用程序编程接口,以支持必要的更改和替换。发现实现或加速算法性能的硬件。确定使用该算法的操作系统和应用程序代码。识别所有具有易受攻击协议的通信设备。识别加密协议对算法特性的依赖性。新算法可能不会成为直接替代品。由于密钥大小、签名大小、错误处理属性、执行算法所需的执行步骤数、密钥建立过程复杂性等方面的差异,它们可能不具有与传统算法相同的性能或可靠性特征。替换算法确定后,加快整个组织采用和实施新的密码算法,应注意以下事项:开发一种将安全要求、业务运营和任务影响考虑在内的基于风险的方法。开发实施验证工具。确定在迁移过程中需要临时(例如混合)实施以维护互操作性的情况。更新开发人员、实施者和用户的流程和程序。抗量子密码技术与应用白皮书84 制定一个沟通计划,既要在组织内部使用,又要与外部客户和合作伙伴一起使用。确定迁移时间线和必要的资源。更新或替换安全标准、过程和建议的做法文档。明确采购要求以获得量子安全技术。提供安装、配置和管理文档。测试和验证新的流程和程序。(4)密码功能与服务敏捷性的评价组织可考虑对其密码功能与服务敏捷性效果进行监控、评价与改进:测试和验证。通过安全审计和渗透测试,评估系统的安全性是否得到提升;评估新密码算法对系统性能的影响,确保在保持安全性的同时,系统性能不会受到显著影响;评估密码算法迁移对业务连续性和性能的影响;检查系统是否符合相关的法规和行业标准。持续改进。建立用户反馈机制,收集系统使用中的问题和建议;根据反馈和新的安全威胁,持续优化密码算法和协议的选择与实施;定期对员工进行密码技术和安全意识的培训,提高整体的安全防护能力。通过执行密码功能与服务敏捷性设计,组织可以更好地应对量子计算时代的挑战,在对新的密码算法与密码协议持续支持时,尽量减少核心业务系统的重大改造或变更,降低迁移成本,提升迁移效率,确保信息系统的安全性和业务的连续性。3.3.9 抗量子密码混合过渡方案抗量子密码混合过渡方案3.3.9.1 混合过渡方案概述混合过渡方案概述2022 年 10 月,欧盟网络安全局(ENISA)发布抗量子密码整合研究(Post-quantum Cryptography-Integration Study)报告,作为 2021 年 5 月抗量子密码:现状与量子迁移 的后续研究。报告阐述了如何将抗量子密码集成到如 TLS、IPsec 等安全协议中、及围绕抗量子密码设计新协议的可能性,并对抗量子系统的双重加密和双重签名进行了分析。目前,国内商业银行也推出了“双保险”、“两把锁”等概念,即是一种向抗量子密码过渡迁移的有益尝试。混合过渡方案,是一种在量子计算威胁日益加剧的背景下,旨在确保信息系统抗量子密码技术与应用白皮书85安全性和连续性的策略。混合过渡方案是指将抗量子密码算法(如基于格、多变量、哈希等的算法)与经典密码算法(如 RSA、ECC)相结合,以形成一种既能抵御量子计算攻击又能保持与现有系统兼容性的密码解决方案,通常涉及如加密、密钥交换、数字签名等过程或场景的双重实现。该方案通过综合各自算法的优势,形成互补,既利用了经典密码算法在现有系统中的成熟性和兼容性,又引入了抗量子密码算法以应对未来量子计算的挑战。混合过渡方案的提出背景在于:经典密码算法面临着量子计算的与时俱增的威胁,同时能够抵抗量子攻击的密码算法尚未出台。在这样一个特殊时间节点,混合过渡方案能够发挥重要作用。目前,NIST 抗量子密码算法标准 ML-KEM(FIPS 203)、ML-DSA(FIPS 204)及 SLH-DSA(FIPS 205)已于 2024 年 8 月发布,混合过渡方案依然具有存在的合理性与必要性,主要基于以下考虑:(1)混合过渡方案的目的是实现从传统密码系统到抗量子密码系统的平稳过渡。它旨在保护组织免受量子计算威胁,同时提供一个逐步采纳新技术的途径,确保在迁移过程中的安全性、兼容性和业务连续性。(2)混合过渡方案允许系统在逐步过渡到抗量子密码算法的同时,保持与现有基础设施的兼容性。抗量子密码迁移是一项复杂的工程,不可能一蹴而就。混合过渡方案正是这样一种分步骤、按计划的科学工程实施方案。(3)“知者行之始,行者知之成。”混合过渡方案不是等待抗量子密码算法、安全协议全部就绪再开始行动,可使系统较早具备一定的对抗 SNDL 攻击的能力,确保安全性。(4)混合过渡方案是在量子计算威胁成为现实之前,为组织提供一个可行的平稳过渡路径。混合过渡方案为后续迁移到纯抗量子密码方案提供一定的实践借鉴,积累经验教训,有助于降低后续迁移成本,避免一次性大规模迁移可能带来的风险。当然,作为中间过渡的策略,混合过渡方案也存在诸多不足:(1)复杂性增加。同时管理两种类型的密码算法可能增加系统的复杂性和管理难度。(2)性能影响。抗量子密码算法通常比经典密码算法计算复杂度更高,可能会影响系统的整体性能。抗量子密码技术与应用白皮书86(3)成本问题。开发、部署和维护混合过渡方案可能需要额外的资源和成本。(4)标准化挑战。可能存在抗量子密码标准滞后的问题,影响混合过渡方案的实施效果。综上所述,混合过渡方案是一种应对量子计算威胁的有效策略,通过结合抗量子密码算法和经典密码算法的优势,为信息系统的安全性和连续性提供了有力保障。混合过渡方案提供了一个可行的路径,帮助组织在保护现有投资的同时,为未来的量子安全做好准备。3.3.9.2 混合过渡方案设计混合过渡方案设计在构建混合过渡方案时,平衡抗量子密码算法的性能和兼容性是需要考虑的挑战,组织可通过以下策略来实现:(1)算法选择在我国抗量子密码算法标准正式发布前,可选择安全性经过充分评估的抗量子密码算法,如全国密码算法设计竞赛获奖算法 Aigis-sig、LAC.PKE、Aigis-enc 等,我国正在标准化进程中的基于 NTRU 的密钥封装机制、基于 SM3 的带状态数字签名算法,以及 NIST 抗量子密码标准算法 ML-KEM(FIPS 203)、ML-DSA(FIPS204)及 SLH-DSA(FIPS 205)等。(2)安全协议设计设计灵活的协议,允许在不影响安全性的前提下,根据系统需求和环境条件选择最合适的算法。设计安全的协议,确保混合过渡方案中的抗量子算法与传统算法能够无缝协作,同时防止潜在的安全漏洞。目前可参考的标准草案包括:ML-KEM Post-Quantum Key Agreement for TLS 1.3,2024 年 3 月。参见:https:/www.ietf.org/archive/id/draft-connolly-tls-mlkem-key-agreement-01.html RFC 9370 Multiple Key Exchanges in the Internet Key Exchange Protocol Version 2(IKEv2),2023 年 5 月。参见:https:/www.rfc-editor.org/rfc/rfc9370.html RFC 9242 Intermediate Exchange in the Internet Key Exchange Protocol抗量子密码技术与应用白皮书87Version 2(IKEv2),2022 年 5 月。参见:https:/www.rfc-editor.org/rfc/rfc9242.html RFC 8784 Mixing Preshared Keys in the Internet Key Exchange ProtocolVersion 2(IKEv2)for Post-quantum Security,2020 年 6 月。参见:https:/www.rfc-editor.org/rfc/rfc8784.html Internet X.509 Public Key Infrastructure:Algorithm Identifiers for ML-DSA,2024 年 6 月。参见:https:/www.ietf.org/archive/id/draft-ietf-lamps-dilithium-certificates-04.html Internet X.509 Public Key Infrastructure-Algorithm Identifiers for Module-Lattice-Based Key-Encapsulation Mechanism(ML-KEM),2024 年 3 月。参见:https:/datatracker.ietf.org/doc/draft-ietf-lamps-kyber-certificates/Mixing Preshared Keys in the IKE_INTERMEDIATE and in the CREATE_CHILD_SA Exchanges of IKEv2 for Post-quantum Security,2024 年 7月。参见:https:/www.ietf.org/archive/id/draft-ietf-ipsecme-ikev2-qr-alt-03.html External Keys For Use In Internet X.509 Certificates,2024 年 4 月。参见:https:/www.ietf.org/archive/id/draft-ounsworth-lamps-pq-external-pubkeys-03.html X-Wing:general-purpose hybrid post-quantum KEM,2024 年 3 月。参见:https:/www.ietf.org/archive/id/draft-connolly-cfrg-xwing-kem-02.html Post-quantum Hybrid Key Exchange with ML-KEM in the Internet KeyExchange Protocol Version 2(IKEv2),2024 年 3 月。参见:https:/www.ietf.org/archive/id/draft-kampanakis-ml-kem-ikev2-03.html X25519Kyber768Draft00 hybrid post-quantum key agreement,2023年9月。参见:https:/datatracker.ietf.org/doc/html/draft-tls-westerbaan-xyber768d00.3.3.9.3 典型混合过渡应用场景典型混合过渡应用场景典型混合过渡方案包括如下应用场景:(1)混合密钥封装抗量子密码技术与应用白皮书88密钥封装机制(Key encapsulation mechanism,KEM)是一种将密钥安全地传输给接收方的方法,使其能够解密消息。在混合方案中,结合使用经典和抗量子算法来增强密钥封装的安全性。经典 KEM:如基于椭圆曲线上的离散对数问题的 ECDH。抗量子 KEM:如基于格基密码学的 Kyber,能够抵抗量子计算机的攻击。具体实现流程如下:密钥生成:发送方和接收方各自生成一对经典密钥对和一对抗量子密钥对。密钥交换:发送方将经典和抗量子公钥以安全方式发送给接收方。密钥派生:接收方使用其私钥和发送方的公钥,通过密钥派生函数(KDF)生成两个共享密钥。密钥验证:通过交换密钥验证消息来确保密钥派生的正确性。实现效果分析:安全性:通过结合经典和抗量子算法,密钥封装的安全性得到显著增强,能够抵抗量子计算机的攻击。性能:抗量子算法可能在性能上不如经典算法,但通过优化实现和硬件加速,可以减少延迟和资源消耗。兼容性:混合方案需要确保与现有系统的兼容性,可能需要额外的适配层或中间件。安全性分析:密钥安全性:密钥派生过程中使用的 KDF 必须足够安全,能够抵抗各种已知的攻击。算法安全性:定期对使用的抗量子和经典算法进行安全评估,以应对新的攻击手段。协议安全性:分析和测试协议的安全性,确保没有引入新的漏洞。(2)混合 TLS(Transport Layer Security)在 TLS 中引入抗量子密码与经典密码的混合过渡方案,主要目的是在保持现有 TLS 协议兼容性的同时,增强对未来量子计算攻击的抵抗能力。这种方案通常涉及在 TLS 握手过程中使用 PQC 算法来协商会话密钥,而数据传输则继续使用经典对称密码算法进行加密。抗量子密码技术与应用白皮书89具体实现流程如下:协议扩展:首先需要对 TLS 协议进行扩展,以支持 PQC 算法。这包括定义新的密码套件及其对象标识(OID),这些套件结合了 PQC 密钥交换协议(如基于格的 Kyber)和经典对称密码算法。握手过程:客户端和服务器在 TLS 握手过程中协商使用支持 PQC 的密码套件。双方使用 PQC 密钥交换协议生成一个共享的会话密钥。这个过程中,PQC 算法的安全性确保即使存在量子计算威胁,会话密钥也不易被破解。双方确认会话密钥后,使用经典的对称密码算法(如 AES、SM4)和会话密钥来加密和解密后续传输的数据。数据传输:一旦会话密钥被成功协商和确认,客户端和服务器就可以使用AES、SM4 等对称密码算法来加密和解密传输的数据,保持数据传输的高效性和安全性。实现效果分析:增强安全性:通过引入 PQC 算法,增强了 TLS 协议对未来量子计算攻击的抵抗能力。保持兼容性:混合过渡方案保持了与现有 TLS 协议的兼容性,使得升级过程更加平滑。安全性分析:双重保护:PQC 和经典密码的结合使用提供了双重保护,即使面临量子计算威胁,也能确保会话密钥的安全性。持续评估:PQC 算法的安全性需要持续评估和更新,以确保其长期有效性。(3)混合 SSH(Secure Shell)SSH 的增强与 TLS 类似,通过在 SSH 握手过程中引入 PQC 算法来协商会话密钥,从而增强对未来量子计算攻击的抵抗能力。SSH 协议本身支持多种认证和加密方法,因此混合过渡方案可以较为容易地集成到 SSH 中。具体实现流程如下:协议扩展:对 SSH 协议进行扩展(包括定义算法对象标识(OID),以抗量子密码技术与应用白皮书90支持新的基于 PQC 的密钥交换方法。握手过程:客户端和服务器在 SSH 握手过程中协商使用支持 PQC 的密钥交换方法。双方使用 PQC 算法生成共享的会话密钥。双方确认会话密钥后,使用经典的对称密码算法加密和解密后续传输的数据。认证与数据传输:在会话密钥协商完成后,客户端和服务器可以进行用户认证和数据传输,使用会话密钥保护传输的数据。与 TLS 类似,该方法增强 SSH 的安全性并具兼容性,以提供对未来量子计算攻击的防御能力。(4)混合 IPSec(Internet Protocol Security)IPSec 是一种网络层安全协议,它提供数据完整性、认证和加密服务。在 IPSec中引入 PQC 与经典密码的混合过渡方案,可以增强虚拟专用网络(VPN)等应用场景的安全性。具体实现流程如下:协议配置:在 IPSec 配置中指定使用支持 PQC 的密钥交换协议(如 Internet密钥交换协议 IKE 与 PQC 算法结合)。IKE 握手过程:双方通过 IKE 进行握手,协商使用的 PQC 算法。使用 PQC 算法生成共享的安全关联(SA)密钥。数据传输:使用协商好的 SA 密钥,结合经典对称密码算法(如 AES、SM4)来加密和解密 IPSec 隧道中传输的数据。实现效果分析:增强 VPN 安全性:通过引入 PQC 算法,增强了 VPN 连接对未来量子计算攻击的抵抗能力。保持网络性能:数据传输加密仍使用高效的对称密码算法,不会导致网络性能显著下降。安全性分析:抗量子密码技术与应用白皮书91 量子安全性:PQC 算法确保 SA 密钥即使在量子计算环境下也保持安全。互操作性:混合过渡方案需要确保不同设备和供应商之间的互操作性,以便顺利部署和实施。(5)混合数字签名混合数字签名方案结合使用经典和抗量子签名算法,减缓量子计算攻击的威胁。混合数字签名具有算法灵活性和向后兼容性特点,允许系统根据安全需求和性能考虑选择合适的签名算法,并确保新系统能够与传统系统无缝协作。具体实现流程如下:密钥生成:使用经典算法(如 RSA 或 ECDSA)和抗量子算法(如 Dilithium)分别生成一对密钥,即生成一对经典密钥对和一对抗量子密钥对。签名生成:对于需要签名的消息 m,使用两种算法分别生成数字签名。签名验证:接收方收到消息 m 和两份数字签名后,使用相应的公钥分别对相应的数字签名进行验证。验证结果:如果两份数字签名验证都通过,消息 m 被认为是有效的;在未部署抗量子密码算法的节点,可考虑仅验证经典算法生成的数字签名。实现效果分析:安全性:通过结合经典算法和抗量子算法,显著提高了数字签名的安全性,能够抵抗量子计算机的攻击。性能:抗量子算法可能在性能上不如经典算法,但通过优化实现和选择合适的算法可以减少延迟和资源消耗。兼容性:混合方案需要确保与现有系统的兼容性,可能需要额外的适配层或中间件。安全性分析:密钥安全性:密钥生成和存储过程必须安全,防止密钥泄露或被破解。算法安全性:定期对使用的抗量子和经典算法进行安全评估,以应对新的攻击手段。协议安全性:分析和测试协议的安全性,确保没有引入新的漏洞。混合数字签名的优势:前向安全性:即使经典算法在未来被量子计算机破解,抗量子算法仍能保抗量子密码技术与应用白皮书92证数字签名的有效性和安全性。抗量子攻击:抗量子算法的设计能减缓抗量子计算机的攻击。灵活性和选择性:组织可以根据风险评估和安全策略,选择合适的数字签名算法组合。混合数字签名的挑战:实现复杂性:需要同时维护两套数字签名系统,增加了系统的复杂性和管理负担。性能权衡:抗量子算法可能需要更多的计算资源和时间,影响系统的整体性能。标准化进程:我国抗量子密码算法的标准化仍在进行中,缺乏统一的标准可能会影响混合方案的实施和互操作性。(6)混合数字证书增强的 PKI 体系通过引入抗量子密码学算法来升级现有的公钥基础设施,以应对量子计算的威胁。这包括在证书生成、分发、验证和撤销等各个环节中集成PQC 算法,确保整个 PKI 体系的安全性。证书生成:使用 PQC 算法生成密钥对,并在数字证书中包含基于 PQC 的签名。证书分发:建立安全的数字证书分发渠道,确保数字证书在传输过程中不被替换或篡改。证书验证:验证方使用 PQC 公钥验证数字证书中的签名,并检查数字证书的有效性和撤销状态。证书撤销:建立基于 PQC 的数字证书撤销列表(CRL)或在线数字证书状态协议(OCSP),以确保数字证书在泄露或私钥被破解时能够被及时撤销。混合数字证书结合了经典密码学(如 RSA、ECC)和抗量子密码学(PQC)的优点,旨在提供在量子计算威胁下的增强安全性。其核心思想是在一个数字证书中同时包含基于经典密码学的签名和基于抗量子密码学的签名,以确保即使量子计算机能够破解经典签名,抗量子签名仍能提供保护。具体实现方法包括:抗量子密码技术与应用白皮书93 经典签名:使用现有的公钥基础设施(PKI)中的经典算法(如 RSA 或 ECC)生成数字签名,确保与现有系统的兼容性。抗量子签名:使用 PQC 算法生成额外的数字签名,以减缓量子计算的攻击。具体实现流程包括:生成密钥对:用户同时生成一对经典密钥对(如 RSA 密钥对)和一对抗量子密钥对(如 Dilithium 密钥对)。证书生成请求:用户向证书颁发机构(CA)提交证书生成请求(CSR),该请求包含用户的公钥信息。证书签发:CA 使用其经典私钥对用户的公钥和数字证书信息进行签名,生成经典签名;CA 同时使用其 PQC 私钥对用户的公钥和数字证书信息进行签名,生成抗量子签名。这样,经典签名和抗量子签名均包含在数字证书中。证书分发:CA 将包含混合签名的数字证书分发给用户。证书验证:验证方使用 CA 的经典公钥验证数字证书中的经典签名;同时,验证方使用 CA 的 PQC 公钥验证数字证书中的抗量子签名。实现效果分析:增强安全性:即使量子计算机能够破解经典签名,抗量子签名仍然能够减缓量子计算的攻击。兼容性:由于同时包含经典签名,混合数字证书能够与现有的 PKI 体系无缝兼容,减少迁移成本。灵活性:随着 PQC 算法的成熟和标准化,可逐步迁移到纯抗量子密码体系。安全性分析:经典签名算法的安全性:尽管面临量子计算的威胁,但经典签名算法(如RSA、ECC)在可预见的有限时间内仍将安全。PQC 算法的安全性:PQC 算法需要经过严格的安全性评估和标准化过程,以确保其能够抵抗量子计算的攻击。密钥管理:密钥的安全存储和管理对于防止私钥泄露至关重要。证书撤销机制:在证书被泄露或私钥被破解的情况下,需要有有效的证书抗量子密码技术与应用白皮书94撤销机制来防止证书被滥用。3.3.9.4 与量子密钥分发及量子随机数的协同方案与量子密钥分发及量子随机数的协同方案在抗量子密码迁移实践中,可以考虑实现与量子密钥分发(QKD)系统及量子随机数发生器(QRNG)的协同方案。如 QKD 可用于本地数据库与重要备份或异地灾备系统的安全通信过程中。抗量子密码算法设计用来抵抗量子计算机的攻击,它们基于一些被认为量子计算机难以高效解决的数学问题。量子密钥分发利用量子力学原理,特别是量子纠缠和量子不可克隆定理,在通信双方之间实现密钥的安全分发。由于量子态的不可克隆性和测量扰动性,QKD能够提供信息论上的安全的密钥交换方法。量子随机数利用量子力学中的随机性来生成高质量的随机数,这些随机数在密码学应用中至关重要,因为它们确保了随机数的不可预测性。这些随机数在密码学中用于密钥生成、加密和数字签名等。可以考虑将抗量子密码用于具备常规信息系统(具备常规的网络、计算机能力),而 QKD 则用于少量具备外接 QKD 线路接口的重点节点的密钥分发,而且在保护数据时,可以同时结合二者的密钥。同时,QRNG 为整个系统提供高质量的随机数支持,增强系统的安全性。具体设计流程包括:系统设计与规划:分析现有信息系统的安全需求,确定需要保护的关键数据和通信链路;设计混合过渡方案的整体架构,包括抗量子密码算法的选择、QKD 系统的部署位置以及 QRNG 的集成方式。抗量子密码算法部署:在需要长期保护的数据存储系统和密钥管理系统中部署抗量子密码算法;对现有系统进行升级,以支持抗量子密码算法的运行和密钥管理。QKD 系统部署:在通信双方之间部署 QKD 系统,确保密钥的安全分发。QRNG 集成:将 QRNG 集成到密码学应用中,为密钥生成、加密和数字签名过程提供高质量的随机数;对 QRNG 进行定期验证,确保其生成的随机数满足安全要求。抗量子密码技术与应用白皮书95 混合加密策略实施:制定混合加密策略,结合抗量子密码和经典密码的优势,对关键数据进行加密保护;在数据传输过程中,利用 QKD 实时分发密钥,并利用抗量子密码对长期密钥进行保护。系统测试与评估:对混合过渡方案进行全面测试,评估其性能、稳定性和安全性;根据测试结果对方案进行优化和改进。实现效果分析:增强安全性:通过结合抗量子密码、QKD 和 QRNG,混合过渡方案能够显著提升信息系统的安全性,有效抵御量子计算的潜在威胁。保障连续性:在密码分析相关量子计算机可用之前,混合过渡方案能确保信息系统的连续性和稳定性,避免因算法升级或系统更换而导致的服务中断。灵活性与可扩展性:混合过渡方案具有良好的灵活性和可扩展性,可根据实际需求调整抗量子密码算法、QKD 系统和 QRNG 的配置,以适应不同的应用场景和安全需求。安全性分析:算法安全性:抗量子密码算法能有效减缓量子计算的攻击。密钥分发安全性:QKD 基于量子力学原理分发密钥,能够提供信息论上的安全保证,即密钥分发过程中不会泄露任何信息。随机数质量:QRNG 生成的随机数具有高质量和高不可预测性,为加密过程提供了坚实的基础。混合加密策略:结合抗量子密码和经典密码的混合加密策略能够实现双重安全保障,在抵御量子攻击的同时保持与现有系统的兼容性。综上所述,混合过渡方案通过结合抗量子密码、QKD 和 QRNG 的优势,构建了一个既安全又可持续的信息系统。该方案不仅能够有效抵御量子计算的潜在威胁,还能够保障信息系统的连续性和稳定性。随着量子技术的不断发展,混合过渡方案将成为未来信息系统安全的重要保障。抗量子密码技术与应用白皮书964 应用篇应用篇“学以致用学以致用。”-送薛仲章之宪司书吏序送薛仲章之宪司书吏序抗量子密码技术与应用白皮书97“知行相资以为用知行相资以为用,唯其各有致功唯其各有致功,而亦各有其效而亦各有其效,故相资以互用故相资以互用。”-王王夫之礼记章句夫之礼记章句中庸衍中庸衍随着量子计算技术的不断进步,传统密码学面临着严峻的挑战。特别是在政务、金融、通信、能源等关键领域,信息安全的保障变得尤为重要。在这些领域中,现有的密码算法可能在量子计算机面前存在脆弱性,从而危及敏感数据甚至整个业务系统的安全性。因此,抗量子密码产品的研发和应用显得尤为迫切。金融领域的密码产品改进必须紧跟量子计算发展的步伐。银行和证券系统依赖于现有的密码算法来保护交易数据和客户信息。为应对量子威胁,我们需要开发和验证抗量子密码产品,以确保交易安全和数据隐私。通过抗量子密码技术的试点应用,识别并解决实际应用中的问题,提升金融系统的安全性和稳定性。在通信领域,通信加密是保护用户隐私和国家安全的核心。试点应用抗量子密码技术不仅能够检测其在现实环境中的性能,还能验证其在不同通信协议和网络架构中的兼容性。这将帮助我们优化抗量子密码应用方案,确保通信内容的保密性和完整性。电力领域中的智能电网和能源管理系统同样面临量子计算的挑战。抗量子密码技术的应用试点将有助于评估其在保护电网数据和控制指令方面的有效性。通过实地测试,我们可以改进技术细节,增强系统的安全性,确保电力基础设施的安全稳定运行。总之,抗量子密码的产品改进和技术验证至关重要。通过在金融、通信和电力等领域的试点应用,我们能够更好地理解其实际效果,优化技术方案,完善技术标准,提升密码产品,从而为未来的安全挑战做好充分准备。这不仅有助于保护当前的信息系统,还为应对量子计算带来的新威胁提供了坚实的技术保障。4.1 手机银行系统抗量子密码应用方案手机银行系统抗量子密码应用方案手机银行是银行利用智能手机、PAD 和其他移动设备等实现用户与银行对接,为用户提供金融服务,允许用户进行账户管理、转账汇款、支付结算、贷款管理等抗量子密码技术与应用白皮书98多种操作。手机银行系统具备高度的便捷性和实时性,使用户能够随时随地处理金融事务,还通过多重身份验证、数据加密、协同签名等技术,确保用户资金安全。4.1.1 现状分析现状分析手机银行作为银行业务的移动端延伸,不可避免地会暴露在互联网环境中,需要应对各种网络安全挑战与威胁。一旦手机银行系统遭受攻击或数据泄露,将会导致客户资产损失。当前银行业手机银行密码应用现状如下:图 4-1 手机银行密码应用现状手机银行使用的密码产品与密码算法如表 4-1 所示。表 4-1 手机银行密码产品与密码算法使用现状使用对象使用对象密码产品密码产品密码算法密码算法手机银行系统SSL 安全网关SM2、SM3、SM4密码服务平台SM2、SM3、SM4金融数据密码机SM2、SM3、SM4手机银行 APP智能终端密码模块SM2、SM3、SM4手机银行使用的密码技术及其流程如表 4-2 所示。表 4-2 手机银行密码技术应用现状密码技术密码技术流程描述流程描述用户身份鉴别手机银行身份鉴别是采用双因素认证机制,一般模式是静态口令 动态认证码或生物特征识别。手机银行 APP 调用智能终端密码模块,以抗量子密码技术与应用白皮书99数字信封方式对手机银行 APP 中的静态密码、短信认证码进行加密保护,手机银行系统调用密码服务平台/密码机进行验证。传输通道加密手机银行 APP 与银行系统侧 SSL 安全网关建立链路通道,对手机银行交易的传输通道进行机密性和完整性保护。交易抗抵赖性对于大额转账的需求,非同名转账单日累计金额超过 5 万元,采用了数字签名等安全可靠的支付指令验证方式,即手机银行 APP 调用智能终端密码模块进行签名,银行系统侧进行验签,从而保障交易过程不可抵赖性。报文传输加密手机银行 APP 调用智能终端密码模块,通过数字信封密码技术对交易数据进行机密性、完整性保护,银行系统侧调用密码服务平台/密码机进行完整性校验、数据解密。以上密码技术中使用的密码算法面临着量子计算的威胁。因此,加强手机银行的安全性视为一项紧迫而重要的任务。4.1.2 迁移方案迁移方案(1)迁移思路)迁移思路在手机银行现有密码体系的基础上,引入抗量子密码算法,增强手机银行交易的安全性,在整个迁移进程中,支持抗量子密码算法与现有密码算法并行使用,实现向抗量子密码算法的平滑过渡,不影响手机银行业务交易的正常运行。(2)迁移范围)迁移范围表 4-3 手机银行抗量子密码迁移范围使用对象使用对象原密码产品原密码产品升级产品升级产品支持的抗量子密码算法支持的抗量子密码算法手机银行系统SSL 安全网关升级同时支持抗量子抗量子 SSL安全网关安全网关Kyber、Dillithium、SPHINCS 、FALCON、Aigis-enc、Aigis-sig、LAC.PKE密码服务平台升级同时支持抗量子密码抗量子密码服务平台服务平台Kyber、Dillithium、SPHINCS 、FALCON、Aigis-enc、Aigis-sig、抗量子密码技术与应用白皮书100LAC.PKE金融数据密码机增加支持抗量子金融数据抗量子金融数据密码机密码机Kyber、Dillithium、SPHINCS 、FALCON、Aigis-enc、Aigis-sig、LAC.PKE手机银行 APP智能终端密码模块升级同时支持抗量子智能支持抗量子智能终端密码模块终端密码模块Kyber、Dillithium、SPHINCS 、FALCON、Aigis-enc、Aigis-sig、LAC.PKE(3)方案描述)方案描述手机银行迁移抗量子密码算法后的总体架构如图 4-3 所示,其中密码系统组成包括:抗量子密码服务平台抗量子密码服务平台:同时支持国密算法、抗量子密码算法,兼容原密码服务平台国密服务功能。抗量子金融数据密码机抗量子金融数据密码机:同时支持国密算法、抗量子密码算法。原金融数据密码机原金融数据密码机:支持国密算法,属于手机银行使用的原密码机。抗量子抗量子 SSL 安全网关安全网关:同时支持国密算法、抗量子密码算法,兼容原 SSL安全网关功能。抗量子智能终端密码模块抗量子智能终端密码模块:支持国密算法、抗量子密码算法,兼容原智能终端密码模块国密服务功能。抗量子密码技术与应用白皮书101图 4-2 手机银行抗量子密码迁移总体架构引入抗量子密码算法后,手机银行的安全流程描述如下:用户身份鉴别用户身份鉴别手机银行 APP 新版本集成抗量子智能终端密码模块,通过抗量子密码算法对手机银行 APP 中的静态密码、短信认证码进行加密保护,手机银行系统调用抗量子密码服务平台或抗量子密码机进行验证。传输通道加密传输通道加密抗量子 SSL 安全网关同时支持国密算法与抗量子密码算法,根据手机银行 APP新旧版本自动适配。交易抗抵赖性交易抗抵赖性涉及大于 5 万元的大额支付,手机银行 APP 新版本调用抗量子智能终端密码模块进行混合签名(国密算法 抗量子算法),手机银行系统调用抗量子密码服务平台完成验签。报文传输加密报文传输加密手机银行 APP 新版本调用抗量子智能终端密码模块,通过抗量子密码算法对交易数据进行保护,手机银行系统调用抗量子密码服务平台或抗量子密码机进行完整性校验、数据解密处理。结合手机银行业务特点,秉持平滑过渡原则,对于还未升级改造的手机银行APP 旧版本,在身份鉴别、传输通道、交易抗抵赖、报文传输加密方面继续采用抗量子密码技术与应用白皮书102原国密算法,银行系统侧使用同等密码算法进行处理。在手机银行系统中通过混合密码方案,对当前系统中的密码产品进行替换,使终端侧和平台侧逐步实现对抗量子密码体系的支持,既不影响业务的连续性,也完成了体系化的安全升级。4.2 证券网上交易系统抗量子密码应用方案证券网上交易系统抗量子密码应用方案证券网上交易系统是投资者通过互联网完成相关证券交易业务的通道,承载的业务主要包括证券 AB 股业务、债券业务、开放式基金业等,也是目前证券公司面向投资者展业的主要途径之一。网上交易系统主要分为投资者客户端和接入服务区两个部分,以互联网作为主要通信信道承载行情推送、委托指令下单、操作查询等业务功能。4.2.1 现状分析现状分析目前密码的应用实施主要集中在安全信道和身份鉴别两个方面,其中安全信道既实现在通信前通信双方实体的身份鉴别,也实现传输通道内的数据机密性、完整性保护,投资者身份鉴别采用资金账号 口令并结合数字签名的方式实现,如下图所示。图 4-3 证券网上交易系统 PKI 密码应用面对量子计算的威胁,需要解决网上交易系统的 SSL 协议中数字签名、公私钥加解密安全和身份鉴别过程中的数字签名安全。抗量子密码技术与应用白皮书1034.2.2 迁移方案迁移方案我们充分调研现有抗量子密码算法,在密钥封装、数字签名、密钥交换和构造密码应用等方面,充分研究抗量子密码算法的密钥尺寸、计算速度和通信开销等内容。抗量子密码算法替换现有的公私钥算法后,相应的密码模块和密码产品同步要支持抗量子密码运算的能力,包括抗量子协同签名系统、抗量子 SSL 网关、抗量子密钥管理系统和抗量子数字证书系统(CA)。实现抗量子算法的网上交易系统改造后如下图所示。图 4-4 网上交易系统抗量子密码应用在证券网上交易系统中使用了全系列抗量子密码产品,并采用混合密码方案,实现了身份鉴别、安全通信、交易签名等重要密码使用场景的安全升级。4.3 证券集中交易系统抗量子密码应用方案证券集中交易系统抗量子密码应用方案证券集中交易是区别于非集中交易而言的,是指证券在证券交易所以公开、集中的方式进行买卖的交易方式,是证券流通的主要途径和证券交易的核心。集中交易系统的接入终端主要是网上交易服务端、柜员管理端。投资者通过网上交易服务端将请求发送到集中交易系统,集中交易系统通过业务逻辑合法性校验后,存储委托信息,后续按照交易所、银行等不同机构规定的技术协议将委托数据报送至对应的上游机构并接收回报数据。该业务链路涉及信息主要有:客户口令、客户个人信息、委托信息,其中客户口令、客户资料含敏感信息。证券公司柜员通过柜员管理抗量子密码技术与应用白皮书104端接入到集中交易系统,维护客户资料、系统运行参数等,其中柜员口令、客户资料含敏感信息。4.3.1 现状分析现状分析集中交易系统分为内网办公区、渠道服务区、营业部区、核心服务区和运维管理区几个网络区域,根据集中交易系统的部署方式和实现业务功能,集中交易系统应用部署架构如下图所示。图 4-5 集中交易系统网络拓扑集中交易核心系统是证券行业最为关键的业务应用领域,加强系统自身对于密码技术的安全使用,确保物理和环境安全、网络和通信安全、设备和计算安全、应用和数据安全具有高度的复杂性、紧迫性和挑战性。涉及到非对称密码算法的安全需求包括:物理和环境安全中的监控记录、视频完整性保护过程如果采用了现有的公钥密码技术则需要更新为抗量子密码算法;抗量子密码技术与应用白皮书105 网络和通信安全中的身份鉴别过程、网络认证协议中的公钥密码算法需要更新为抗量子密码算法;设备和计算安全中的中间件、交易程序、接入认证程序等重要可执行程序需要进行完整性保护和来源有效性认证,以上过程中如果采用现有的公钥密码算法实现则更新为抗量子密码算法;应用和数据安全中网上交易服务、柜员身份鉴别过程中如果采用了现有的公钥密码算法则需要更新为抗量子密码算法。4.3.2 迁移方案迁移方案我们发挥自身在密码芯片、密码板卡、密码整机等产品侧优势,结合在抗量子方向的技术研究对集中交易系统的关键业务节点进行改造调整,替换和完善抗量子密码的应用。系统抗量子密码应用技术整体框架包含:密码资源层、密码支撑层、密码服务层和密码应用层,通过正确部署密码产品来满足本系统的密码应用需求,如下图所示。图 4-6 集中交易密码实施架构对应到密码应用需求,密码支撑层部署实施的主要产品和作用如下:抗量子密码服务平台提供所有密码设备的统一管控和资源分配,对上层提供统一密码服务;抗量子 CA 提供基于抗量子技术的数字证书签发和管理服务;抗量子密码技术与应用白皮书106抗量子密码机提供现有可用的 SM4 等对称运算能力,SM3 哈希运算能力和抗量子密码运算能力;抗量子密钥管理系统对系统内各类密钥、用户 PIN 等信息统一管理;主机文件保护系统提供对各类型服务器内文件的完整性保护能力;抗量子 SSL VPN 采用抗量子密码算法实现安全网络协议,提供身份鉴别和传输数据保护能力;抗量子视频监控一体机提供基于抗量子密码算法实现对监控音视频进行透明化签名的完整性保护能力;安全电子门禁实现对机房区域进出人员身份鉴别和记录的完整性保护能力。4.4 移动通信移动通信 4A 系统抗量子密码应用方案系统抗量子密码应用方案4A 统一安全管理平台是一个以身份为中心,实现帐号、认证、授权和审计统一管控的安全访问平台。它可为移动网络系统提供综合安全防护,其核心目的是提高系统的安全性、管理效率和用户访问的便捷性。其核心包括账号(Account)管理、认证(Authentication)管理、授权(Authorization)管理和安全审计(Audit)。这一系统为企业 IT 系统提供综合安全防护,通过集中的帐号管理、身份认证、授权管理和安全审计等功能,为企业提供强健的、基于统一策略的解决方案,解决企业内控等问题,降低管理成本,提高系统安全性和政策符合性。抗量子密码技术与应用白皮书107图 4-7 4A 系统网络拓扑图4.4.1 现状分析现状分析移动通信 4A 系统目前已经依据 GB/T 39786-2021 信息安全技术 信息系统密码应用基本要求 安全三级指标要求进行建设,采用密码技术的机密性功能来实现鉴别信息的防窃听需满足要求中网络和通信安全的身份鉴别、访问控制信息完整性、通信数据完整性、通信数据机密性和集中管理通道安全的相关要求,密码应用保障框架设计如下:抗量子密码技术与应用白皮书108图 4-8 4A 系统密码应用保障框架目前,量子计算给现有密码技术应用体系带来巨大威胁,总体来看,量子计算对公钥密码算法威胁较大,给当前 4A 系统密码应用安全构成一定威胁。因此,使用抗量子密码技术显得尤为重要,以保护系统的安全。4.4.2 迁移方案迁移方案我们将抗量子密码技术应用于实际产品中,实现了抵御“量子威胁”的特性。在4A 系统现有密码体系的技术上,引入抗量子密码算法,采用抗量子产品体系,逐步实现从传统密码算法迁移到抗量子密码的算法过程,增强用户身份鉴别的安全性,实现系统重要数据传输、存储的安全性。抗量子密码技术与应用白皮书109图 4-9 4A 系统抗量子密码迁移架构抗量子密码算法替换现有的密码算法后,相应密码产品需支持抗量子密码运算的能力,包括抗量子密码服务平台、抗量子 IPSec/SSL VPN 网关、抗量子智能密码模块和抗量子数字证书系统,实现 4A 系统抗量子密码平滑迁移。4.5 移动通信移动通信 OMC 系统抗量子密码应用方案系统抗量子密码应用方案电信核心网操作维护中心 OMC 在电信管理网络体系结构中负责网元的管理,具有集中的故障管理、配置管理、性能管理、安全管理及集中的操作维护功能,同时向网络层网管系统提供北向接口功能,是电信运营维护系统的基石,在保证电信网络的稳定性和可靠性方面起着重要的作用。4.5.1 现状分析现状分析OMC 网管一般部署在网络云上,采用虚拟化方式部署,部署在网管区域。用户通过 4A 系统身份鉴别后,在堡垒机上采用 BS 模式访问 OMC 网管,对网元进行集中管理。目前针对于 OMC 系统的密码应用主要集中在安全通道层面和 OMC 网管重要数据(用户口令、控制指令、操作日志)安全存储层面,其中安全通道采取在堡垒抗量子密码技术与应用白皮书110机上部署国密浏览器结合 OMC 系统前部署的 SSLVPN 安全网关实现,重要数据存储采用调用密码服务平台加解密和完整性接口实现。4.5.2 迁移方案迁移方案抗量子密码迁移意味着所有密码产品系统均需进行升级,包括密码服务平台、云服务器密码机、签名验签服务器、密钥管理系统、数字证书认证系统、VPN 安全网关等密码产品需要全面更换。图 4-10 移动通信 OMC 系统抗量子密码迁移过程在 OMC 系统中使用抗量子密码产品,实现了安全通信、重要数据加密存储等重要密码使用场景的安全升级。1、在堡垒机上安装国密浏览器,与 OMC 前部署的抗量子 VPN 安全网关建立GMSSL 通道,实现堡垒机到 OMC 之间数据安全传输。2、OMC 系统调用抗量子密码服务平台的密码能力(调用抗量子云服务器密码机),实现重要数据存储的机密性和完整性保护。3、采用抗量子签名验签服务器完成系统签名验签工作。4、采用抗量子密钥管理系统完成系统中密钥的全生命周期管理。5、采用抗量子数字证书系统完成系统所用证书的全生命周期管理。4.6 电力监控系统抗量子密码应用方案电力监控系统抗量子密码应用方案电力监控系统是电力系统中用于实时监控、管理和调度的重要组成部分,其主要功能包括实时数据采集与监控、故障检测与报警、数据分析与预测、远程控制与抗量子密码技术与应用白皮书111调度以及历史数据存储与管理。系统通过从各个发电、输电和配电设备中采集实时数据,包括电压、电流、功率和频率等参数,对电力系统的运行状态进行全面监控。故障检测与报警功能能够及时发现系统中的故障,并通过报警系统通知相关人员,快速采取措施进行处理,减少电力中断和损失。数据分析与预测功能则对采集的数据进行深入分析,预测电力需求和设备运行状态,为调度决策提供科学依据。远程控制与调度功能通过控制系统,实现对电力设备的远程操作和调度,优化电力资源配置,提高系统运行效率。历史数据存储与管理功能则负责保存和管理历史数据,支持后续的分析和决策。电力监控系统的主要特点包括高可靠性、高实时性、高安全性和可扩展性。系统需要 7x24 小时不间断运行,确保电力系统的安全稳定。数据采集和处理要求具有高度的实时性,保证监控和调度的及时性。为了保护系统数据的机密性、完整性和可用性,系统采用了多层次的安全防护措施,防止数据泄露和篡改。此外,系统还支持灵活的扩展,以适应未来电力系统的发展和不断变化的需求。这些功能和特点共同确保了电力监控系统能够在复杂多变的电力环境中稳定高效地运行。4.6.1 现状分析现状分析电力监控系统的实时监控和调度需要大量的实时数据传输,包括电力实时指令类数据、用电采集数据和营销管理数据等,数据传输涉及电力调度数据网、综合数据网的“云、管、边、端”各个环节,整体呈现出网络边界和网络区域复杂、数据实时性要求较高等特点,并且随着国家快速发展新能源整体战略,增加了电力系统端侧设备接入数量,电力涉控、涉敏数据一旦被截获或篡改,可能导致控制指令的错误下发,影响电力系统的稳定运行,甚至引发大范围的电力中断。同时,电力生产及用电数据对国家电力基础设施的运营决策起到关键性作用,采用商用密码技术对电力监控系统防护成为必要手段。目前电力监控系统广泛使用对称密码算法和公钥密码算法来确保数据传输和存储的安全。电力监控系统通过纵向加密认证装置实现上下级主站、电网和电厂之间通信双方身份鉴别,通过安全认证设备实现物联终端到主站安全接入区之间的接入认证和数据安全传输,通过服务器密码机为电力监控系统采集和控制指令数据提供存储机密性和完整性保护。随着量子计算技术的发展,传统的密码算法在电力复杂的网络结构和海量的终抗量子密码技术与应用白皮书112端侧设备接入场景下将面临更高的风险。电力监控系统作为电力系统的核心,因此需要研究抗量子密码技术与电力基础设施的融合,保护电力生产数据、运营管理数据全生命周期的机密性和完整性,保障关键信息基础设施在量子时代的安全性,确保电力系统的安全和稳定运行。4.6.2 迁移方案迁移方案电力监控系统具有高实时性和高安全性等业务特点,为了确保业务的可靠运行,通过在现有密码产品中增加抗量子密码模块,提供具有抗量子密码能力的密码产品,在业务应用过程中采用传统密码算法和抗量子密码算法双体系并行的混合模式,实现电力监控系统业务的平滑过渡和系统的稳定运行。图 4-11 电力系统抗量子密码产品迁移架构(1)安全传输通信迁移安全传输通信迁移电力监控系统与发电厂、各类业务终端之间的数据传输通过纵向加密认证装置、抗量子密码技术与应用白皮书113安全认证网关实现通信实体的身份认证和数据传输过程中的机密性完整性保护。迁移过程中首先由抗量子密码模块实现通信双方的双向认证和密钥协商,实现与现有安全传输协议的兼容;然后,将抗量子密码协议集成到现有纵向加密认证装置、安全认证网关密码产品中。在电力系统中上传采集数据和下发指令数据时,抗量子密码产品采用抗量子密码安全传输协议与传统密码安全传输协议同时兼容的业务模式,实现电力监控系统抗量子密码应用的平滑过渡和系统的安全稳定运行。(2)用户身份用户身份鉴别鉴别迁移迁移现有电力监控系统在身份鉴别与访问控制方面使用基于 SM2 算法的智能密码钥匙。为了提高系统的安全性,通过抗量子密码模块与现有智能密码钥匙、服务器密码机产品相结合,提供具有抗量子能力的密码产品。在迁移过程中,引入基于抗量子密码技术的智能密码钥匙和服务器密码机,确保电力监控系统用户登陆时身份鉴别和访问控制的安全性。抗量子密码产品结合了传统的 SM2 算法和抗量子密码算法,在过渡期间同时支持传统和抗量子签名技术,确保系统内所有设备和用户的身份鉴别安全。在电力监控系统中,主要通过部署抗量子密码产品解决身份鉴别和安全通信的密码应用需求,也为将来在电力领域中其他业务系统的抗量子密码方案迁移提供有价值的示范作用。抗量子密码技术与应用白皮书1145 展望篇展望篇“极往知来极往知来。”-迎长日赋迎长日赋抗量子密码技术与应用白皮书115“不谋万世者,不足谋一时;不谋全局者,不足谋一域。不谋万世者,不足谋一时;不谋全局者,不足谋一域。”-陈澹然陈澹然迁都建迁都建藩议藩议随着量子计算技术的不断进步,尤其是量子比特稳定性和纠错能力的提升,量子计算对经典密码体系的威胁日益严峻,抗量子密码(Quantum-resistantCryptography,Post-quantum Cryptography,PQC)技术的重要性更加凸显,如何构建面向未来的量子安全密码框架尤为迫切。各国政府和国际组织正在积极推动抗量子密码技术的标准化进程,科研机构到商业公司亦在竞相研发更加高效、安全的抗量子密码产品与系统,为应用系统迁移到抗量子密码做好准备。抗量子密码技术正处于从技术突破向产业应用过渡的关键时期,其发展态势十分迅猛。“行之力则知愈进,知之深则行愈达。”展望未来,抗量子密码技术与应用将呈现以下趋势:一是标准化进程加速推进。随着国内外抗量子密码技术标准的不断完善和实施,技术合规性和互操作性将得到进一步保障;二是技术持续创新。技术不断创新将推动抗量子密码算法向着更高效、更安全、更易用、多样化方向发展,以满足不同应用场景需求;三是产业生态日趋成熟。随着产业链上下游企业的共同努力,抗量子密码技术的产业生态将逐渐完善,“产学研用测管”渐成体系;四是应用不断推进。应用场景不断拓展及融合创新,抗量子密码技术将在金融、通信、能源到云计算、物联网等重要领域得到广泛应用,并逐步渗透到日常生活的各个方面;五是国际合作更加深化。国际合作和政策支持将为抗量子密码技术的全球化发展、共同应对量子计算带来的挑战,提供更加坚实的基础。总体而言,抗量子密码技术将迎来更加广阔的发展前景与机遇。5.1 标准规范逐步出台标准规范逐步出台目前,包括国际标准化组织(ISO)、国际电工委员会(IEC)以及国际电信联盟(ITU)、Internet 工程任务组(IETF)等在内的多个国际组织已经开始关注并着手抗量子密码标准的制定工作,各国政府及地区性标准化机构也在积极参与抗量子密码标准的制定。在抗量子密码算法方面,2024 年 8 月,美国国家标准与技抗量子密码技术与应用白皮书116术研究院(NIST)正式发布 ML-KEM(FIPS 203)、ML-DSA(FIPS 204)及 SLH-DSA(FIPS 205),后续可能还会发布其他新的抗量子密码算法标准。我国抗量子密码算法基于 NTRU 的密钥封装机制、基于 SM3 的带状态数字签名算法正在标准化进程中;在安全协议标准化方面,IETF 着力于 TLS、IPSec、SSH 等引入对抗量子密码算法的支持。抗量子密码标准化将有利于产业链进行设计、实现、测试和安全性评估,并对密码产品进行准入检测及互操作性验证等。此外,行业标准化也将成为抗量子密码标准发展的重要路径。金融、通信、电力等关键行业将根据自身的业务特点和安全需求,制定行业特定的抗量子密码标准,以确保行业内系统的互联互通与安全可控。未来几年中,抗量子密码标准与安全协议的发展将呈现以下趋势:一是标准化进程将加速推进并不断完善,以适应新的技术环境和安全需求;二是围绕抗量子密码算法应用的量子安全协议、混合加密协议、密码算法标识、消息语法、应用协议、抗量子密码功能与服务接口等技术规范必将出台,以应对不同应用场景的安全需求;三是产品检测认证体系将同步推进,以促进供应链产品的市场准入、安全性及互操作性;安全性评估与验证工作将不断加强,以确保抗量子密码算法的有效性与稳定性。预计在未来几年内,我们将看到更多的抗量子密码算法被纳入标准,形成涵盖技术设计与实现、测试与认证、应用与密评的规范体系,这将有力推动抗量子密码技术的发展,促进其在各个领域的广泛融合应用。5.2 技术研究持续创新技术研究持续创新抗量子密码技术不断创新将推动抗量子密码算法向着更高效、更安全、更易用、多样化方向发展。未来几年,抗量子密码研究与技术创新可能在以下方面取得进展:(1)抗量子密码算法设计思路或方向方面。目前已纳入标准化的抗量子密码算法基于格或哈希设计,未来的抗量子密码算法设计将不仅仅局限于基于格、编码、哈希或多变量等方向,还可能在其他新兴数学难题方面进行有益的探索,如基于同态加密、同源密码学等。抗量子密码算法的设计将更加注重数学理论基础、可证明性安全及各环境下可优化设计,确保算法在量子计算环境下的安全性;高效的算法能节省计算和通信开销,以满足实时性要求较高或资源受限场景下的应用需求。抗量子密码技术与应用白皮书117(2)抗量子密码产品高效安全设计与实现方面。抗量子密码产品将呈现多样化的形态,从密码芯片、密码板卡、密码整机到密码系统,采用模块化设计思路提供敏捷性密码服务,将抗量子密码算法与现有的商用密码技术、量子随机数生成、量子密钥分发等技术相结合等,为市场提供适应于不同场景的选择;产品更注重算法优化设计、增强控制以实现高效性与安全性。针对抗量子密码算法的特点,设计专用硬件加速器,提高算法的运行速度和能效;优化抗量子密码算法的软件实现,提高运算效率;结合抗量子密码算法,设计高效、安全的通信协议,确保信息传输过程中的安全性;将抗量子密码技术集成到现有信息安全产品中,如安全芯片、加密卡、VPN 设备等,提高产品的安全性。此外,抗量子密码产品检测与认证技术逐渐完善,提升产品的密钥管理、非入侵防护等抗攻击能力。(3)抗量子密码与创新技术应用融合方面。未来的抗量子密码产品将更加注重与新兴技术的融合应用。在云计算和边缘计算环境中,为云计算平台提供量子安全的数据保护和服务;为物联网设备提供抗量子密码保护,确保设备之间的安全通信;结合区块链技术,构建抗量子计算攻击的区块链系统,保障区块链信息安全;利用人工智能技术优化抗量子密码算法设计,提高算法性能和安全性。5.3 产业生态日趋成熟产业生态日趋成熟抗量子密码技术的持续发展需要完善的产业生态作为支撑。包括密码算法研究与安全性设计、密码产品生产与检测、密码工程实施与密码应用安全性评估等环节。在政府、学术界、产业界和标准化组织共同努力下,通过政策引导、资金支持、人才培养和技术交流等手段,推动抗量子密码技术的产业化进程。面对抗量子密码技术的演进,产业链各环节正积极调整战略,以应对这一变革。产业发展趋势呈现如下特点:(1)产业生态逐步完善。从政策引导、技术研究、标准制定到产品检测与认证,“产学研用测管”体系正在有序推进。包括抗量子密码迁移策略、通用技术支撑、人才培养、国际合作等方面的全面启动,助力抗量子密码技术的推广。从技术研究来看,抗量子密码的发展不仅限于密码学,还与数学、统计学、计算科学、物理学等多学科紧密相连。在未来的研究中,我们可以期待看到更多跨学科的融合与推动。(2)组织认知显著提升。关键信息基础设施和重要领域的信息系统所有者,抗量子密码技术与应用白皮书118正逐步意识到量子脆弱性带来的潜在风险,并开始系统性调研现状,制定量子安全密码需求清单,编制量子脆弱性风险清单与工程优先级,制定符合本组织需求的抗量子迁移方案,推动抗量子密码技术在金融、通信、能源等重要领域的应用与落地。(3)量子安全产品渐趋成熟。信息系统提供商,尤其是密码产品与服务提供商,正在加快研发符合密码功能、安全、性能与互操作性要求的抗量子密码产品。产业链上下游企业正携手推进产品化进程,从密码芯片、密码卡、整机到系统,形成多层次的量子安全产品,满足市场多样化需求。(4)政策支持与引导加强。政府在未来发展中有望通过制定政策、提供资金支持、建立产业联盟等方式,推动抗量子密码技术的产业化进程。通过适当的引导,将加速抗量子密码技术在国内的推广与应用,助力其在各行业中的广泛落地。展望未来,随着抗量子密码技术的不断发展和应用,其产业生态也将逐步完善。高校和科研院所将在基础研究与技术创新中持续发挥关键作用,推动技术不断进步;企业则将成为技术产业化的核心力量,投入大量资源开发抗量子密码产品,并积极参与标准化工作,确保技术的合规性和互操作性。此外,安全服务提供商将在技术应用与推广中提供咨询、实施、维护等支持,帮助用户更好地部署抗量子密码解决方案,并与用户携手探索不同领域的应用场景和商业模式。5.4 应用示范有序推进应用示范有序推进理论的完善和技术的进步需要在实际应用中得到验证和推广。在抗量子密码技术领域,通过在不同行业和领域开展应用示范项目,可以加速技术的普及与成熟。关键信息基础设施与重要领域可优先考虑部署抗量子密码产品,以提高系统的安全性和可靠性。推进应用示范可行举措包括:(1)选取具有代表性的行业和领域,开展抗量子密码技术应用试点,总结经验教训,形成可复制、可推广的实施方案。通过公开示范项目的成果案例和经验总结,可以为其他行业和领域提供参考和借鉴,从而推动抗量子密码技术的广泛应用。(2)加大宣传力度,提高全社会对量子计算威胁的认识,增强抗量子密码技术应用的紧迫感和责任感。(3)开展抗量子密码技术培训,提高专业人员的技术水平,为应用示范项目的顺利实施提供人才保障。抗量子密码技术与应用白皮书119(4)建立抗量子密码技术应用评估体系,对示范项目进行持续跟踪和评估,确保项目实施效果。未来几年,行业应用向抗量子密码迁移,将呈现如下特点:一是关键领域或重要行业率先迁移。一些对信息安全要求极高的关键行业如金融、通信、电子政务等将率先进行抗量子密码技术的迁移,以保护敏感信息和关键数据;二是逐步替代传统密码技术。抗量子密码迁移将是一个渐进的过程,涉及算法选择、系统改造、应用适配等多个环节;三是跨领域应用与融合。我们可以期待抗量子密码技术在更多领域的应用和融合。抗量子密码技术将在物联网、云计算、大数据等新兴领域广泛应用,并可能与区块链、零知识证明等技术融合,形成更完善的安全保障体系。展望未来,抗量子密码技术的应用领域将得到进一步拓展和深化。预计在未来几年内,我们将看到抗量子密码技术在金融、通信、电子政务等领域得到广泛应用和推广。这一有序推进的应用示范将充分展现抗量子密码技术的实际应用价值,推动其在更广泛领域的落地与发展。(1)在金融领域,抗量子密码技术将在银行、证券、保险等金融机构的信息系统中广泛应用,以保护客户敏感信息与交易数据的安全性与完整性。同时,金融领域将积极探索其在区块链、数字货币等新兴领域中的应用。(2)在通信领域,抗量子密码技术将被应用于移动通信网络、互联网等通信系统中,以保护用户的通信与内容。同时,通信领域将积极探索其在物联网、车联网、下一代通信网络等新兴领域中的应用。(3)在电子政务与国防领域,抗量子密码技术将被用于保护国家敏感信息与重要数据;同时,政府将积极探索抗量子密码技术在云计算、大数据等新兴领域的应用;国防领域如在军事指挥控制、星链通信系统中使用抗量子密码算法,可以显著提高军事通信的安全性,防止敌对势力的窃听和篡改。总之,抗量子密码技术将迎来更加广阔的发展前景和机遇。随着标准化进程的加速推进、产业生态的逐步完善以及应用示范的有序推进,抗量子密码技术将在未来得到更广泛的应用和发展,为构建安全可信的数字化社会提供坚实的安全保障。5.5 国际合作更加深化国际合作更加深化各国量子国家战略或量子科学技术计划均强调了国际合作的重要性。国际合作抗量子密码技术与应用白皮书120和政策支持将为抗量子密码技术的全球化发展、共同应对量子计算带来的挑战,提供更加坚实的基础。未来几年中,我国抗量子密码算法标准将会出台,并将积极参与国际量子科技联盟和标准制定,争取纳入国际标准体系,提升我国在全球抗量子密码领域的地位。为建设高素质密码人才体系,将加强在人才培养、学者互访、技术交流等领域的国际合作,为我国经济社会的持续发展提供新的动力。“凡益之道,与时偕行。”随着我国抗量子密码产业生态的逐步完善,自主研发的抗量子密码技术与产品将走出国门,服务于一带一路及其他海外市场,增强国际话语权,提升我国在量子科技领域的影响力。抗量子密码技术与应用白皮书1216 附录附录6.1 术语解释术语解释(1)抗量子密码(Quantum-resistant cryptography):抗量子密码是指能够抵抗量子计算机攻击的新一代密码算法。抗量子密码也称为后量子密码(P