异构融合计算技术白皮书,2023年,工业和信息化部电子第五研究所2023年9月I编写者参编单位,浪潮电子信息产业股份有限公司,上海矩向科技有限公司,中国电信研究院,清华大学,中国科学院软件研究所,国防.
联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书2序言随着二十大的召开,中国式的现代化加速开启新一轮以实体经济为发力点强国进程,制造强国,质量强国,科技强国,航天强国,数字中国的战略不断纵深推.
点击查看更多阿里云:2023阿里云ClickHouse 企业版技术白皮书(30页).pdf精彩内容。
高速全光网和新型光纤关键技术探讨张德朝中国移动研究院基础网络技术研究所2023年9月5日2目录算力网络驱动全光网发展1新型全光网关键技术演进23主线三面向创新技术引领主线一面向算网基础设施构建主线二面向业务融合创新完善算网资源布局,夯实算力网络底座,增强设施供给能力实现算网高效协同,支持CHBN业务融合发展,创新平台服务能力实现创新技术引领,打造原创技术策源地,深化技术赋能能力中国移动提出“算力网络”全新理念,从三条主线系统性推进算力网络发展,加快构建基础设施、平台服务和技术赋能三位一体的新型服务能力中国移动算力网络总体策略推动光网络核心技术创新,打造算力网络坚实底座,构建“连接 算力 能力”的新型信息服务体系光网络基础设施SPNOTNPON算力基础设施边缘算力大区算力中心算力4面向算力网络对光网络的新需求,通过五大关键技术举措,推进超大带宽、灵活调度、泛在接入、前沿技术创新,构建基于400G高速互联的灵活高效的新型全光网技术架构面向算力网络构建新型全光底座接入省域/区域骨干OTN/OXCOTN/OXCOTN PON地市20ms时延圈5ms时延圈1ms时延圈400GOTN/OXC新型全光架构灵活高效 三级时延圈超大带宽400G灵活调度OXC ODU fgOTN泛在接入50G PON FTTR前沿技术800G 空芯光纤及系统5目录算力网络驱动全光网发展1新型全光网关键技术演进2-超大带宽-泛在接入-前沿技术6超大带宽-400G超高速光传输面临哪些技术挑战面向1000 公里长距传输的骨干网基本需求,400G超高速光传输系统需开展多维度技术攻关,破解单通道速率提升带来的传输能力下降难题重大挑战器件带宽提升至少3倍OSNR容限劣化至少6dB波段范围增加至少200q00G规模应用已历经10年,400G是开启骨干网下一个周期的重大变革性代际技术中国移动400G技术研究历程5年来,历经4次现网试点和多次实验室验证,中国移动已就400G进行持续性的系统研究和攻关京津济宁现网试点(2018.8)调制格式:16QAM光纤:G.654E放大:EDFA波段:C6T603km(5.3dB余量)实验室测试 (2021.8)调制格式:16QAM-PCS光纤:G.652D/G.654E放大:EDFA/拉曼EDFA混合波段:C4T/C6T1120kmG.652D(6dB余量)1700kmG.654E(7dB余量)辽宁沈大现网试点 (2021.11)调制格式:16QAM-PCS光纤:G.652D/G.654E放大:EDFA/拉曼EDFA混合波段:C4T/C6T1077kmG.652D(6dB余量)1333kmG.654E(8.2dB余量)实验室拟现网测试(2022.8)调制格式:QPSK原型机光纤:G.652D放大:EDFA/拉曼EDFA混合波段:C6T3038km(4.5dB余量)实验室测试(2023.2)调制格式:QPSK原型机光纤:G.652D/G.654E放大:EDFA波段:C6T L6T7000km(2.46dB余量)浙赣湘黔现网试点(2023.2)调制格式:QPSK模块光纤:G.652D放大:EDFA/拉曼EDFA混合波段:C6T/C6T L6T5616km(2.2dB余量)20182021.11:基于16QAM重点推动PCS2021.12至今:推动QPSK走向成熟OFC 2023,W2B.16.ECOC 2019,W.1.A.Scientific Reports,9(17162),2019.ECOC 2019,We3c1.5.ECOC 2019,Tu1A.1.世界最长距离400G光传输技术试验网络基于现网G.652.D光纤实现C6T波段400G QPSK 5616km传输,创现网传输世界记录全球最长距离的纯EDFA经典商用场景80 400G QPSK 1673km现网试验面向经典商用场景G.652.D光纤 EDFA/部分拉曼放大,C6T/C6T L6T2月:总计5616km,跨段数90,预留光纤维护余量(0.06dB/km),过系统后OSNR余量为2.2dB6月:总计6028km,跨段数98,预留光纤维护余量(0.06dB/km),过系统后OSNR余量为2.1dB宁波贵安现网试点路由技术极限能力探索贵安隆回现网试点路由 G.652.D光纤 纯EDFA放大,C6T L6T 总计1673km,跨段数30,预留光纤维护余量(0.06dB/km),过系统后OSNR余量6.4dB400G关键技术1-QPSK是400G骨干长距传输技术方案16QAM-PCSQPSK波特率64GBd 91GBd性能相比16QAM从22dB提升到17dB波特率64GBd 130GBd性能相比16QAM从22dB提升到16dB100GHz间隔,8THz总谱宽150GHz间隔,12THz总谱宽核心器件决定代际,解决130GBd技术难点,通过方案设计、理论分析、试验验证,400G QPSK相对16QAM-PCS有50% 的性能提升,明确成为骨干长距传输解决方案完成现网链路设置下400G QPSK/16QAM-PCS 2018km性能对比链路:现网链路设置下的真实 QPSK/16QAM-PCS性能比较QPSK较16QAM-PCS整体优势提升2dB:B2B OSNR容限1dB 入纤功率 1dBQPSK相比16QAM-PCS,在满足工程维护余量的条件下,基于G.652D传输距离可增加50% 10400G关键技术2-超高速光器件从100G到400G时代,高带宽光电器件、高性能DSP算法、先进芯片制造工艺共同推动信号符号率从30GBd提升四倍至130GBd,满足400G QPSK高性能传输符号速率130GBd 30GBd超高速400G QPSK调制器/接收机新封装:分立集成光电合封有效优化器件带宽oDSP新算法:线性线性 非线性高精度非线性补偿算法提升性能频谱整形非线性补偿优化滤波代价新工艺:14nm5/7nm提升数字信号处理能力与数据吞吐量400G关键技术3-超宽谱有源模块:C6T L6T EDFA此前6THz L波段放大器尚属空白,铒离子在L波段长波增益难以提升,L6T放大效率低、体积大联合产业集中攻关,国内主流厂家已支持分立式12THz EDFA,但仍需进一步提升性能,并向小型化、C L一体化演进性能:总体可用,由于体积更小、铒纤更短,厂家A比厂家B/C差0.41.5dB集成度:厂家A/B仍为C6T、L6T分体,厂家C为C6T L6T同模块实现下一步目标:通过改进掺杂工艺、优化泵浦功率,使L6T-EDFA性能与C6T NF差异1dB,并向C6T/L6T一体化演进厂家A4.16.5dB5.66.9dB4.36.5dB厂家B厂家CL6T波段WSS技术趋于成熟,性能已达到C6T波段WSS水平C L波段WSS由采用分体式设计向一体化的12THz C L波段WSS演进400G关键技术3-超宽谱有源模块:C6T L6T WSS发展现状 C6T、L6T为两套独立的光系统,尺寸一致性能:C、L波段基本一致,插损 40dB 向C6T L6T一体化WSS演进 优化光路设计,减小WSS体积;提升LCoS像素密度,改善一体化WSS的滚降特性演进趋势分体WSS无法实现波段间调度一体化WSS可实现C L全波段调度13400G关键技术4-超宽带光系统架构光层架构链路损伤网络运维难点:C波段(1套)C L波段(2套)方法:光层向一体化演进,降低运维难度难点:标准跨段SRS最大功率转移7dB方法:功率倾斜、放大器斜率配置均衡SRS当前:静态环境均衡后波道平坦度2.5dB未来:平坦度调至0.5dB,并研究动态场景下SRS自适应均衡方案12THz频谱导致光层从1套到2套,同时受激拉曼散射(SRS)成为了新的链路损伤,给系统传输性能和网络运维能力带来全新挑战14400G关键技术5-光纤技术选择:G.652D vs G.654E相比同缆G.652.D光纤,G.654.E承载的同速率系统OSNR余量均有提升(1.82-2.76dB),传输距离可提升30%以上0369OSNR 余量(dB)G.652.DG.654.E200G 16QAM100G200G QPSK400G 16QAMp 100G DP-QPSK:OSNR余量平均提升2.39dB(1539.6km)p 200G DP-16QAM/QPSK:OSNR余量平均分别提升1.82dB(16QAM,1058.9km)/2.76dB(QPSK,1539.6km)p 400G DP-16QAM:G.654.E系统相对G.652.D系统,OSNR余量平均提升1.87dB(136.5km)2.39dB1.82dB2.76dB1.87dB155.5dB OSNR余量容限400G关键技术5-光纤技术选择:G.652D vs G.654E400G时代,采用QPSK在传统G.652D光纤基于EDFA放大可以传输1500km以上,可以满足绝大多数场景需求;G.654E光纤可以延长30%以上的传输距离,满足更长距离场景需求 带工程余量情况:基于G.652D光纤,QPSK无电中继距离可达1652km,基本满足绝大多数应用需求;基于G.654E光纤,可达2245km,传输距离进一步增加36%极限传输距离:在4.2E-2的FEC容限下,G.652D传输3000km,G.654E传输可达5000km实验室超长距环路验证G.652D与G.654.E性能对比400G QPSK环路,C6T L6T,EDFA,跨损22dB传输前和传输5000km后的光谱4.2E-216泛在接入-构建50G PON FTTR智能协同的新型光接入网技术架构提出PON FTTR智能协同的新一代光接入网架构,进一步延伸光底座到房间打造千兆入算光锚点从设备光层OAM管理主设备光层OAM管理原生原生管控管控通道通道进展:联合业界实现中国产业对50G PON代际技术和标准的引领,50G PON技术架构和标准体系已基本确立推进:需攻关50G突发模式光电器件,满足高功率预算需求PON 构建万兆光接入进展:联合业界引领FTTR技术、标准和产业发展,提出基于光层OAM的FTTR系统架构推进:引领FTTR技术产业发展,收敛分歧加速标准化,尽快规模商用FTTR 增强千兆光覆盖1750G PON技术发展20222023?20192021ITU-T G.9804系列标准立项第一版G.9804国际标准发布,研发原型机并测试开展非对称样机实验室测试与现网试点测试持续完善系统性能,满足商用要求商用试点2024开发对称型样机并开展现网试点测试10G GPON50G PON使用纯模拟信号处理技术路发射光功率较低,无需光放大器路ONU侧为宽带激光器,无需制冷路采用RS FEC码型,纠错容限为1E-3路oDSP:50G速率信号对传输损伤更敏感,需采用数字信号处理技术路SOA:EML/DML存在饱和输出瓶颈,需添加SOA外置光放大器路TEC:为实现三模波分共存,上行波长为窄带选项,ONU发射机需添加TEC路LDPC:为进一步提升接收灵敏度,选用纠错能力为1E-2的LDPC FEC码型路50G PON国际标准体系已基本建立,当前正处于样机研发阶段50G PON系统相比10G GPON,需采取多项全新技术方案,以满足系统各项指标要求1850G PON系统需支持多代共存中国移动已部署全球最大GPON网络和网关,GPON短时期内不会退网,50G PON部署需考虑三代PON同ODN共存,因此,未来部署50G PON重点考虑采用上行波长12862nm选项三代共存波长规划支持三代共存的上行波长新器件:DML TEC新线路:六波长WDM挑战p 传统ONU侧使用的DML激光器均为20nm宽带波长方案在ONU发射机中加入TEC温控,控制激光器输出波长范围在4nm以内挑战p 支持6波长复用解复用,MPM封装对器件体积要求高p 上行相邻波段间隔仅为2nm,对滤波器斜率要求很高进展已有6波长合分波器样品,但隔离度不足19FTTR技术架构及基于光层OAM的集中管控机制随着家庭业务的快速发展,光纤进一步延伸到房间,基于P2MP架构,打造家庭全光底座,实现千兆无缝覆盖FTTR作为光接入网的延伸,PON的光层OAM机制需向FTTR延伸以构建集中管控型高等级网络OLT 主设备上行光口FTTHFTTRSplitter Splitter 下行光口从设备从设备从设备1 Dechao Zhang,Jinglong Zhu,et al.,Fiber-to-the-Room(FTTR):A Key Technology for F5G and Beyond,vol.15 issue.9,JOCN 20232 Jinglong Zhu,Junwei Li,et al.,First Field Trial of FTTR Based on Native Management and Control Architecture for 5G Small Cell Backhaul,OFC 2023,Paper W2A.13家庭全千兆覆盖千兆Wi-Fi物理层光层OAM通道(Me接口,基于OMCI演进)WiFi一张网管理通道(Mf接口,基于MQTT协议)PON FTTR智能协同,实现具备网络切片能力的端到端智能化千兆光接入网 光 WLAN协同,实现WiFi组网可调度,增强千兆Wi-Fi体验FTTx的延申对管控架构和能力提出新需求,两段P2MP网络需满足集中统一管控 Me:实现OLT对SFU的光链路层管控功能,延伸PON层OAM管控能力 Mf:实现FTTR网络主从设备WiFi一张网管控能力及家庭网络高速数据采集基于光层OAM的管控架构及管控机制协同组网提升体验管控通道20FTTR线缆技术发展根据应用场景对FTTR从设备供电的难易程度,FTTR ODN需新增远程供电能力,需进一步推进技术方案完善及产业成熟 OLT 从设备-吸顶式从设备-面板式光插座从设备-吸顶式3412主设备从设备远程供电需求pToB场景,吸顶/悬挂式从设备需求强烈,本地供电不易p家庭场景,面板式从设备更加美观,本地供电不易光电混合缆p通信用引入光缆 第4部分:光电混合缆p扁平型和圆形为主,电压范围48V56V(略高于人体安全电压36V)p主要匹配ToB场景需求光电混合接口:小型化、光电接口合一pSC接头行标已发布,XC接头行标通过征求意见稿pSC可最大限度复用现有产业链,电触点位置外置,存在触碰风险pXC电触点位置内置且尺寸更小,标准未定,产业链暂不成熟XC接头SC接头(I型、II型)供电位置/动态功率管理p主设备和光插座均可提供远程供电能力,可按需选择p当前系统暂不支持电源管理。需研究实现机制和功能,网络层可视1234主设备远程供电光插座远程供电圆型扁平型21前沿技术-800G高速互联前沿研究探索开展800G前沿技术研究,持续推进传输性能提升首次实现单载波800G 1000kmG.654.E、单通道电域多子载波 800G 2000kmG.654.E ECOC 2021,We3C1.5 ECOC 2022,Tu1A.1800G技术实验室验证进展传输2000km后,800G信号收端光谱800G进展G.654.E 拉曼EDFA混合放大G.654.E 纯拉曼放大1500km(极限)2018km(极限)1000km(5dB裕量)1300km(5dB裕量)基于90GBd的64QAM-PCS单载波800G,采用G.654.E 混合放大,可实现1000km 极限传输(ECOC 2021)基于95GBd的64QAM-PCS 800G,采用G.654.E 纯拉曼放大,可实现2018km极限传输(ECOC 2022)22800G技术路线和系统架构仍需进一步研究技术路线攻关:800G存在多种调制码型、器件速率等潜在路线,光纤层面G.652D是否还能满足需求、G.654E截止波长应如何修订,均需从系统层面统筹研究并明确技术方案系统架构研究:是否维持单纤80波、是否扩展S波段还需持续探索400G QPSK-2套光层800G 超长距-3套光层?S4T?23反谐振空芯光纤的趋势和方向反谐振空芯光纤能够在波导内实现空气/真空导光,突破现有实芯单模光纤的固有时延极限和非线性香农极限,为智算网络和分布式大模型提供全新的高性能底座,有望改变半个世纪以来基于实芯光纤的光通信行业实芯光纤自光纤发明以来,光纤都是实芯光纤,光的传播与拘束可采用射线光学的全内反射机理解释。反谐振空芯光纤空气/真空是最佳导光介质,反谐振空芯光纤基于反谐振反射机理对光进行束缚和传播。极限2容量极限1时延实芯石英介质折射率约为1.46介质光速 真空光速/1.46介质光速 空气光速/真空光速传输时延降低1/3,突破固有时延极限空气导光使得非线性系数降低3-4个数量级,直接突破限制容量的非线性香农极限反谐振空芯光纤应当标准化、并面向规模商用演进在通信领域,光纤作为大规模商用的产品必须标准化。以往实芯光纤只需统一模场直径等关键特性,无需限定掺杂和结构,即可实现互连互通。但反谐振空芯光纤变为以结构决定光纤特性,结构不同则无法直接互连,标准化更为重要。衡量性能的关键指标:损耗衡量规模商用的关键指标:拉丝长度如何设计反谐振光纤结构,以达到可商用的损耗水平?结构代替材料,生产流程巨变,如何进行工业化生产?五花八门的反谐振空芯光纤结构必须实现归一与标准化,为大规模工业生产铺平道路。生产流程变化后,需要反谐振空芯光纤仍然能够尽快达到原实芯单模光纤可比拟的拉丝长度,实现低成本规模量产。25中国移动在反谐振空芯光纤及其传输系统方面的研究进展中国移动与北京大学、暨南大学等伙伴从光纤设计与拉制、面向空芯光纤的光通信系统攻关、产业生态和标准化等方面深度合作,联合推进空芯光纤及其光传输系统技术发展光纤设计与拉制产业生态与标准如何突破反谐振空芯光纤降损及大规模工业化制备难题?系统技术攻关 深入研究空芯光纤损耗物理损伤机制,以及公里级拉制中微纳精度复杂结构调控,联合研发团队暨南大学已提出了连体管式(CTF)、圆弧管式(STF)反谐振空芯光纤结构 当前进展:已在STF上实现0.28dB/km1290nm的损耗,单次拉制长度可5km,居全球第一阵营 从反谐振空芯光纤的全新关键参数特性出发,自底向上重构信道模型,开展信道容量极限估计、新物理维度的系统架构、关键光器件等关键方向研究 当前进展:首个空芯光纤非线性系数上限测量(OFC 2023 W4D.3)首个超高功率入纤功率的40800G实时传输实验(OFC 2023,W4H.7)CCSA三项空芯光纤研究课题 希望凝聚产业共识,通过学术和产业组织,协同全产业共同突破反谐振空芯光纤大规模工业化制备难题,通过标准化进程,引导方案归一,加快应用进展 当前进展:推动空芯光纤工业制备成为中国光学工程学会5大产业难题 在CCSA牵头和联合牵头立项3项空芯光纤研究课题,涵盖光纤、器件和系统。26提出了利用高阶调制测量非线性相移的HCF非线性系数测量方法提出了利用高阶调制测量非线性相移的空芯光纤超低非线性系数测量方法,首次实现了空芯光纤克尔非线性系数的上限测定:n2,kerr 2.2010-23m2/W 最大入纤功率:5.6W1548.515nm 信号速率:DP-64QAM,400Gb/s HCF长度:1km HCF链路损耗(含连接头):5.1 dBOFC2023,paper W4D.3实芯光纤空芯光纤27首个多波长的超高功率800G实时传输实验28dBm入纤下,190m长空芯光纤 800G PCS-64QAM实时信号传输,扫波后均未观察到明显的非线性代价(25 dBm入纤时,G.654.E在27 dBm时,800G超误码率门限,而空芯光纤的纠前BER与BTB基本一致;l BTB的BER和OSNR代价在极大入纤功率时可观察到0.25dB由5m单模尾纤造成的非线性损伤,空芯光纤由非线性引起的OSNR代价 0 dBBER versus 入纤功率由光纤非线性引起的OSNR代价 versus 入纤功率G.652D空芯光纤G.654E40波系统性能测试28小结l QPSK为400G 骨干长距传输方案,采用QPSK在传统G.652D光纤基于EDFA放大可以传输1500km以上,可以满足绝大多数场景需求,G.654E光纤可以延长30%以上的传输距离,满足更长距离场景需求l 50G PON FTTR智能协同是下一代光接入网的技术架构,实现端到端网络切片和业务差异化承载,保障用户体验l 反谐振空芯光纤作为颠覆性技术展现出了可塑造下一个50年光通信产业的巨大潜力,但仍需从理论、工艺、标准化和系统等多个层面进行研究和推进
中国移动通信有限公司研究院中国移动通信有限公司研究院20232023 年年 8 8 月月信息基础设施、数据要素和信息基础设施、数据要素和产业发展的产业发展的“价值三角价值三角”(2023)1目录目录前言.21.研究背景.42.“价值三角”的实现框架.52.1“价值三角”框架概况.52.2“价值三角”的价值实现途径.82.2.1 途径一:数据要素直接影响产业发展.92.2.2 途径二:信息基础设施直接影响产业发展.92.2.3 途径三:信息基础设施间接影响产业发展.103.“价值三角”的实现效果评估.103.1 数据要素对产业发展的价值评估.113.2 信息基础设施对产业发展的直接价值评估.123.3 信息基础设施对产业发展的间接价值评估.133.3.1 不同规模信息基础设施对产业发展的间接价值评估.133.3.2 不同类型信息基础设施对产业发展的间接价值评估.143.3.3 不同产业信息基础设施对产业发展的间接价值评估.154.未来展望.164.1 着力建设泛在协同的信息基础设施,推动实现网络无所不达.164.2 深入打造融合统一的信息基础设施,推动实现算力无所不在.164.3 结合场景布局一体内生的信息基础设施,推动实现智能无所不及.17参考文献.19附录 核心指标的测算及数据分布情况.242前言前言2023 年 2 月,中共中央、国务院印发了数字中国建设整体布局规划。规划提出,要加快数字中国建设,到2025 年,基本形成横向打通、纵向贯通、协调有力的一体化推进格局。规划明确,数字中国建设按照“2522”的整体框架进行布局,即夯实数字基础设施和数据资源体系“两大基础”。以算力与网络为代表的基础设施,类似于工业经济时代的道路、桥梁与电网,逐渐成为支撑数字社会发展的信息基础设施,通过释放数据要素价值对数字中国的建设形成支撑。数据要素、信息基础设施、产业发展三者关系的研究具有重要现实意义。目前,对于数据要素和信息基础设施单独对产业发展的提升作用,产学研各界已经成共识;但是鲜有研究将三者纳入统一框架体系,系统地分析信息基础设施在“数据要素促进产业发展”中的重要增强效应。因此,本报告通过定性和定量相结合的方式详细研究了数据要素、信息基础设施和产业发展三者之间的关系,首先定性梳理信息基础设施和数据要素促进产业发展的作用机制;然后结合官方统计数据,定量地评估各作用路径的影响效果大小,并分不同维度实证研究了信息基础设施通过数据要素价值化促进产业发展的增强作用差异;最后提出建设泛在协同、融合统一、一体内生的信息基础设施,推动实现网3络无所不达、算力无所不在、智能无所不及的未来发展建议。研究发现研究发现,信息基础设施信息基础设施、数据要素和产业发展之间存在着数据要素和产业发展之间存在着“价值三角价值三角”的关系。的关系。20122012 年到年到 20202020 年间,数据要素可以年间,数据要素可以有效促进产业发展有效促进产业发展,即数据要素投入每增加即数据要素投入每增加 1%1%,产业全要素产业全要素生产率可平均提高生产率可平均提高 5.78%5.78%;信息基础设施可以有效促进产业;信息基础设施可以有效促进产业发展发展,即信息基础设施每增加即信息基础设施每增加 1%1%,各产业的全要素生产率可各产业的全要素生产率可以平均提高以平均提高 11.10.10%;信息基础设施可有效扩大数据要素在产信息基础设施可有效扩大数据要素在产业发展中的作用业发展中的作用,且信息基础设施每增加且信息基础设施每增加 1%1%,它的增强作用它的增强作用会随之平均扩大会随之平均扩大 3.42%3.42%。本报告的版权归中国移动所有,未经授权,任何单位或个人不得复制或拷贝本建议之部分或全部内容。41.研究背景研究背景党的十九大以来党的十九大以来,党中央对发展数字经济的思考更为深党中央对发展数字经济的思考更为深入,数据作为关键生产要素的地位得到确立。入,数据作为关键生产要素的地位得到确立。2020 年 4 月,中共中央、国务院发布关于构建更加完善的要素市场化配置体制机制的意见,数据作为一种新生产要素被首次写入了中央文件中,我国成为全球第一个在国家政策层面将数据确立为生产要素的国家。2018 年 12 月,中央经济工作会议首次提出了“新型基础设施建设”(即“新基建”)的概念。2020 年 4 月,国家发改委进一步指出“新基建”主要包括信息基础设施、融合基础设施和创新基础设施,其中信息基础设施包括以 5G、物联网、工业互联网、卫星互联网为代表的通信网络基础设施,以人工智能、云计算、区块链等为代表的新技术基础设施,以数据中心、智能计算中心为代表的算力基础设施等。利用数据要素和信息基础设施助力数字经济发展利用数据要素和信息基础设施助力数字经济发展逐渐逐渐成为成为我国政策导向。我国政策导向。2022 年 1 月,国务院发布“十四五”数字经济发展规划,提出“以数据为关键要素,以数字技术与实体经济深度融合为主线,加强数字基础设施建设,不断做强做优做大我国数字经济,为构建数字中国提供有力支撑。”2023 年 2 月,中共中央、国务院发布数字中国建设整体布局规划,提出加快数字中国建设,到 2025 年基本5形成横向打通、纵向贯通、协调有力的一体化推进格局,数字中国以数字基础设施与数据资源体系为“两大基础”。2021年 11 月,中国移动率先提出,将以算力为中心、网络为根基,打造网、云、数、智、安、边、端、链(ABCDNETS)等多要素融合的新型信息基础设施,推动算力成为与水电一样“一点接入、即取即用”的社会级服务,最终达成“网络无所不达、算力无所不在、智能无所不及”的发展愿景。2.“价值三角价值三角”的实现框架的实现框架2.1“价值三角价值三角”框架概况框架概况“十四五”数字经济发展规划指出,数字经济是继农业经济、工业经济之后的主要经济形态,是以数据资源为关键要素,以现代信息网络为主要载体,以信息通信技术融合应用、全要素数字化转型为重要推动力,促进公平与效率更加统一的新经济形态。在数字经济新形态中,数据要素是新关键要素,信息基础设施是新型基础设施,产业发展是重要发展目标。数据要素、信息基础设施和产业发展三者的关系表现为“价值三角”,如图 1 所示。6图 1“价值三角”示意图“价值三角”三个组成部分的特征分别是具有价值(或创造价值)、传递价值(或放大价值)和实现价值(或发展目标)。具有价值(或创造价值):是指自身具有价值或者具备创造价值的能力。数据要素作为新关键要素,是社会产业发展的重要资源,是数字经济中创造价值的重要源泉。传递价值(或放大价值):是指能够协助获得、传输、优化、放大价值。信息基础设施是数据要素创造价值的重要基础。实现价值(或发展目标):是指最终价值的体现,是创造价值的最终目标。在产业层面,产业发展是生产要素进行社会生产的最终目标。经济百科全书中将基础设施解释为“那些对产出水平或生产效率有直接或间接的提高作用的经济项目”。在数字经济背景下,信息基础设施一方面发挥基础设施作用直接7提高产业生产效率;另一方面也是数据要素化和价值化的必要支撑,进而推动产业发展。大而言之,信息基础设施是社会和经济长期持续稳定发展的重要基础,数据要素化和产业发展对信息基础设施提的建设和优化出更高要求。因此,信息基础设施、数据要素和产业发展是相互促进、融合发展的关系。人类文明的发展进程伴随着能量和信息应用水平的交人类文明的发展进程伴随着能量和信息应用水平的交融互促融互促。随着新一轮科技革命和产业变革深入发展,人类社会加速步入信息文明时代,社会治理步入数智化时代。在人类社会文明发展过程中,信息和能量作为驱动人类文明进步的两条主线,正由相对独立发展向彼此融合创新相互作用演变,推动人类社会由“农业文明”、“工业文明”向“信息文明”发展。在“信息文明”时代,能量和信息应用水平有着史无前例的提升,因此,中国移动提出能量信息融合创新理论中存在的“人类文明信息能量公式”:= ()?其中,C 指人类文明发展水平,E 指获取利用能量的水平,I 指生成运用信息的水平,()?指文明的积累效应,f(*)指增长性函数,E I 指能量和信息的融合创新。“能量信息化”在经济社会领域一个重要的表现即为“产业数字化”,它为数字经济蓬勃发展提供了强劲引擎。数字经济背景下,信息基础设施、数据要素、产业发展8的“价值三角”是能量信息融合创新理论在产业层面的集中体现,即:= ()?其中,指产业发展水平,D 指数据要素,I 指信息基础设施。数据要素和信息基础设施分别是信息和能量在产业层面的体现,这个公式说明数据要素和信息基础设施可以单独促进产业发展,二者也可以融合实现助力产业发展的放大、叠加和倍增效应。2.2“价值三角价值三角”的价值实现途径的价值实现途径根据“技术经济”经济学经典理论分析,以“网云数智安边端链(ABCDNETS)”为代表的信息基础设施影响经济发展和产业效率的机制路径主要有三条(如图 2 所示),包含两条直接路径(途径一和途径二)和一条间接路径(途径三)。图 2“价值三角”价值实现途径示意图92.2.1 途径一:数据要素直接影响产业发展途径一:数据要素直接影响产业发展数据作为新型关键要素进入生产函数直接影响产业发数据作为新型关键要素进入生产函数直接影响产业发展展。数据作为数字经济发展的关键生产要素,具备低成本性、即时性、大规模性、强外部性、非排他性和可复制性等特殊属性,这是其他传统生产要素,如资本、劳动力、技术和土地等生产要素所不具备的。数据作为新型关键要素进入生产函数,一方面,直接赋能制造业,提高企业质量管控和生产制造能力,提升企业自动化、智能化生产水平,并能优化企业制造流程、缩短生产环节、降低生产成本,进而提高生产效率;另一方面,数据要素也能够通过提高决策者的决策效率和精准度等,间接助推产业提高生产和经营效率,进一步促进产业发展。2.2.2 途径二:信息基础设施直接影响产业发展途径二:信息基础设施直接影响产业发展信息通信技术借助信息基础设施可以作为技术要素直信息通信技术借助信息基础设施可以作为技术要素直接影响产业发展接影响产业发展。信息通信技术通过信息基础设施作为传统技术要素进入生产函数,与交通基础设施、能源基础设施一样,可以通过科技创新、技术研发等途径促使技术进步、扩大产业应用,进而提高生产效率实现经济增长,进一步驱动产业发展。有别于传统的知识、信息、管理、组织等技术要素,以“5G 算力网络 智慧中台”为重点的信息基础设施创新构建“连接 算力 能力”信息服务体系,新一代信息基础10设施以前所未有的广度和深度向各个产业拓展渗透。2.2.3 途径三:信息基础设施间接影响产业发展途径三:信息基础设施间接影响产业发展信息基础设施助力数据要素化信息基础设施助力数据要素化,促进全要素协同促进全要素协同,进而进而间接影响产业发展间接影响产业发展。信息基础设施赋能数据成为第五种新型生产要素,发挥数据要素的创新、协同、规模、外部、溢出和扩散等效应,促进全部生产要素的互补、耦合与协同,优化生产函数的要素条件、组合方式和配置效率,逐步形成新的生产组织形式,孵化出新的产品和服务,催生出新模式和新业态,继而传导至供应链、产业链、生态链和价值链,产业边界模糊淡化,新经济形态融合发展,最终信息基础设施发挥出对经济发展的放大、叠加和倍增作用,转变发展方式、优化经济结构、转换增长动力,实现经济形态转换与高质量发展。3.“价值三角价值三角”的实现效果评估的实现效果评估基于 2012 年到 2020 年产业层面的面板数据,运用回归计量模型1进行数据因果分析,结果发现:数据要素2可以通1= 。其中,指 t 时期 i产业的产业发展水平;指 t 时期 i 产业的数据要素;指 t 时期的信息基础设施水平;指 t 时期 i 产业的控制变量,包括劳动者报酬、营业盈余、总产出等;指随机扰动项。2使用数据要素投入水平作为测度指标,由信息传输、软件和信息技术服务产业投入在总投入中的占比计算而来。数据来源于 2012、2015、2017、2018、2020 年国家统计局发布的 42部门的投入产出表和国家统计年鉴。11过流通和价值化有效促进产业发展3,即数据要素投入每增加1%,产业全要素生产率可平均提高 5.78%。信息基础设施4可以有效促进产业发展,即信息基础设施规模每扩大 1%,各产业的全要素生产率可以平均提高 9.52%。信息基础设施可有效扩大数据要素在产业发展中的作用,信息基础设施每增加1%,它的增强作用会随之平均扩大 2.95%。3.1 数据要素对产业发展的价值评估数据要素对产业发展的价值评估数据要素投入有助于提高产业发展水平数据要素投入有助于提高产业发展水平;数据要素投入数据要素投入每增加每增加 1%1%,产业全要素生产率可提高,产业全要素生产率可提高 5.78%5.78%。研究发现,2012-2020 年,各产业数据要素投入占比的平均值为 2%,且我国大部分产业的数据要素投入水平均呈上升趋势。其中,公共管理、社会保障和社会组织,金融,交通运输、仓储和邮政,教育等产业的数据要素投入水平较高,在 2%以上,这几个产业也是数字化浪潮中发展较快、应用较广的产业。以教育产业和公共设施管理产业为例,绘制两个产业的数据要素投入和全要素生产率的变化趋势图,如图 3 所示,2012-2020 年,两个产业的数据要素投入和全要素生产率的变化趋势保持一致,均呈现上升趋势。与 2012 年相比,20203使用产业全要素生产率进行测度。参考 Battese 和 Coelli(1992)的模型,采用最新的随机前沿生产函数法(SFA)对全要素生产率进行计算。数据来源为:实际 GDP、实际资本存量(1978 年美元不变价格)和人力资本指数均来自佩恩表;经济增长率、劳动力和人口数据来自历年中国统计年鉴。4使用信息基础设施规模来测度。具体包括基站、光缆线路长度、互联网宽带接入端口、互联网数据中心机架数量,数据来源于工信部。12年教育产业的数据要素投入增长了 43.65%,全要素生产率增长了 19.96%。同期,公共设施管理产业的数据要素投入增长了 75.57%,全要素生产率增长了 20.79%。由此可见,产业产业全要素生产率会随着数据要素投入水平的提高而提升全要素生产率会随着数据要素投入水平的提高而提升,且数且数据要素投入水平提高的越快,全要素生产率增长的越快。据要素投入水平提高的越快,全要素生产率增长的越快。图 3 2012-2020 年典型产业数据要素投入和全要素生产率趋势图3.2 信息基础设施对产业发展的直接价值评估信息基础设施对产业发展的直接价值评估信息基础设施可有效直接促进产业发展信息基础设施可有效直接促进产业发展,信息基础设施信息基础设施每增加每增加 1%1%,各产业的全要素生产率可以平均提高,各产业的全要素生产率可以平均提高 11.10.10%。本研究分析的信息基础设施主要包括基站、光缆线路长度、互联网宽带接入端口、互联网数据中心机架数量,并以 4 种信息基础设施的平均水平作为总体效果的指标。数据分析结果显示,上述 4 类基础设施均可明显促进产业发展,平均提高能力为 11.10%。这意味着信息基础设施每增加 1%,各产业的全要素生产率平均可以提高 11.10%(结果见表 1)。13按不同类型的信息基础设施来看按不同类型的信息基础设施来看,互联网宽带接入端口对于产业效率的拉动作用最大,每增加 1%的互联网宽带接入端口,所覆盖的产业全要素生产率会提升 15.60%。除互联网宽带接入端口外,基站和光缆线路长度对产业的提升作用也比较显著,达 10%以上,即可以促进产业全要素生产率提升10%以上。互联网数据中心机架数量对于产业全要素生产率的提升为 3.88%,说明互联网数据中心机架的建设和应用仍处于上升期,发展潜力尚未被完全发掘。表 1 不同类型信息基础设施直接影响产业发展的价值评估统计表信息基础设施种类信息基础设施种类直接价值直接价值互联网宽带接入端口15.60%光缆线路长度13.60%基站11.30%互联网数据中心机架数量3.88%3.3 信息基础设施对产业发展的间接价值评估信息基础设施对产业发展的间接价值评估3.3.1 不同规模信息基础设施对产业发展的间接价值评估不同规模信息基础设施对产业发展的间接价值评估信息基础设施规模的扩大可有效地在信息基础设施规模的扩大可有效地在“数据要素促进产数据要素促进产业发展业发展”中发挥增强作用中发挥增强作用,且信息基础设施每增加且信息基础设施每增加 1%1%,它的它的增强作用会随之平均扩大增强作用会随之平均扩大 3.42%3.42%。数据分析结果显示,信息基础设施每增加 1%,它对“数据要素促进产业发展”的增强平均作用将扩大 3.42%。也就是说,当信息基础设施水平为1 个单位时,信息基础设施可以明显增强数据要素对产业效率的提升作用,且可平均增强 3.42%,即将数据要素对产业14效率的提升效果增强至 103.42%。此外,当信息基础设施的水平为 2 个单位(即增加 1 个单位的信息基础设施)时,信息基础设施对“数据要素提升产业效率”的增强作用将扩大至 6.84%,数据要素对产业效率的提升效果扩大至 106.84%。如图 4 所示,2012-2020 年,信息基础设施规模逐年扩大。与此同时,信息基础设施规模对“数据要素促进产业发展”的增强作用变化趋势与信息基础设施规模趋势一致。与2012 年相比,2020 年信息基础设施规模增长了 57.09%,同期增强作用平均扩大了 2.44 倍。图 42012-2020 年信息基础设施规模和增强作用的变化趋势图3.3.2 不同类型信息基础设施对产业发展的间接价值评估不同类型信息基础设施对产业发展的间接价值评估按不同类型基础设施来看按不同类型基础设施来看,传统信息基础设施的增强效传统信息基础设施的增强效应更强应更强;与之相比与之相比,新型信息基础设施的增强效应较弱新型信息基础设施的增强效应较弱,亟亟待进一步待进一步挖掘挖掘。如表 2 所示,基站、光缆线路长度和互联网15宽带接入端口的增强作用均为 4%以上,高于 1.05%的平均水平。而新型基础设施,即互联网数据中心机架数量比较低,为 0.38%,说明新型基础设施在增强数据要素提高产业效率方面的潜力尚待发掘。表 2 不同类型信息基础设施对“数据要素促进产业发展”增强作用评估统计表信息基础设施种类信息基础设施种类增强作用增强作用光缆线路长度4.58%互联网宽带接入端口4.36%基站4.34%互联网数据中心机架数量0.38%3.3.3 不同产业信息基础设施对产业发展的间接价值评估不同产业信息基础设施对产业发展的间接价值评估按不同产业来看按不同产业来看,对于数据要投入水平较低的产业对于数据要投入水平较低的产业,信信息基础设施对息基础设施对“数据要素促进产业效率数据要素促进产业效率”的增强效应更强的增强效应更强。对于数据要素投入低水平产业对于数据要素投入低水平产业(数据要素投入占比小数据要素投入占比小于于2%2%)来说来说,如电力、热力生产和供应业,石油加工、炼焦及核燃料加工业等,信息基础设施的增强作用特别显著。各类信息基础设施的增强作用平均为 8.80%,即信息基础设施每增加一个单位,增强作用扩大 8.80%。对于数据要素投入高水平的产业对于数据要素投入高水平的产业(数据要素投入占比大数据要素投入占比大于于 2%2%)来说来说,如金融业,交通运输、仓储和邮政业等,信息基础设施的增强作用并不明显。各类信息基础设施中,只有两种信息基础设施呈现显著的增强作用,且增强作用较小。可能的原因是可能的原因是,数据要素投入水平较高的产业,进行数字化转型比较早,数据要素的运用更成熟,信息基础设施的增强16作用相对较弱,空间较小;而对于数据要素投入水平较低的产业来说,数据要素融合水平较低,潜在提升空间更大。4.未来展望未来展望4.1 着力建设泛在协同的信息基础设施着力建设泛在协同的信息基础设施,推动实现网络无所推动实现网络无所不达不达筑牢联网层筑牢联网层“云云 网网 端端”技术发展所支撑的物联网技术发展所支撑的物联网、数数联网联网、边缘终端边缘终端、信息通信网络信息通信网络、信息安全等泛在协同的信信息安全等泛在协同的信息基础设施建设息基础设施建设,夯实以算力网络为代表的基础型信息基础夯实以算力网络为代表的基础型信息基础设施设施。算力在驱动社会和产业发生深刻变革的同时,也将产生显著的经济价值。随着新一代信息技术深度融入经济社会民生,数字经济日益呈现出以信息网络为关键基础、数据资源为核心要素、信息技术为主要动力、融合应用为重要抓手的主要特征。作为新型信息基础设施的重要组成部分,以云为核心的算力基础设施正加快成为数字经济高质量发展的有效推动力、促进社会进步的数智生产力、全球大国博弈的重要竞争力。未来需要打造以算为中心、网为根基,网云数智安边端链(ABCDNETS)等一体化深度融合的算力网络服务。4.2 深入打造融合统一的信息基础设施深入打造融合统一的信息基础设施,推动实现算力无所推动实现算力无所不在不在加强以隐私计算加强以隐私计算、区块链区块链、人工智能人工智能、大数据技术等融大数据技术等融17合统一的基础设施建设合统一的基础设施建设,将数字技术与数据要素转化为新知将数字技术与数据要素转化为新知识识、新技术和新组织形式的生产过程新技术和新组织形式的生产过程,特别是推动以隐私计特别是推动以隐私计算算、人工智能人工智能、大数据技术为代表的数据要素与大数据分析大数据技术为代表的数据要素与大数据分析等数据处理技术的有机结合等数据处理技术的有机结合。发展隐私计算、人工智能、大数据等技术,可以打破数据流动困局,在没有融合型信息基础设施支撑的情况下,数据要素和数据资源很难实现自由流动和充分利用;而得力于隐私计算、人工智能、大数据技术等融合型信息基础设施支撑,数据流通的安全性提高,数据交易门槛大幅度降低,数据的价值得到充分的优化和发挥,“数据流动陷阱”就可以得到破解,数据要素市场的连接也变得更为紧密,这也将会为后续诸多信息基础设施的应用提供全价值链的融合技术优势。4.3 结合场景布局一体内生的信息基础设施结合场景布局一体内生的信息基础设施,推动实现智能推动实现智能无所不及无所不及逐步拓展以数字孪生逐步拓展以数字孪生、元宇宙等一体内生的信息基础设元宇宙等一体内生的信息基础设施施,将其推广应用于生产方式将其推广应用于生产方式、经营模式和经济业态的数智经营模式和经济业态的数智转型新场景转型新场景,助力推动经济发展变革助力推动经济发展变革。以数字孪生、元宇宙等为代表应用型信息基础设施,将虚拟空间和物理实体紧密融合,推动经济社会发展数字化转型。例如,在智慧城市领域,通过数字孪生解决技术应用割裂、数据碎片化分布等难题,基于图像扫描的城市数字模型使街道、社区、商业等各18社会功能都可拥有虚拟映射模块,便于城市进行智慧化管理。在工业生产领域,数字孪生在制造业各个环节形成深层次应用场景,大幅推动产品在设计、生产、维护及维修等环节的制造变革,不仅能够对工厂设备开展监测,实现故障预判和及时维修,还可以实现远程操控、远程维修,极大降低运营成本,提高安全性。在医疗领域,可以通过各种新型医疗检测和扫描仪器以及可穿戴设备,追踪数字化身体的运动与变化,更清楚地监测与管理个人的健康,对疾病做出及时预警。中国移动系统打造以“5G、算力网络、智慧中台”为重点的新型信息基础设施,创新构建“连接 算力 能力”新型信息服务体系,合理利用技术和数据的资源禀赋优势,提供信息服务和技术解决方案,发挥数字技术和数据资源等产业优势,积极探索和助力构建数据要素赋能推动经济发展质量变革、效率变革、动力变革的新实践和新格局。19参考文献参考文献1 李三希.数字经济与中国式现代化:时代意义、机遇挑战与路径探索J.经济评论,2023,(02):3-14.2 马路萌.一个包含数据要素的经济增长模型:生产率效应与数据要素化J.科技进步与对策,1-11.3 王伟玲.中国数据要素市场体系总体框架和发展路径研究J.电子政务,1-10.4 陆岷峰.新发展格局下数据要素赋能实体经济高质量发展路径研究J.社会科学辑刊,2023,(02):143-151.5 陆岷峰.数字科技赋能实体经济高质量发展:融合优势、运行机理 与 实 践 路 径 J.新 疆 师 范 大 学 学 报(哲 学 社 会 科 学版),2023,(01):136-144.6 李娜.数字经济对制造业高质量发展的非线性异质影响研究J.技术经济与管理研究,2022,(10):10-15.7 杨望.数字经济与共同富裕:基于产业数字化的路径分析J.西南金融,2022,(10):19-30.8 李三希.数字经济与高质量发展:机制与证据J.经济学(季刊),2022,(05):1699-1716.9 徐翔、孙宝文、李涛.基于“技术经济”分析框架的数字经济生产函数研究J.经济社会体制比较,2022,(05):38-48.10 齐培培.数据要素推动中国经济高质量发展的作用机制及提升20路径J.科技和产业,2022,(08):134-138.11 郭锋.全国统一大市场建设背景下数字经济高质量发展路径研究J.文化学刊,2022,(07):121-124.12 钞小静.数据要素对制造业高质量发展的影响来自制造业上 市 公 司 微 观 视 角 的 经 验 证 据 J.浙 江 工 商 大 学 学报,2022,(04):109-122.13 刘璐.中国企业数字化对经济高质量发展的影响研究D.西北大学,2022.14 刘家旗.效率视角下数字经济对经济高质量发展的影响研究D.西北大学,2022.15 李娟.数字经济驱动中国经济高质量发展的逻辑机理与实现路径J.新疆社会科学,2022,(03):47-56.16 赵敏.信息基础设施与当代生产方式新变化问题研究J.政治经济学评论,2022,(03):102-117.17 朱建平.数据要素对社会经济发展的推动作用J.中国统计,2022,(05):17-20.18 信烨.我国数字经济研究的知识图谱与演化基于文献计量方法的分析J.价格理论与实践,2022,(03):63-67 203.19 张家星.中国数字经济发展水平及其影响因素研究D.辽宁大学,2022.20 白永秀.数据要素:特征、作用机理与高质量发展J.电子政务,2022,(06):23-36.2121 夏诗园.数字经济赋能经济高质量发展:作用机制、国际经验及政策建议J.海南金融,2022,(02):79-87.22 时雨.电力数据信息的要素属性、转化价值与溢出效应研究J.情报科学,2022,(01):73-78 87.23 宋炜.数据要素与研发决策对工业全要素生产率的影响来自 2010-2019 年 中 国 工 业 的 经 验 证 据 J.科 技 进 步 与 对策,2022,(02):40-48.24 杨艳.数据要素:倍增效应与人均产出影响基于数据要素流动环境的视角J.经济问题探索,2021,(12):118-135.25 杨庐峰.数字经济与实体经济深度融合发展的着力向度与治理创 新 以 贵 州 省 的 融 合 发 展 实 践 为 例 J.理 论 与 改革,2021,(06):140-150.26 王敏.新发展阶段数字经济高质量发展研究J.哈尔滨师范大学社会科学学报,2021,(04):75-78.27 顾伟忠.数字经济背景下经济增长路径转型研究D.吉林大学,2021.28 尹西明.数据要素价值化动态过程机制研究J.科学学研究,2022,(02):220-229.29 聂娜.数字要素驱动经济高质量发展的理论逻辑、现实价值与关键举措J.甘肃理论学刊,2021,(02):89-97.30 蔡跃洲.数据要素对高质量发展影响与数据流动制约J.数量经济技术经济研究,2021,(03):64-83.2231 王富豪.数字经济背景下高质量发展的挑战与路径J.当代县域经济,2021,(02):65-67.32 曹勇.数字经济推动产业高质量发展的路径J.中国外资,2021,(03):78-79.33 唐要家.数据要素经济增长倍增机制及治理体系J.人文杂志,2020,(11):83-92.34 戴双兴.数据要素:主要特征、推动效应及发展路径J.马克思主义与现实,2020,(06):171-177.35 陈彦斌、林晨、陈小亮.人工智能、老龄化与经济增长J.经济研究,2019,(7):47-63.36 蔡跃洲、张钧南.信息通信技术对中国经济增长的替代效应与渗透效应J.经济研究,2015,(12):100-114.37 蔡跃洲、马文君.数据要素对高质量发展影响与数据流动制约J.数量经济技术经济研究,2021,(3):64-83.38 金星晔、伏霖、李涛.数字经济规模核算的框架、方法与特点J.经济社会体制比较,2020,(4):69-78.39 刘鹤.必须实现高质量发展J.人民日报,2021-11-24.40 渠慎宁.ICT与中国经济增长:资本深化、技术外溢及其贡献J.财经问题研究,2017(10):26-33.41 石 勇.数 字 经 济 的 发 展 与 未 来 J.中 国 科 学 院 院刊,2022,(1):78-87.42 谢康、肖静华.面向国家需求的数字经济新问题、新特征与新23规律J.改革,2022,(1):85-100.43 熊巧琴、汤珂.数据要素的界权、交易和定价研究进展J.经济学动态,2021,(2):143-158.44 徐升华、毛小兵.信息产业对经济增长的贡献分析J.管理世界,2004,(8):75-80.45 徐翔、赵墨非.数据资本与经济增长路径J.经济研究,2020,(10):38-54.46 中国信息通信研究院.全球数字经济白皮书(2022)R.北京日报,2022-07-29.24附录附录 核心指标的测算及数据分布情况核心指标的测算及数据分布情况利用正文提到的测度方法和数据来源,本研究采用 2012、2015、2017、2018、2020 年的全要素生产率和数据要素投入的数据共 319 个观测值,两个指标的数据分布情况如下表:表 3 2012、2015、2017、2018、2020 年全要素生产率和数据要素投入统计描述变量变量观测值观测值平均值平均值标准差标准差最小值最小值最大值最大值全要素生产率3198.25500.82597.08439.8334数据要素投入3190.01540.03230.00030.2011(1)产业全要素生产率全要素生产率的测度方法主要分为非参数法和参数法两类。非参数法中以 DEA、Malmquist 指数方法为主,虽然比较经典,但不能对前沿面的适用性进行检验,且没有考虑随机因素对测量结果的影响,而参数法能够克服上述缺点。参数法又可分为索洛残差法、隐性变量法和随机前沿生产函数法。本报告选择随机前沿生产函数法(SFA),将生产函数的形式设定为超越对数生产函数,这种函数形式比 C-D 生产函数更具灵活性,同时放松了规模报酬不变和技术中性的假定,允许劳动力和资本非充分利用的情况。此外,SFA 还考虑了随机误差项对全要素生产率的影响。考虑到与数据要素投入的数据匹配问题,全要素生产率(TFP)的数据年份为 2012、2015、2017、2018、2020 年。25测得全要素生产率的范围为全国 42 个产业,TFP 的核密度图呈现出双峰特征。这说明,各年各产业的 TFP 呈现出双峰分布的特征,与正态分布相比,这说明各年各产业的 TFP 分布差异较大,某些特定产业较高且较为聚集,而又有相当多的产业 TFP 较低,两极分化较为明显,各产业有一定脱节的表现。图 5 2012、2015、2017、2018、2020 年各产业全要素生产率的核密度图(2)数据要素投入指标统计显示,公共管理、社会保障和社会组织产业的数据要素投入较高,在 5%上下;然后是金融业,在 5%以下;再其次是交通运输、仓储和邮政,综合技术服务,卫生和社会工作,教育,文化、体育和娱乐,水利、环境和公共设施管理业,租赁和商务服务等产业。这几个产业也是数字化浪26潮中发展较快、应用较广的产业。(3)信息基础设施本报告涉及的信息基础设施包括:基站、光缆线路长度、互联网宽带接入端口和互联网数据中心机架数量 4 种信息基础设施。2012-2022 年间,信息基础设施规模迅速扩大。据工信统计年鉴数据显示,2012-2022 年,基站由 207 万个迅猛增长至 1083 万个,十年时间内增长了约 4.23 倍,复合年化增长率约为 42.32%;光缆线路长度由 1479 万公里增长至5958 万公里,复合年化增长率约为 30.28%;2018-2022 年全国互联网数据中心机架数量由 73.4 万个增长至 81.8 万个,复合年化增长率约为 1.14%;互联网宽带接入端口由 3.2 亿个增长至 10.71 亿个,复合年化增长率约为 23.47%。
-1-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30本报告是物联传媒、AIoT星图研究院、深圳市物联网产业协会的调研与研究成果。本报告内所有数据、观点、结论的版权均属物联传媒、AIoT星图研究院、深圳市物联网产业协会拥有,任何单位和个人,不得在未经授权和允许的情况下,进行全文或部分形式(包含纸制、电子等)引用、复制和传播。不可断章取义或增删、曲解本报告内容。物联传媒、AIoT星图研究院、深圳市物联网产业协会拥有对本报告的解释权。本报告所包含的信息仅供相关单位和公司参考,所有根据本报告做出的具体行为与决策,以及其产生的后果,物联传媒、AIoT星图研究院、深圳市物联网产业协会概不负责。-2-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30当前,中国物联网产业发展正处于跨界融合、加速创新和深度调整的历史时期,传感器作为物联网感知层的核心部件,是“感知世界”之基,也是“万物互联”之本,对支撑构建物联网产业体系具有重要意义。毫米波雷达作为一种工作在毫米波频段(millimeter wave)的雷达传感器,通过精准探测目标的距离、速度、方位角和微动等信息,被广泛应用于车载、交通、安防、工业监测、家居家电、康养监测等诸多领域。近几年,得益于汽车智能化的高速发展与雷达芯片制作工艺的进步,国内毫米波雷达整体市场迎来快速增长。进入2023年,中国毫米波雷达市场竞争态势日益复杂。智能车载市场,国产供应商借助本土化优势在份额抢夺战中开始崭露头角,而传统国际巨头间的战火明显升级,在技术、产品、成本等多方位竞争变得更加激烈;交通感知市场,虽然行业投资随着疫情防控结束逐渐回暖,但产品价格和性能要求之间的矛盾仍较为突出,市场白热化竞争持续;家居家电和康养医疗市场,毫米波雷达正借助智能家电发展力量,正从单一特定应用场景辐射到多个场景核心层面,成为撬动家居家电和康养医疗变革的一股重要技术力量。而在更广泛的智慧城市建设场景中,毫米波雷达正成为城市的感知触角,广泛应用在安防监测、水文水利、楼宇建筑、路灯、道闸等更多细分应用场景中。为了帮助投资界和产业界正确认识国内毫米波雷达技术的应用现状和发展趋势,为投资、经营提供更翔实、更准确决策依据,AIoT星图研究院联合深圳市物联网产业协会、物联传媒开展2023年中国毫米波雷达市场调研活动,通过对国内毫米波雷达企业深度调研,形成 中国毫米波雷达产业分析报告(2023)。由于国内毫米波雷达产业仍处于快速发展阶段,我们对毫米波雷达市场的认识还有待进一步深化,报告中存在不足之处,敬请大家批评指正。序(1)关于毫米波雷达未来的市场空间:中国毫米波雷达产业正处于快速发展阶段,2022年市场总规模达到86亿元人民币,且未来持续保持快速增长态势,到2027年市场规模有望达到270亿元人民币,复合增长率26%。(2)关于毫米波雷达行业的驱动因素:需求带动、技术驱动和政策引导是中国毫米波雷达市场未来保持快速增长的三大主要驱动力,并在智能车载、智能交通、智慧城市、智能家居、智慧康养等多个应用领域中集中体现。(3)关于毫米波雷达未来的发展趋势:微型化集成化、高频率高带宽、多场景多应用是毫米波雷达未来发展的三大重要趋势。一、报告核心观点-3-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30(1)毫米波雷达简介从产品定义、基本特性、核心功能、基本原理、系统组成等方面认识毫米波雷达;(2)毫米波雷达产业链包括产业链构成、上中下游分析、产业链企业分析、区域分布、产业链全景图等;(3)毫米波雷达行业发展概况包括发展历程、市场规模及细分产品市场结构,并重点分析车载雷达、交通雷达、家居雷达和康养雷达四个细分市场的发展现状。二、报告主要内容包括(1)按车规级、工业级、消费级和医疗级归类,全面梳理了当前最新的国内民用毫米波雷达应用领域,及具体细分应用场景。(2)系统汇总了毫米波雷达产业链企业,绘制了最新的产业链全景图。(3)对国内车载雷达、交通雷达、家居雷达、康养雷达细分市场和其他产业链企业进行重点调研,分析最新细分市场现状。三、报告主要亮点(1)毫米波雷达企业 评估未来技术和产品的市场潜力 制定公司产品路线图,进行产品定位,制定时间表 确定潜在的战略合作伙伴或技术供应商 了解产品和技术在这个市场上的差异化价值 发现新的商业机会 竞争对手监控 确定技术转让的最佳人选(2)材料和设备供应商,包装公司 了解2023年哪些应用驱动出货量 发现新的商业机会和前景(3)微控制器、基带/收发器、应用处理器 发现新机会,并制定与传感器/数据融合相关的多样化战略(4)汽车制造商 评估未来技术和产品的市场潜力,使产品与众不同 评估终端系统中使用毫米波雷达技术的好处,为下一代系统设计架构(5)研发中心 为新的应用市场评估未来技术和产品的市场潜力 评估新技术产品的潜力,如4D成像雷达(6)金融和战略投资机构 了解毫米波雷达产业的结构和价值链 获取中国毫米波雷达行业主要参与者和新兴初创企业名单四、报告适用对象包括-6-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30序言-2一、毫米波雷达简介-13(一)产品定义-(二)基本特性-(三)核心功能-131314第二章 毫米波雷达产业链分析第一章 毫米波雷达行业概述一、矽典微-63(一)公司简介-(二)产品介绍-(三)方案展示-(四)应用领域-63636464第四章 毫米波雷达企业介绍二、上游分析-22一、产业链构成-21第三章 毫米波雷达市场分析一、总体市场-31四、下游分析-25五、企业资源分析-25三、中游分析-24(一)射频前端组件-(二)数字信号处理器-(三)高频PCB板-(四)控制电路-22232323(一)企业数量分析-(二)企业区域分布-2527二、毫米波雷达应用-15(一)应用范围-(二)使用频率-(三)工作体制-(四)竞品对比-15151617四、行业法规标准现状-18(一)法规现状-(二)标准建设-1820(一)总规模-(二)市场结构-3131三、毫米波雷达发展史-17目 录/CONTENTS二、车载雷达市场-32(一)市场背景-(二)市场现状-(三)竞争格局-(四)价格分析-(五)趋势分析-3236373940三、家居雷达市场-41(一)市场背景-(二)市场现状-(三)竞争格局-(四)发展趋势-41444546四、康养雷达市场-47(一)市场背景-(二)市场规模-(三)市场格局-(四)竞品分析-(五)发展趋势-4749505152五、交通雷达市场-52(一)市场背景-(二)市场现状-(三)竞争格局-(四)主要难点-(五)趋势分析-5254555657六、其他应用市场-58(一)智能安防-(二)工业监测-(三)民航应用-(四)船舶避障-(五)无人机-5859606161-7-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30二、岸达科技-64(一)公司简介-(二)产品介绍-6465第五章 毫米波雷达应用案例介绍一、上海某区康养标杆工程-72(一)项目需求-(二)解决方案-(三)效益成果-727273二、广东某智慧养老院项目-73(一)项目需求-(二)解决方案-(三)效益成果-737474三、北京某养老院项目-75(一)项目需求-(二)解决方案-(三)效益成果-757575三、苗米科技-68(一)公司简介-(二)产品介绍-(三)主要客户-686869四、精华隆-69(一)公司简介-(二)产品介绍-(三)主要客户-696970五、金茂绿建-71(一)公司简介-(二)产品介绍-(三)主要客户-717171四、河南新乡市老年公寓管理中心-76(一)项目需求-(二)解决方案-(三)效益成果-767778五、毫米波全屋智能感知项目-78第六章 毫米波雷达行业发展展望结语-87附件:特别感谢单位-88一、行业发展驱动力分析-81(一)需求带动-(二)技术驱动-(三)政策引导-818182二、行业未来发展趋势-83(一)市场预测-(二)技术趋势-8384-8-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30图表 1:无线电及毫米波频段划分图 -图表 2:毫米波雷达基本特性及其优缺点-图表 3:毫米波雷达主要功能和性能特点-图表 4:毫米波雷达主要应用场景-图表 5:国内毫米波雷达应用主要工作频率-图表 6:毫米波雷达工作体制分类及优缺点-图表 7:毫米波雷达与其他传感器产品优缺点对比-图表 8 毫米波雷达产业发展历程图-图表 9:我国毫米波雷达主要无线电管理法律法规-图表 10:我国毫米波雷达行业主要标准-图表 11:毫米波雷达产业链构成图-图表 12:毫米波雷达各元器件占硬件总成本比重-图表 13:毫米波雷达射频芯片设计制造生态系统-图表 14:中国毫米波雷达产业链上游供应商-图表 15:国内毫米波雷达产业链中游主要企业-图表 16:2019-2023年国内毫米波雷达企业数量-图表 17:2023年中国毫米波雷达企业类型分布-图表 18:国产毫米波雷达企业成立时间段分布-图表 19:2023年中国毫米波雷达企业市场布局-图表 20:2022年以来国内新增毫米波雷达企业-图表 21:各省市毫米波雷达企业数量占比-图表 22:2023年中国毫米波雷达企业区域分布图-图表 23:2018-2022年中国毫米波雷达市场规模(亿元)-图表 24:2018-2022年中国毫米波雷达出货量(万颗)-图表 25:智能汽车的优势-图表 26:全球主要国家和地区智能汽车产业发展规划-图表 27:智能车载毫米波雷达细分应用场景-图表 28:L0L5智能驾驶汽车传感器需求-图表 29:C-NCAP2021版主动安全ADAS部分对比-图表 30:商用车强制安装主动安全功能的政策法规-图表 31:2020-2023年中国市场乘用车毫米波雷达搭载量(万颗)-图表 32:2022H1和2023H1国内智能网联乘用车销量(万辆)-图表 33:中国车载毫米波雷达市场竞争格局-131414151616171819202122222424252626262728283132323333343435363637图表目录-9-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30图表 34:2023年1-6月前向雷达供应商市场份额-图表 35:2022年H1&2023年H1前向雷达供应商自主合资占比-图表 36:2023年1-6月角雷达供应商市场份额-图表 37:2022年H1&2023年H1角雷达供应商自主合资占比-图表 38:本土4D成像雷达厂商市场化进度-图表 39:车载毫米波雷达价格趋势(元/颗)-图表 40:智能家居3.0模式演变历程-图表 41:家居毫米波雷达细分应用场景-图表 42:国内家居家电市场雷达应用潜在需求空间-图表 43:2018-2023年中国家居家电雷达模组出货量-图表 44:2019-2023年中国家居家电24G毫米波雷达模组出货量-图表 45:家居家电毫米波雷达市场主要参与者-图表 46:2020-2023年家居家电雷达模组价格走势-图表 47:2021-2023年国家和地方各级政府养老基础设施建设政策 -图表 48:智能康养监测雷达主要功能介绍 -图表 49:2022-2027年中国康养雷达市场规模及预测(亿元)-图表 50:国内主要康养雷达公司简介-图表 51:中国康养雷达市场主要竞品分析-图表 52:交通毫米波雷达细分应用场景-图表 53:交通雷达市场结构(按频段划分)-图表 54:中国交通毫米波雷达市场主要参与企业-图表 55:交通毫米波雷达品牌影响力TOP10企业排名-图表 56:交通雷达厂商推出4D雷达产品-图表 57:雷达周界安防系统图例-图表 58:雷达区域安防系统图例-图表 59:雷达物位计图例-图表 60:国内水文监测毫米波雷达产品-图表 61:无人机雷达图例-图表 62:精华隆毫米波雷达产品介绍-图表 63:毫米波雷达芯片工艺演进路径-图表 64:2020-2022年中国毫米波雷达相关行业政策汇总-图表 65:2022-2026年中国毫米波雷达出货量及预测(万颗)-图表 66:毫米波雷达产品演进:微型化高集成-图表 67:毫米波雷达发展趋势:高精度高分辨-38383838394041424344454546474949505153545556575858596062708282848586-13-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30毫米波雷达行业概述Chapter一、毫米波雷达简介雷达是英文Radar的音译,源于Radio Detection and Ranging的缩写,原意是“无线电探测和测距”,即用无线电方法发现目标并测定它们在空间的位置。毫米波雷达是指一种工作在毫米波频段的雷达传感器。国际电信联盟(ITU)发布的 无线电规则(2020年)和我国最新的 无线电频率划分规定 中,将无线电频率在30-300GHz的频段(波长1-10mm)称呼为毫米波频段。本报告结合行业应用实际,将目前国内使用的24GHz、60GHz、77GHz、79GHz、80GHz等雷达产品统归为毫米波雷达,展开市场调研。同时,部分内容会涉及5.8GHz、10.525GHz等微波雷达产品。图表 1:无线电及毫米波频段划分图资料来源:工信部、AIoT星图研究院整理(一)产品定义毫米波雷达作为雷达系列中的高频段产品,具有频带宽、波长短、大气传播损耗较大等基本特性,各特性对应的有确定概括如下图所示。(二)基本特性-14-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30毫米波雷达具有独特的实用优势,但需要说明的是,我们并不是否定其他传感器的作用,毫米波雷达的大气传播损耗较大,适用于近距离场景,而在远程和超远程应用中,微波雷达仍然是探测目标的主力军。微波、毫米波、红外、激光、视频等系统的作用应该是互补的、缺一不可的。图表 2:毫米波雷达基本特性及其优缺点图表 3:毫米波雷达主要功能和性能特点资料来源:AIoT星图研究院整理毫米波雷达的核心功能包括测距、测速、测方位角、微动探测和4D成像等,通常雷达系统是通过同时测量2-3个功能参量而构成一个应用产品。(三)核心功能基本特性优 点缺 点波长短频带宽大气传播损耗较大1.元件尺寸更小,结构更紧凑且重量轻;2.可获得更窄波束,提高分辨率和精度;3.比微波有更大的多普勒频移,因此对低速目标具有更强的探测识别能力。1.制造精度要求高;2.太窄的波束不利于目标的搜索,不合适做大范围搜索;3.多普勒频移更大,要求接收机有更宽的频带。/坏天气时作用距离下降,尤其在暴雨中可能导致目标被遮挡。1.可使用窄脉冲或宽带调频信号来研究目标的精细特征;2.频段不拥挤,能有效地消除相互干扰;3.距离分辨率更高。1.不易互相干扰,电磁污染少;2.相比红外和光波,对环境适应性更强。资料来源:AIoT星图研究院整理-15-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30图表 4:毫米波雷达主要应用场景二、毫米波雷达应用我们根据产品硬件的规格标准将毫米波雷达的应用分为车规级、工业级、消费级和医疗级四个大类,再根据各应用场景的行业属性归为8个主要的应用领域,分别是智能车载、智慧交通、安防监控、智能家居、健康监护、工业测量、智能装备和其他。主要应用场景如图表4所示。(一)应用范围资料来源:AIoT星图研究院整理毫米波雷达有24GHz、60GHz、77GHz、80GHz、120GHz等频段产品。目前,国内常用的毫米波雷达频段为24GHz、60GHz和77GHz。24G毫米波雷达在各方面性能比较成熟,且成本较低,适用的领域会更广,例如交通、安防、智能家居、康养医疗等等;77GHz毫米波雷达在精度上相比24GHz更高,主要应用于车载领域,且应用规模已超过24GHz。车载级应用是毫米波雷达最早的商用场景,同时也是当前毫米波雷达规模最大的应用市场;工业级应用场景最为广泛,一般被划分为工业级室内和工业级室外两类,其中工业级室内场景包括智能家居、智慧康养、智能楼宇等,工业级室外场景包括智能交通、安防监控、工业测量等;消费级应用主要包括智能手机、智能手表等消费电子产品中的应用,是近年关注度较高的新兴领域,未来具有较大的发展潜力。(二)使用频率-16-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30图表5:国内毫米波雷达应用主要工作频率根据辐射电磁波方式不同,毫米波雷达主要有脉冲体制以及连续波体制两种。其中连续波又可以分为FSK(频移键控)、PSK(相移键控)、CW(恒频连续波)、FMCW(调频连续波)等方式,图表6中对比了不同工作体制的优势和不足。(三)工作体制资料来源:AIoT星图研究院整理资料来源:AIoT星图研究院整理应用领域使用雷达频率智能车载交通感知安防监控无人机工业测量家居家电康养医疗24GHz、60GHz、77GHz、79GHz24GHz、77GHz、80GHz24GHz24GHz24GHz、60GHz、80GHz、120GHz5.8GHz、10.525GHz、24GHz、60GHz24GHz、60GHz图表6:毫米波雷达工作体制分类及优缺点-17-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30目前,连续波体制中的调频连续波FMCW是主流方案。调频连续波是连续发射调频信号,以测量距离、角度和速度等。调频连续波不仅能同时测出多个目标的距离和速度信息,还可对目标进行连续跟踪。相对其他电磁波雷达,调频连续波雷达的发射功率较低、且成本较低,被毫米波雷达厂商广泛使用。数据来源:公开资料整理毫米波雷达具有探测性能稳定、作用距离较长、环境适用性好等特点。与超声波雷达相比,毫米波雷达具有体积小、质量轻和空间分辨率高的特点。与红外、激光、摄像头等光学传感器相比,毫米波雷达穿透雾、烟、灰尘的能力强,具有全天候全天时的特点。各类传感器的优缺点如图表7所示。目前,毫米波雷达传感器已经成为智能网联汽车、智慧交通等领域的核心传感器,并在智能家居、智慧康养、工业监测、智能安防等多个领域具有广阔的商业应用前景,逐渐成为和AI摄像头并驾齐驱的高端核心智能传感器,实现完美融合互补。(四)竞品对比图表7:毫米波雷达与其他传感器产品优缺点对比三、毫米波雷达发展史国外毫米波雷达发展历史悠久,最早于1940年代开始研制,70年代中后期取得技术突破,90年代后期开始小规模应用于车载领域。-18-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30资料来源:AIoT星图研究院整理图表8:毫米波雷达产业发展历程图早期的毫米波雷达采用高电子迁移晶体管制作集成电路,集成度低而且成本高昂,直到2012年,英飞凌及NXP(飞思卡尔)成功推出芯片级别的毫米波射频芯片,降低了毫米波雷达的技术门槛,同时降低了毫米波雷达的制造成本,毫米波雷达迎来爆发式增长,2021年后技术较为成熟,成为主力传感器之一。毫米波雷达的发展历程及频率、技术发展情况如图表8所示。相比之下,中国毫米波雷达行业起步较晚,目前仍在持续追赶中。2013年24GHz毫米波雷达芯片进入中国,在中国巨大的市场需求驱动下,经过近几年快速发展已逐步踏入正轨,国产毫米波雷达先后在车载、交通、安防、智慧城市、工业测量、家居家电、康养等多个领域实现探索应用,未来中国毫米波雷达市场需求潜力将进一步释放。四、行业法规标准现状毫米波雷达产品的使用涉及24GHz、60GHz、77GHz、80GHz、92GHz、120GHz等无线电频谱资源。为了加强资源管理,我国对无线电频谱资源实行统一规划、合理开发、有偿使用,并由国家无线电管理机构负责全国无线电管理工作。当前,我国无线电管理法律法规体系已初步建立,并形成一系列管理法规。其中在毫米波雷达领域主要通过制定微功率短距离无线电设备的技术要求和汽车雷达无线电的管理规定来进行规范。(一)法规现状-19-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30发布日期发文机关法规文件名称主要内容工信部工信部工信部工信部信息产业部2005-10信息产业部2012-112019-112021-112023-06 2006-10资料来源:AIoT星图研究院整理图表9:我国毫米波雷达主要无线电管理法律法规规定G类通用微功率(短距离)无线电发射设备使用频率范围为24.00-24.25GHz。规定车辆测距雷达频率范围为76-77GHz。废止 关于发布的通知(信部(1998)178号)进一步规范微功率短距离无线电发射设备的管 理。明 确 通 用 H 类 设 备 使 用 频 率 为24-24.25GHz。并规范设备的生产、进口、销售和使用的管理与技术要求。将原明确按微功率设备管理的76-77GHz频段设备移出,不再将该频段按微功率短距离无线电发射设备进行管理。规定汽车雷达使用频率(76-79GHz)、主要使用场景,明确了发射功率及功率谱密度限值、通用杂散发射限值、特殊频段保护限值、接收机阻塞特性等射频技术要求,并强调除国家无线电管理机构另有规定外,76-79GHz频段不能用于其他类型陆基雷达,也不能用于在航空器(含无人机、气球、飞艇等)上装载使用的雷达。规定不能再生产和进口使用24.25-26.65GHz频段的汽车雷达。明确79-81GHz频段无线电定位业务将优先用于汽车雷达等应用。决定将59-64GHz频段用于微功率(短距离)无线电技术应用。并规定该频段的设备按(信部无 2005 423号)中通用微功率(短距离)无线电发射设备管理。将24.25-26.65GHz频段规划用于24GHz短距离车载雷达使用,并规定设备的射频要求。24GHz频段短距离车载雷达设备使用频率的通知(工信部无 2012 548号)关于60GHz频段微功率(短距离)无线电技术应用有关问 题 的 通 知 (信 无 函200682号)关于发布的通知(信部无 2005 423号)中华人民共和国工业和信息化部公告2019年第52号汽车雷达无线电管理暂行规定(工信部无 2021 181号)中华人民共和国无线电频率划分规定(工业和信息化部令第62号)-20-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30我国自上世纪九十年代开始对微功率设备实施系统管理。此前原信息产业部先后在1998年和2005年发布了 微功率(短距离)无线电设备管理暂行规定(信部 1998 178号)、微功率(短距离)无线电设备的技术要求(信部无 2005 423号),并在2006年发布 关于60GHz频段微功率(短距离)无线电技术应用有关问题的通知(信无函200682号)。2019年,工信部发布了 中华人民共和国工业和信息化部公告 2019年第52号 中,将通用微功率短距离无线电发射设备分为A-H共计8类,其中明确了通用H类设备使用频率为24-24.25GHz,并从设备发射功率限值、频率范围、杂散辐射等方面进行了约束。规定微功率设备无需办理频率使用许可和台站执照,但应当取得无线电发射设备型号核准证。2021年11月,工信部发布 汽车雷达无线电管理暂行规定,将汽车雷达使用频率范围明确在76-79GHz,并规定了设备发射功率及功率谱密度限值、通用杂散发射限值、特殊频段保护限值、接收机阻塞特性等射频技术要求。总体来说,目前针对24-24.25GHz、76-79GHz频段雷达设备我国已出台了明确的管理规定;59-64GHz频段此前也有通知决定用于微功率(短距离)无线电技术应用;79-81GHz频段将优先用于汽车雷达。此外,2021年7月,在工信部致函交通运输部 工业和信息化部无线电管理局关于智能交通领域路测毫米波雷达有关事宜的函(工无函【2021】408号)中提到,无线电管理局已启动了92-95GHz频段频率使用规划的研究,拟在上述频段内解决智能交通领域的路侧雷达频段使用要求。自国内毫米波雷达率先在汽车、交通等领域应用以来,我国持续积极投入到相关标准化工作中。当前,国内毫米波雷达国家标准主要集中在TC485(全国通信标准化技术委员会)、TC268(全国智能运输系统标准化技术委员会)等标准研制单位,标准研制方向包括射频技术要求及测试方法等。当前已出台的毫米波雷达国家标准共计4项,为GB/T 20609-2006 交通信息采集 微波交通流检测器、GB/T 36654-201876GHz车辆无线电设备射频指标技术要求及测试方法、GB/T21255-2019 机动车测速仪、GB/T 40025-2021 24GHz车辆无线电设备射频技术要求及测试方法。从内容上看,国家标准主要对汽车雷达的射频指标技术要求及测试方法、对交通雷达的车流量、平均速度、时间占有率等交通参数检测功能做出了规范。(二)标准建设图表 10:我国毫米波雷达行业主要标准资料来源:AIoT星图研究院整理序号标准号/计划号标准名称状 态123456789GB/T 20609-2006GB/T 36654-2018GB/T21255-2019GB/T 40025-2021GB/T 20609-2023YD/T 2722-201420221401-T-339ISO/PWI 13389ISO/PWI 13377现行现行现行现行发布现行起草起草起草交通信息采集 微波交通流检测器76GHz车辆无线电设备射频指标技术要求及测试方法机动车测速仪24GHz车辆无线电设备射频技术要求及测试方法交通信息采集 微波交通流检测器60GHz频段无线电设备射频技术要求及测试方法76GHz-79GHz汽车雷达射频指标技术要求及测试方法道路车辆外部感知毫米波雷达探测性能试验方法道路车辆毫米波雷达的协同干扰抑制除国家标准外,目前还出台了多项毫米波雷达相关的团体和地方标准,相比国家标准,毫米波雷达地方标准和团体标准内容相对更全面,对行业具有一定引导性。总体上,我国毫米波雷达标准化建设仍在不断完善,同时存在标准国际化水平还不高、标准实施应用不充分、有效供给不足等问题。-21-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30毫米波雷达产业链分析Chapter一、产业链构成毫米波雷达产业链分为三部分:上游主要包括射频前端组件(MMIC)、数字信号处理器(DSP/FPGA)、高频PCB板、微控制器(MCU)、天线及控制电路等硬件供应商;中游主体是毫米波雷达方案模块及整机供应商;下游环节包括智能车载、智能交通、无人机、智能家居、工业测量、康养医疗、家电照明、消费电子等应用企业。其中,射频前端组件(MMIC)、数字信号处理器芯片、毫米波雷达系统方案为产业链中核心环节。射频前端组件(MMIC)是毫米波雷达的核心射频部分,由发射器、接收器、功率放大器、低噪声放大器、混频器、滤波器及压控振荡器7部分构成,起到调制、发射、接收及解调毫米波信号的作用,主要通过单片微波集成电路(MMIC)将前端收发组件集成化。毫米波雷达要求前端收发组件应兼具体积小、稳定性好、成本低等特性,占整个毫米波雷达硬件成本的50%以上。数字信号处理器通过嵌入不同的信号处理算法,分析前端收集的信号获取目标信息,是保证毫米波雷达稳定性及可靠性的核心部件。毫米波雷达的数字信号处理功能是通过DSP芯片或FPGA芯片实现的,占整个毫米波雷达硬件成本的20%左右。毫米波雷达产业链中游企业主要包括毫米波雷达方案商和系统集成商。其中雷达方案供应商主要通过完成雷达系统设计、天线设计和后端算法开发,为客户提供毫米波雷达方案模块或整机产品。方案集成商则依托毫米波雷达技术,为各具体应用领域提供定制化的智能集成方案,例如车载tier 1供应商、智能交通方案集成商等。图表11:毫米波雷达产业链构成图资料来源:AIoT星图研究院整理-22-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30图表12:毫米波雷达各元器件占硬件总成本比重二、上游分析上游元器件的采购成本在雷达生产总成本的占比超过50%,是影响产业链价格的关键因素。其中,射频前端组件在硬件成本中占比50%,数字信号处理器占比15%,高频PCB板占比20%,控制电路占比10%,其他材料占5%。射频前端组件(MMIC)是毫米波雷达的核心射频部分,由发射器、接收器、功率放大器、低噪声放大器、混频器、滤波器及压控振荡器7部分构成,起到调制、发射、接收及解调毫米波信号的作用,主要通过单片微波集成电路(MMIC)将前端收发组件集成化。毫米波雷达要求前端收发组件应兼具体积小、稳定性好、成本低等特性。当前毫米波雷达射频芯片主要采用SiGe BiCMOS工艺技术,SiGe高频特性良好、安全性高,但其采用分立式结构,发射器、接收器和处理组件均为独立单元,无法满足雷达传感器日益增长的小型化需求。因而,在高集成趋势下,体积更小、集成度更高(CMOS工艺可将MMIC与MCU、DSP集成)的CMOS工艺已逐渐成为主流技术。(一)射频前端组件数据来源:专家访谈、AIoT星图研究院整理资料来源:Yole、AIoT星图研究院整理图表13:毫米波雷达射频芯片设计制造生态系统-23-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30数字信号处理器通过嵌入不同的信号处理算法,分析前端收集的信号获取目标信息,是保证毫米波雷达稳定性及可靠性的核心部件。毫米波雷达的数字信号处理功能是通过DSP芯片或FPGA芯片实现的,占整个毫米波雷达硬件成本的20%左右。DSP芯片采取程序和数据分开的哈佛结构,可快速即时处理信号,FPGA包含大量组合逻辑资源和触发器,可完成大规模的组合逻辑电路设计和实现时序逻辑功能。DSP芯片在复杂算法处理上具备优势,FPGA在大数据底层算法上具备优势,因而,“DSP FPGA”融合在实时信号处理系统中的应用逐渐广泛。目前,高端DSP芯片和FPGA芯片市场主要被国外企业占据,DSP芯片供应商有NXP、英飞凌、亚德诺半导体、意法半导体等公司,FPGA芯片供应商有赛灵思、阿尔特拉、美高森美、莱迪思等公司。国内MMIC芯片供应商集中为国际企业,如英飞凌、NXP、TI、意法半导体等。国产芯片企业在毫米波雷达领域的布局近两年也明显加快,且已实现部分国产化,代表性公司包括矽典微、岸达科技、加特兰微、矽杰微、微度芯创、旷时科技等,均已推出量产产品。(二)数字信号处理器天线是毫米波雷达发射和接收信号的重要组件,是其有效工作的关键设计之一。根据实践表明,当天线的长度为波长信号的25%时,其发射和接收信号的转换效率最高,毫米波波长仅为毫米级别,因而其天线长度短。此外,为提高产品精度,毫米波雷达可通过微带列阵方式将波束做窄,即将多根天线集成在PCB上。天线主要用于发射和接收毫米波,由于毫米波波长只有几个毫米,而天线长度为波长1/4时,天线的发射和接收转换效率最高,因此天线尺寸可以做的很小,同时还可以使用多根天线来构成阵列。目前主流天线方案是采用微带阵列,即在印刷电路PCB板上,铺上微带线,形成“微带贴片天线”,以满足低成本和小体积的需求。按照天线模式可分为远程雷达(开口约30,200m)、中程雷达(开口约60,100m)和近程雷达(开口约120,30m)。由于毫米波频率高,对电路尺寸精度要求高,所需印制电路板为高频板材PCB,主要供应商为罗杰斯、Isola、松下电工、雅龙及施瓦茨等大型国际PCB生产企业。受益于5G产业的发展,中国生益科技、沪电股份等公司已实现毫米波雷达用高频PCB产品的技术突破,其产品性能可与国外大型企业的高端产品媲美。(三)高频PCB板雷达控制电路根据信号处理器获得的目标信息,结合雷达终端动态信息进行数据融合,最终通过主处理器进行智能处理,对雷达终端前方出现的障碍物进行分析判断,迅速做出处理和发出指令,及时传输给报警显示系统和制动执行系统。雷达控制电路主要由MCU、模数转换器(ADC)和时钟等模拟组件组成。低成本、小型化、高性能、低功耗是SoC集成最大优势,也符合车载4D毫米波雷达未来的发展趋势。SoC集成:SoC(Syste-monaChip)是指将多个电子元件、模块或者子系统集成到一块芯片上的技术,毫米波雷达则是将MMIC,DSP,MCU集成在单颗SoC芯片里。控制电路根据信号处理目标信息,结合自身速度、位置等动态信息,发出执行指令,是毫米波雷达系统实现主动控制的最后一环。控制电路包含报警显示系统和启动制动系统,占到毫米波雷达总生产成本的5%。(四)控制电路-24-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30资料来源:AIoT星图研究院整理资料来源:AIoT星图研究院整理毫米波雷达产业链中游企业主要包括毫米波雷达方案商和系统集成商。其中雷达方案供应商主要通过完成雷达系统设计、天线设计和后端算法开发,为客户提供毫米波雷达方案模块或整机产品。方案集成商则依托毫米波雷达技术,为各具体应用领域提供定制化的智能集成方案,例如车载tier 1供应商、智能交通方案集成商等。目前,中国毫米波雷达中游市场整体上仍由国际企业占主要份额,国内企业正在加速追赶。在车载雷达领域,本土企业已经实现量产落地,进入国产化替代周期;在智能交通领域,得益于近年来新基建建设的兴起,部分国内雷达厂商将研发建设的重点瞄向路端,大力推进国产化建设,国产交通雷达厂商已逐渐占据主要市场;智能家居领域经过近几年探索,国内市场已经初步形成。图表14:中国毫米波雷达产业链上游供应商国 外国 内MMIC天线高频PCB板数字信号处理器恩智浦(NXP)、英飞凌(Infineon)、德州仪器(TI)、索喜(socionext)、Acconeer、vayyar、Uhnder、ADI矽典微、岸达科技、加特兰微电子、矽杰微、微度芯创、晟德微、正和微芯、迈矽科、斯凯瑞利、旷时科技、隔空智能、富奥星、牧野微沪电股份、生益科技/罗杰斯(Rogers)、Isola、施瓦茨(Schweiz-er)DSP芯片:NXP、英飞凌、亚德诺半导体、意法半导体FPGA芯片:赛灵思、阿尔特拉、美高森美、莱迪思图表 15:国内毫米波雷达产业链中游主要企业国内企业主要企业细分市场国外企业车载雷达智能交通智能家居智慧康养森思泰克、华域电子、华为、承泰科技、木牛科技等慧尔视、海康威视、大华股份、象德信息、宇视科技、木牛科技、雷森电子等云帆瑞达、迈睿智能、电目科技、苗米科技、精益远达、全耀传感、易探科技、精华隆、速数智能等苗米科技、精华隆、金茂绿建、清雷科技、兆观科技、德心智能、英特睿达、知 谱科技、算丰征途等博世、大陆、安波福、维宁尔、海拉、电装大陆/三、中游分析-25-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30毫米波雷达可应用于智能车载、智能交通、以及无人机、智能家居、工业测量仪器、全屋智能、家电照明、消费电子等多个领域。汽车是毫米波雷达最大的下游应用领域。中国是全球最大的汽车生产国,随着消费者对车载安全性要求的提升和智能驾驶需求的提升,国内各大主机厂对车载毫米波雷达的需求量持续增长,代表性企业包括上汽、一汽、长安、比亚迪、蔚来等。交通感知是毫米波雷达附加值最高的应用领域之一。交通感知所使用的毫米波雷达生产成本与车用雷达持平,但售价却为车用雷达的两倍左右,销售利润空间大。车路协同是交通智能化的核心,具备政策支持,中国交通运输部公路科学研究院等国家机构积极助力中国车路协同发展,华为、阿里、百度等巨头也纷纷布局该领域,未来中国车路协同行业将迎来新的发展机遇,将促进毫米波雷达需求量上升。智能家居、智慧康养近两年兴起速度较快。下游应用代表性企业包括美的、海尔、格力等家电企业,以及泰康人寿、平安人寿、民政局、公立医院等单位。四、下游分析1、2023年国内毫米波雷达产业链核心企业增加到263家中国毫米波雷达行业起步虽晚,但发展迅速。据AIoT星图研究院统计,截至2023年6月底,国内毫米波雷达核心环节(芯片和雷达模组)企业增加到263家,相较2019年新增66家。从企业的类型分布情况来看,国内注册的毫米波雷达企业中有本土企业244家,占比92.8%,外资企业19家,占7.2%;从产业链环节来看,雷达芯片企业有30家,占比11.4%,雷达模块和整机方案企业233家,占比88.6%。备注:1、企业数量具体统计在国内开展雷达芯片和雷达方案产品两类业务的企业注册量(含外资、分子公司类型企业);2、2023年数据截至2023年6月30日。(一)企业数量分析图表16:2019-2023年国内毫米波雷达企业数量五、企业资源分析-26-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30从企业成立时间段分布情况可以看出,有近70%毫米波雷达企业成立于2015年之后,而且目前仍有大量新进者涌入赛道,充分展现了国内毫米波雷达产业端的增长动力。图表17:2023年中国毫米波雷达企业类型分布图表18:国产毫米波雷达企业成立时间段分布数据来源:AIoT星图研究院整理2、大多数公司业务布局在车载、家居、康养、交通四类市场从中国毫米波雷达供应商的业务布局情况来看,在车载应用布局的公司最多,占32%。智能车载、智能家居、智慧康养、智能交通类业务布局公司占比超过86%。数据来源:AIoT星图研究院整理数据来源:AIoT星图研究院整理图表19:2023年中国毫米波雷达企业市场布局工业监测8%-27-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30从区域分布来看,国内毫米波雷达企业主要分布在东部沿海地区。如图表21所示,其中广东省、上海市和江苏省毫米波雷达企业数量超过30家。其中广东省毫米波雷达企业数量排名延续2022年保持在全国首位,占比达22.5%,这很大程度上得益于深圳、珠海、广州等珠三角地区在电子信息领域多年来的产业积累。北京市、浙江省、安徽省和福建省、四川省毫米波雷达企业数量都在在10家以上。此外,伴随着物联网的兴起,毫米波雷达产业在其它区域,如湖南和陕西等地也逐步发展起来。(二)企业区域分布图表20:2022年以来国内新增毫米波雷达企业成立年份企业名称主要产品上海划创科技发展有限公司清澜技术(深圳)有限公司成都贝米睿联科技有限公司青岛鲲泓智能科技有限公司上海镭达晶元智能科技有限公司上海毫微太科技有限公司成都玛雅光年科技有限公司深圳市微瑞达科技有限公司上海希卡立科技有限公司睿博感知科技(河北)有限责任公司北京傲图科技有限公司20222023水文监测雷达康养雷达康养雷达康养雷达康养雷达康养雷达康养雷达康养雷达康养雷达车载雷达车载雷达中国汽车制造产业集群整体上展现旺盛需求,在毫米波雷达应用领域处于行业领跑;智能家居、智慧康养领域包括家居照明、全屋智能联动、智能家电到跌倒监测、健康监测毫米波雷达技术应用趋势明显;交通领域从高速公路、城市道路、城市停车到车路协路端感知毫米波雷达呈现拓展态势。3、2022年新注册毫米波雷达企业12家2022年国内共有新增注册毫米波雷达企业12家,其中有8家选择进入康养赛道,具体包括深圳清澜技术、成都贝米睿联、青岛鲲泓智能、上海镭达晶元、上海毫微太科技、成都玛雅光年、深圳微瑞达、上海希卡立。数据来源:AIoT星图研究院整理-28-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30图表22:2023年中国毫米波雷达企业区域分布图资料来源:AIoT星图研究院整理从各省市具体企业分布情况来看,北京市有金茂绿建、木牛领航、川速微波等;广东省有华为、精华隆、承泰科技、云帆瑞达、电目科技等代表公司;上海有矽典微、加特兰、航征科技、纳瓦科技等公司;江苏有苗米科技、慧尔视、楚航科技、雷森科技等;浙江有岸达科技、隔空科技、福瑞泰克、智波科技等。图表 21:各省市毫米波雷达企业数量占比资料来源:AIoT星图研究院整理中国民用毫米波雷达产业链全景图中国民用毫米波雷达产业链全景图-31-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30毫米波雷达市场分析Chapter一、总体市场近几年,得益于汽车智能化的高速发展与雷达芯片制作工艺的进步,国内毫米波雷达整体市场增速较快。根据我们初步测算,2022年中国毫米波雷达市场总规模达到86亿元,实现同比增长24.6%。(一)总规模从各频率细分产品的市场结构来看,2022年国内77GHz雷达产品出货量达到1404万颗,同比增长39%,市场占比进一步提升至52%。随着 汽车雷达无线电管理暂行规定 的正式实施,车载毫米波雷达市场高频化发展趋势明显。24GHz雷达产品具有技术成熟、成本相对较低等特点,因此其应用范围更广,包括智能交通、家居家电、无人机、安防等诸多领域。2022年国内24GHz雷达出货量达到了918万颗,同比增长率为9.8%。近两年由于国内汽车雷达无线电管理新规对汽车雷达频段的限定,24GHz雷达市场逐渐向非车载领域转移。(二)市场结构图表 23:2018-2022年中国毫米波雷达市场规模(亿元)数据来源:AIoT星图研究院-32-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.3060GHz雷达对比24GHz中心频带更高,可用带宽更大,因此具有更精细的距离分辨率和速度分辨率,使其在室内外应用中具有较强的性能。随着智慧康养、智慧城市、工业监测等物联网领域应用对产品性能要求的不断提高,60GHz雷达产品在国内快速推广应用,2022年国内出货量增速达到170%,明显高于其他频段雷达产品。图表 24:2018-2022年中国毫米波雷达出货量(万颗)数据来源:AIoT星图研究院1、汽车安全性和智能化发展的必要性安全和效率是出行产业最为关注的两个话题。发展智能汽车不仅可极大改善交通安全和堵塞问题,还可促进汽车产业转型升级,助推经济发展。据麦肯锡预测,到2025年智能汽车预估的潜在经济影响最高达1.9万亿美元。(一)市场背景二、车载雷达市场图表 25:智能汽车的优势-33-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30智能汽车可以提供更安全、更节能、更高效、更舒适的出行体验,是国际公认的未来发展方向。其意义不仅在于汽车行业的技术升级,更会带来全球化供应链和产业生态的革新,成了当前各国必争的战略高地。图表 26:全球主要国家和地区智能汽车产业发展规划资料来源:智能网联汽车技术路线图2.0,AIoT星图研究院整理2、毫米波雷达在智能汽车中的细分应用场景在智能汽车L0L2阶段,毫米波雷达主要应用于自动紧急制动、自适应巡航、前向碰撞预警、盲区监测、后向碰撞预警、倒车车侧预警、开门预警、自动泊车、变道辅助、乘客成员监测、驾驶员生命体征监测、手势识别等功能。根据毫米波雷达在汽车上的安装位置不同,可分为前向雷达、角雷达和舱内雷达三类。前向雷达又称主雷达,一般安装在车标或车头格栅内。角雷达一般放置于车辆的四个拐角处,单车搭载数量较多,相互配合形成车身环绕覆盖。舱内雷达安装在驾驶座椅内或车顶位置。图表 27:智能车载毫米波雷达细分应用场景-34-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30根据SAE的分级,当前智能驾驶正处在L2向L3过渡的阶段。在此阶段,智能驾驶系统通过驾驶环境对方向盘和加减速中的多项操作提供驾驶支持,其他的驾驶动作均有人类驾驶员进行操作,实现准确、全面的环境感知是实现下一步规划决策的基础。提升感知系统的准确度和精度是智能汽车需要突破的关键。随着自动驾驶等级提升,将带动毫米波雷达搭载量提升。目前L1/2级别车辆为智能汽车市场主流,单车毫米波雷达搭载量一般为1-3颗。随自动驾驶等级向L3 迈进,单车雷达搭载量将增至5颗以上,与ADAS渗透率提升双轮驱动毫米波雷达放量。图表 28:L0L5智能驾驶汽车传感器需求资料来源:GGAI、Yole,AIoT星图研究院整理3、新车安全评级规程推动我国乘用车搭载ADAS功能C-NCAP或NHTSA安全评级体系将对国内乘用车ADAS功能的搭载产生直接促进作用。2022年1月,C-NCAP管理规则(2021年版)正式实施,该规程相比2018年版,对主动安全要求进一步提高,主动安全权重从2018年版的15%提升到25%,同时新增了AEB两轮车测试项目,并对LKA、LDW、BSD、SAS性能测试报告审核。图表 29:C-NCAP2021版主动安全ADAS部分对比C-NCAP 2018版项目类别C-NCAP 2021版ESC(车辆电子稳定性控制系统)AEB(车辆自动紧急制动系统)性能测试LKA(车道保持系统)性能测试AEB CCR(车对车)(减少CCRb场景)AEB pedestrian(行人AEB)(添加了夜间和纵向场景)AEB两轮车性能测试(左右侧实线/虚线偏离测试)AEB CCR(车对车)AEB pedestrian(行人AEB)-35-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30现阶段,乘用车车载雷达主要应用于前向ACC、AEB系统和后向BSD、LCA系统中。目前,美国、日本、欧盟等国家和地区纷纷将AEB纳入新车安全性评估项目中,各大车企也早已进军AEB领域,为未来实现自动驾驶做好技术储备。各个国家的新车评价体系相继引入AEB系统的现状也促进了AEB在我国的发展。在 C-NCAP管理规则(2021年版)评分体系中,主动安全权重由15%增加到25%,将使毫米波雷达装配率再度提高,市场空间将更大。图表 30:商用车强制安装主动安全功能的政策法规C-NCAP 2018版项目类别C-NCAP 2021版BSD(车辆盲区监测系统)LDW(车道偏离报警系统)SAS(速度辅助系统)儿童成员保护性能测试报告审核性能测试报告审核适用车型类型政策法规FCWLDWAEBSLKA车长9m的营运客车营运客车安全技术条件JT/T 1094-2016机动车运行安全技术条件(GB 7258-2017)2019.4.12021.1.12021.1.12018.4.1/2018.4.1新定型的车厂11m的公路客车和旅游客车4、商用车强制安装AEB等主动安全功能由于商用车引起的交通事故频发,国家相关法规对部分商用车做出了强制安装部分ADAS功能的规定。在政策法规驱动下,近年来,满足特定条件的商用车陆续迁入FCW、LDW、AEB等主动安全功能,带动更先进的环境感知系统、规划决策系统、底盘控制系统在商用车上搭载应用。总质量18000kg且最高车速90km/h的载货车载总质量12000kg的牵引车辆最大车速90km/h的牵引车辆两客一危营运货车安全技术条件 第1部分:载货车载JT/T 1178.1营运货车安全技术条件 第2部分:牵引车辆和挂车 JT/T 1178.2各省后装2021.5.12020.5.12021.5.12020.5.12018-2020总质量12000kg且最高车速90km/h的载货车载资料来源:AIoT星图研究院整理-36-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30中国市场汽车智能化程度不断提高,车载毫米波雷达市场快速增长。以乘用车为例,2022年中国市场(不含进出口)前装标配搭载ADAS毫米波雷达交付1795.3万颗,同比增长31.2%;其中,前向雷达搭载同比增长26.5%,角雷达同比增长37.7%。2023年1-6月,毫米波雷达搭载量达到937.92万颗,同比增长26.36%,其中,前向毫米波雷达搭载量459.29万颗,同比增长27.02%,渗透率49.41%;角雷达477.51万颗,同比增长25.63%,渗透率21.81%。从中国市场乘用车毫米波雷达搭载量情况可以看出:汽车智能化发展趋势明显,毫米波雷达搭载增速水平远高于国内汽车市场整体增速水平,按目前的搭载率情况来看,未来中国汽车市场尚有巨大的智能化渗透空间;2020-2022年中国市场角雷达搭载量快速增长,且在2022年角雷达的搭载量超过了前向雷达,说明中国智能汽车正从L0/L1基础等级辅助驾驶向L2高级辅助驾驶和L3有条件自动驾驶升级,车载毫米波雷达需求正从单一的1R前向主雷达搭载方案,向3R-5R多雷达搭载方案延伸,以实现更多ADAS系统功能。(二)市场现状图表 32:2022H1和2023H1国内智能网联乘用车销量(万辆)数据来源:GGAI、AIoT星图研究院整理数据来源:佐思汽研、AIoT星图研究院整理图表 31:2020-2023年中国市场乘用车毫米波雷达搭载量(万颗)-37-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.302023年上半年,国内L2级以上智能网联乘用车销量提升至403.8万辆,同比增长42.1%;渗透率为43.6%,较上年同期增加11.62个百分点。随着L2及L2 持续处于市场增长的高速期,预计在2023年对应毫米波雷达上车量将实现30%以上的同比增速。当前,我国车载雷达市场参与主体可分为国际Tier 1企业和本土企业两大阵营。其中,国际Tier 1企业阵营包括博世、大陆、安波福、维宁尔、海拉、电装天、法雷奥、万都、摩比斯、采埃孚等,共有约15家;本土车载雷达企业阵营根据公司背景情况可分为上市公司、初创公司和其他三类,具体如图表31所示,代表企业包括森思泰克、华域车载、德赛西威、华为、行易道、承泰科技、大疆车载、木牛科技、行易道、隼眼科技等,共有约50家。(三)竞争格局图表 33:中国车载毫米波雷达市场竞争格局资料来源:头豹、AIoT星图研究院整理从具体的市场份额占比情况看,目前国内车载毫米波雷达市场仍以外资供应商为主。在前向毫米波雷达市场,由于前向雷达涉及车身控制功能,功能安全等级要求较高,研发难度高,行业集中度高。2023年1-6月,博世、大陆、电装三大供应商占据超过84.45%的市场份额,森思泰克、楚航科技、华锐捷、华为等国内供应商占比2.74%。-38-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30角雷达研发难度较低,市场集中度低于前向雷达。2023年1-6月,前五大角雷达供应商共占据80%的市场份额,森思泰克进入前五。国内供应商陆续实现前装量产,市场份额逐步扩大,占比达到15.69%。数据来源:GGAI、AIoT星图研究院整理图表34:2023年1-6月前向雷达供应商市场份额图表35:2022年H1&2023年H1前向雷达供应商自主合资占比数据来源:GGAI、AIoT星图研究院整理图表37:2022年H1&2023年H1角雷达供应商自主合资占比图表36:2023年1-6月角雷达供应商市场份额-39-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30由于雷达芯片工艺的改进,车载雷达原材料和系统开发成本自2018年以来明显下降,并直接体现在国内车载雷达产品的定价上,2022年国内车载前向雷达价格降至400元/颗以内,角雷达价格降至240元/颗以内。进入2023年,国内车载雷达市场竞争明显升级,产品价格出现进一步下滑。其中前向雷达价格降至350元/颗以内,角雷达产品市场均价降至200元/颗,部分低端角雷达价格已在180元以内,高端的三发四收毫米波雷达价格在220-250之间。(四)价格分析总体来说,现有市场格局仍处于高度集中状态,不过随着更多的本土供应商定点项目开始释放,包括森思泰克、福瑞泰克、华为等代表的乘用车前装新势力将冲击旧有市场格局。在4D成像雷达领域,国内供应商的4D成像雷达产品大多数于2021-2022年面世,当前仍处于研发、调试阶段。以森思泰克、福瑞泰克、纵目科技、楚航科技为代表的少数4D毫米波雷达厂商在2022-2023实现4D成像雷达产品的量产搭载。2019年在底特律北美汽车展发布了首款4D成像雷达O79,并与全球排名第一的紧凑型机械车辆制造商Bobcat(斗山山猫)达成定点合作。2022年发布新一代4D成像雷达I79 Imaging,实现小批量供货。图表 38:本土4D成像雷达厂商市场化进度4D成像雷达厂商市场化进度华为森思泰克福瑞泰克木牛科技2021年发布高分辨率4D毫米波雷达,并计划于2022年下半年实现量2022年,福瑞泰克成像毫米波雷达产品FVR4在路特斯ELETRE车型上搭载华域汽车规划了LRR30和LRR40两款4D毫米波雷达。2022年LRR30已实现小批量供货2022年,森思泰克4片级联4D成像雷达STA77-8在长安SL03车型上搭载2023年,森思泰克2片级联4D成像雷达STA77-6在理想L7车型上搭载楚航科技2023年4月,获得苇渡科技的4D雷达定点项目2023年年底将在国内某车企主力车型上实现4D成像毫米波雷达的量产搭载资料来源:公开资料整理-40-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30图表 39:车载毫米波雷达价格趋势(元/颗)数据来源:GGAI、AIoT星图研究院整理(五)趋势分析随着毫米波雷达搭载数量的增多和渗透率的提高,雷达出货量将不断加大,单个毫米波雷达成本和价格将进一步下降,实现由高端车型向中低端车型的普及。未来,随着自动驾驶级别提升,毫米波雷达的功能和单车搭载数量将继续增加,形成360度无盲区检测、远近覆盖的感知部件。1、4D成像雷达或成为智驾感知新方案随着自动驾驶能力的持续提升,3D毫米波雷达已无法满足“看得更清晰”、“看得更准确”的需求,而4D毫米波雷达在3D的基础上增加目标高度数据的探测,且天线数量更多/密度更高、输出的点云图像更致密,使得毫米波雷达在探测距离、距离精度、角度分辨率、角度精度、速度精度等方面都有所提升,可有效解析目标的轮廓、类别、行为。在此背景下,头部零部件企业对4D毫米波雷达的开发进程正在提速。据业内人士分析,4D毫米波雷达的规模化落地即将开始。在市场化方面,4D毫米波雷达目前技术趋于成熟,有许多创新的算法应用在产品化过程中,4D毫米波雷达市场初具雏形,相信未来随着性能的大幅提升,4D毫米波雷达将以独特的性能和成本优势,为未来的智能网联汽车提供高精度、高可靠性、高性价比的感知底座。2、毫米波雷达 视觉传感器融合趋势凸显毫米波雷达不受天气影响可以全天候全天时工作,但存在分辨率低、无法区分人和物以及横向探测精度低等缺点。而摄像头分辨率高,具备形状和颜色感知能力,且横向探测精准度高,但其不可以在强光以及无光线情况下工作,毫米波雷达和摄像头各有优势,难以相互替代,而相互融合能保证信息充分获取,为实现自动驾驶提供安全保障。-41-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.301、我国智能家居行业经过不断摸索演变正式步入快速发展通道智能家居以微机时代为起点,在物联网时代彻底爆发,随着物联网技术的发展,智能家居3.0模式将实现智能产品的智慧互联,自主控制,以及主动智能。近年来,在消费升级和技术进步推动下,我国智能家居的发展与全球已经基本接轨。中国广阔的消费市场和产业沉淀,为企业产品不断迭代升级提供了充足的空间。(一)市场背景三、家居雷达市场图表 40:智能家居3.0模式演变历程资料来源:AVC奥维云网,AIoT星图研究院整理-42-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.302022年8月8日,工业和信息化部、住房和城乡建设部、商务部、市场监管总局联合发布 推进家居产业高质量发展行动方案,为行业在新发展格局下高质量发展、培育智能家居生态和创造高品质生活提供有力支撑。方案 提出到2025年家居产业创新能力明显增强,高质量产品供给明显增加,初步形成供给创造需求、需求牵引供给的更高水平良性循环。但 方案 同时也指出,现阶段家居产业的发展面临重点行业创新引领不足、质量精细化水平不高、智能化发展不充分等问题。家居消费需求仍待进一步激发和释放。2、毫米波雷达可以应用在智能家居多个细分场景中毫米波雷达在智能家居领域应用中是以人为主要探测对象,具体功能包括人体存在探测、位置轨迹跟踪、睡眠监护、以及手势识别等,根据其产品形态的不同可以分为嵌入式和独立式两类。图表41:家居毫米波雷达细分应用场景资料来源:AIoT星图研究院整理3、保护隐私、检测精度和环境适应性是家居雷达的主要优势毫米波雷达在智能家居感知器件中优势主要体现在保护隐私、检测精度和环境适应性三个方面。其中独立式的家居毫米波雷达主要是用于检测存在识别,可以了解人的真实存在情况、位置和方向、追踪等,用于与照明设备、环境设备以及家电设备进行联动。现有技术中常用的全屋感知人的动作触发,往往使用视频监控或者红外传感,视频监控涉及到人员隐私容易引起被监测方抵触,而红外人体感应只能用于判定人员的有无状态,难以获取人员的精确位置信息。毫米波雷达能有效弥补二者的缺点。嵌入式毫米波雷达传感器也一样在替代红外感应,如智能音箱、智能空调、智能照明、自动门、智能坐便器、水龙头、门锁、门铃、中控屏等智能家居设备,都已经作为雷达传感器内置应用的典型场景。-43-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30在保护隐私上,是毫米波雷达在人体探测应用中解决摄像头探测方式最重要的痛点问题。考虑视觉检测的个人隐私和数据安全,毫米波雷达不会泄露人脸、居家环境等用户隐私信息,有效避免隐私泄露。在检测精度上,作为高精度传感检测技术,毫米波雷达能够捕捉人体细微的动作,可以检测到毫米级的运动,并提供速度、距离、运动方向、角度等信息,实现精准细致的人体感应。在环境适应性上,与摄像头和红外相比,毫米波雷达可以不受灰尘、温度等外部环境条件的影响,全天候感知工作。更重要的是毫米波雷达不受光照条件影响,可以在完全黑暗或阳光直射的眩光下工作。而且毫米波雷达还可以穿透衣物、木板、塑料、玻璃等物体。综合以上优势,毫米波雷达能很好地解决智能家居行业痛点,应用于主动感知、非接触式感知、隐私感知、复杂场景感知等场景。具体看各细分产品的出货量情况,其中智能空调、智能电视优势显著,2022年出货均超过3500万台,属于第一梯队;智能照明产品年出货量接近3000万台,智能门锁同样在千万级别,属于第二梯队;而智能坐便器2022年出货量达到558.8万台,属于第三梯队百万级市场代表品类。4、国内家居家电雷达潜在市场需求量达到亿级目前我国智能家居行业进入量变的积累阶段,智能家居硬件的细分也在逐渐深化,各个单品所处生命周期不同,发展有快有慢。我们初步统计,2022年国内智能家居设备中仅智能电视、智能空调、智能照明、智能门锁、智能坐便器、智能中控等品类产品累计出货量就接近1.3亿台。图表42:国内家居家电市场雷达应用潜在需求空间数据来源:奥维云网AVC、IDC、洛图RUNTO、Gfk、艾瑞,AIoT星图研究院整理-44-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.301、2022年国内家居家电雷达模组出货量大幅增长36%,达4310万颗据AIoT星图研究院调研数据统计,2022年中国家居家电雷达模组出货量达到4310万颗,同比大幅增长36%。增长原因主要是:智能照明市场需求持续高水平增长,带动5.8G等微波雷达模组出货量不断攀升;智能门锁、智能坐便器市场验证成熟后,开始逐渐起量;在智能空调、智能电视等家电领域蓝海市场,24G、60G雷达模组出现了批量供货。2、24G家居雷达模组成为市场增长新引擎24G家居雷达由于可以有效解决目前红外PIR方案中穿透性弱、监测距离短等痛点,因此近两年越来越多的家居产品开始在智能化升级中接受24G雷达方案。从市场表现来看,由于24G雷达模组在价格、尺寸、功耗等方面的不断优化,其场景适配性得到显著扩张,出货量连续三年实现70%以上增长,2022年达到310万颗。从同比增长率和智能化渗透率情况分析,智能照明和智能坐便器成为了当下市场增长新引擎,2022年出货量增长率明显高于其他品类。同时智能照明和智能坐便器的智能化渗透率均不超过10%,未来智能化空间可观。(二)市场现状2023年家居家电智能化发展仍处于加速期,尤其在家居照明、智能坐便器、智能家电、中控屏等细分领域。因此我们判断2023年家居家电雷达模组仍将保持35%以上高水平增长,出货量有望达到5797万颗。图表43:2018-2023年中国家居家电雷达模组出货量备注:出货量含5.8GHz、10.525GHz。数据来源:AIoT星图研究院-45-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30芯片方面,目前国产24GHz毫米波雷达芯片已经开始大批量应用,特别在照明、家居等产品的内置应用上,例如国内矽典微推出的S3KM111 SoC、S5KM312 SoC等雷达芯片产品,适配于智能家居、智能家电、智能卫浴、安防监控等丰富的AIoT应用场景。由于我国毫米波雷达芯片产业相对起步较晚,尤其在高频率毫米波雷达芯片技术上积累较少。海外雷达芯片大厂例如德国英飞凌发布的60GHz雷达芯片产品BGT60TR13C,可实现人体动作检测、生命体征监测,可用在智能家居中,也可用于老年人健康状况监测。瑞典半导体公司Acconeer同样将60GHz毫米波雷达应用在家居智能、移动设备和可穿戴设备中。未来突破高频率毫米波雷达芯片的技术瓶颈,对我国毫米波雷达产业而言具有极为重要的意义。国内家居雷达市场处于早期发展阶段,尚未形成稳定的竞争格局。据我们初步统计,目前国内共有家居雷达方案商约30余家,根据各家的产品形态不同可分为家居雷达模组供应商和家居雷达终端产品供应商两类。(三)竞争格局数据来源:AIoT星图研究院资料来源:AIoT星图研究院图表45:家居家电毫米波雷达市场主要参与者图表 44:2019-2023年中国家居家电24G毫米波雷达模组出货量-46-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30同时随着下游智能家居市场需求日益旺盛,近两年家居毫米波雷达模组市场新进企业明显增加,根据新进者公司背景可以分为两类:一类是微波雷达模组企业,例如迈睿科技、易探科技、觅感科技等;另一类是无线通信模组企业,例如海凌科、易而达、安信可等。(四)发展趋势数据来源:AIoT星图研究院图表46:2020-2023年家居家电雷达模组价格走势1、低功耗、小型化家居毫米波雷达小型化、低功耗发展趋势明显。雷达作为电器开关入口,低功耗是一个重要的指标;小型化的设计可以将毫米波雷达嵌入到更多的设备设施中。2、低成本化家居雷达模组产品价格呈逐年下降态势明显,这也是当前毫米波雷达在全屋智能领域出现爆发的重要原因之一。毫米波雷达在智能家居市场之初产品价格动辄上千元,由于成本的大幅度下降,目前家居雷达终端价格已经普遍降低到几百元,部分品类OEM的价格甚至在100元以下。用户已经可以勉强接受当前价格,通过毫米波雷达产品进行联动,以获取更好的居家体验。3、多传感器融合多传感器融合是家居雷达未来发展趋势之一。具体有两种情况,一种是家居雷达与其他传感器的信息融合,另外一种是同一空间内多个家居毫米波雷达的协同探测,也将会增强雷达探测的信息维度。3、家居雷达标准化家居雷达场景的标准化工作亟待起步,由于目前行业尚处于起步阶段,各家厂商的应用标准和技术路线各异,缺乏行业统一标准,这是毫米波雷达向智能家居领域拓展的难点之一,需要行业内整合意见,构建行业标准。未来随着家居毫米波雷达应用场景不断衍生,将给家居雷达产品的标准化工作提出较高的需求。-47-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.301、政府出台系列政策提升智慧健康养老产品供给和应用康养雷达是一种以老年人为主要监测对象,可以实现人体感应探测、跌倒检测报警、睡眠呼吸心率监测等重要养老监护功能的新型智慧健康养老产品。随着我国经济社会的快速发展,智慧健康养老产品和服务正不断丰富,智慧健康养老理念已深入人心。但是,我国智慧健康养老产业仍面临技术产品供给不足、融合应用不够、产业公共服务能力薄弱等问题。因此我国从供给端和需求端两方面出发,出台了多项政策来提升智慧健康养老产品供应和提高信息技术融合应用,以发挥科技创新在应对人口老龄化问题中的第一动力战略作用。在供给端方面,工信部、民政部、国家卫健委先后在2017年和2021年联合发布了 智慧健康养老产业发展行动计划(2017-2020年)和 智慧健康养老产业发展行动计划(2021-2025年)(以下简称 计划)。其中2021年 计划 中明确提出要通过实施智慧健养老产品供给工程,重点发展健康管理类、养老监护类等五大类产品,带动传感器、微处理器、操作系统等底层技术突破,实现多模态行为监测、跌倒防护、高精度定位等实用技术攻关。同时,为落实 计划,促进智慧健康养老产品和服务推广应用,推动智慧健康养老产业发展,工信部、民政部、国家卫健委还先后在2020年和2023年组织评选公布了 智慧健康养老产品及服务推广目录(2020年版)和 智慧健康养老产品及服务推广目录(2020年版),其中有多款康养毫米波雷达入选。在需求侧方面,国家和地方各级政府主要通过推进护理型养老床位建设和老年人家庭适老化改造两方面政策来促进智慧健康养老产品的应用。其中国家政策层面,中共中央、国务院,以及民政部、财政部等国家机关单位先后发布了 关于印发“十四五”国家老龄事业发展和养老服务体系规划的通知(国发 2021 35号)、关于推进“十四五”特殊困难老年人家庭适老化改造工作的通知(民发 2022 9号)、关于做好2022年居家和社区基本养老服务提升行动项目组织实施工作的通知(民办函 2022 60号)、关于推进基本养老服务体系建设的意见 等重要政策文件,明确提出未来几年国家护理型养老床位建设和老年人家庭适老化改造的目标。(一)市场背景四、康养雷达市场图表47:2021-2023年国家和地方各级政府养老基础设施建设政策发布日期(一)国家政策发文机关文件名称主要内容国务院民政部、财政部住建部中国残联2021-122022-02提出“十四五”时期发展目标。包括到2025年养老服务床位总量达到900万张以上,养老机构护理型床位占比达到55%提出“十四五”时期支持200万户特殊困难高龄、失能、残疾老年人家庭实施适老化改造关于印发“十四五”国家老龄事业发展和养老服务体系规划的通知(国发 2021 35号)关于推进“十四五”特殊困难老年人家庭适老化改造工作的通知(民发 2022 9号-48-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30地方政策层面,2022年以来,广东省、重庆市、陕西省、昆明市、深圳市等省市先后发布关于推进做好老年人家庭适老化改造和护理型养老床位建设工作的通知,并在其中明确了各阶段的工作和建设标准。以上系列政策的实施有力推动了智慧健康养老产品的应用。资料来源:AIoT星图研究院整理发布日期(二)地方政策(部分)发文机关文件名称主要内容广东省民政厅省财政厅、省住建厅、省参联会中共中央办公厅、国务院办公厅民政部办公厅财政部办公厅重庆市民政局、市财政局、市住建委、市残联会陕西省民政厅、省财政厅、省住建厅、省残联深圳市民政局昆明市民政局2022-112022-082022-092023-052023-032022-122023-05“十四五”期间,全省计划共为不少于8.6万户特殊困难老年人家庭实施适老化改造通过中央专项彩票公益金支持,面向经济困难的失能、部分失能老年人建设10万张家庭养老床位、提供20万人次居家养老上门服务“十四五”时期推进基本养老服务体系建设重点聚焦老年人面临家庭和个人难以应对的失能、残疾、无人照顾等困难时的基本养老服务需求建议改造39132户关于加快推进“十四五”特殊困难老年人家庭适老化改造工作的通知(粤民函 2022 175号)关于做好2022年居家和社区基本养老服务提升行动项目组织实 施 工 作 的 通 知 (民 办 函2022 60号)关于推进基本养老服务体系建设的意见关于做好“十四五”特殊困难老年人家庭适老化改造工作的通知(渝民 2022 242号)未来三年计划完成5万户家庭适老化改造任务提出目标到2025年,各县(市)区公办养老机构护理型养老床位占比不低于70%,社会力量兴办的养老机构护理型养老床位占比不低于55%;到2035年,全市养老机构护理型养老床位占比不低于80%符合条件的本市户籍老年人实施居家适老化改造,依申请可以予以一次性资助,资助标准在12000元到20000元关于推进“十四五”特殊困难老年人家庭适老化改造工作的通知(陕民发 2023 14号)关于加快推进护理型养老床位发展的通知深圳市开展“0570”老年人居家适老化改造实施办法(试行)-49-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.302、毫米波雷达多项功能助力智慧健康养老场景根据雷达AI算法部分的不同,康养雷达产品可以分为人体感应探测雷达和智能康养监测雷达两类。其中人体感应探测雷达属于基础型康养雷达产品,算法相对简单,仅用来实现探测老年人有无生命体征的基础功能。而智能康养监测雷达,则是通过融合AI算法,可以实现例如跌倒检测、睡眠呼吸监测(慢性呼吸疾病、睡眠质量监测)以及心脑血管疾病监测(实时心率/心脏节律、心律不齐筛查、异常心率监测)等更复杂功能。图表48:智能康养监测雷达主要功能介绍国内康养雷达市场尚处于导入阶段,现阶段仍以政府端需求为主。近两年在老年人家庭和养老机构适老化改造需求推动下,国内康养雷达市场规模快速增长。据AIoT星图研究院调研数据,2022年中国康养雷达总市场规模达到4.4亿元,其中人体感应探测雷达3.1亿元,智能康养监测雷达1.3亿元。其中,跌倒检测雷达是目前市场推出最多的细分康养雷达品类,现阶段主要面向地方民政部门和养老机构;睡眠呼吸监测和心脑血管疾病检测均是借助毫米波雷达长时间对使用者的睡眠呼吸情况进行无感监测实现。另外,随着大众对自我健康的高度关注以及医学科普带来的健康管理意识的提升,呼吸心跳等生命体征监测医疗器械产品也开始在逐渐走俏。(二)市场规模跌倒检测睡眠呼吸监测心脑血管疾病检测将毫米波雷达跌倒检测报警器安装在卫生间、卧室、客厅内,老人跌倒之后,雷达设备主动识别跌倒行为后报警。一旦发现跌倒,可以通过电话、短信或APP向老人的子女、监护人发出告警毫米波雷达能够对使用者的睡眠状态及生理体征进行监测,基于数据融合对使用者的肺功能进行综合性评估,有望为慢性呼吸疾病的早期发现和康复评估提供有效的手段基于毫米波生物雷达传感器,能够精准地感知心脏跳动、肺部收缩、脉搏跳动等生命体征活动引起的人体皮肤表面的微振动,获取心血管系统相关的一系列信息。资料来源:AIoT星图研究院整理图表49:2022-2027年中国康养雷达市场规模及预测(亿元)数据来源:AIoT星图研究院-50-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30随着康养毫米波雷达方案的不断迭代升级、芯片原厂推出更多的低成本方案,以及未来老龄化问题的日益凸显,我们认为未来五年康养毫米波雷达将由前期市场导入迈向快速增长阶段,到2027年市场规模增长至59.2亿元,年复合增长率68%,其中智能康养监测雷达市场规模达到47.4亿元。原因如下:预计未来五年康养雷达在C端市场将完成验证,2027年中国老年人口数量超过3.2亿,保守估计届时康养雷达产品市场渗透率将接近5%,为后期市场爆发奠定基础;“十四五”期间,政府主导的公立养老机构护理型老床位和兜底性老年人家庭适老化改造加快推进,智能康养监测雷达通过实时监测、AI数据分析等手段将集中解决便利性、安全性等多方面核心痛点;我国老年抚养比较高,养老护理人员不足,康养雷达产品将是人工护理服务的重要辅助和替代;我国第二波婴儿潮人口即60后人群开始步入老年,这部分人口养老消费能力优于当前的老龄化人群(50后及以前),受支付能力、消费观念等因素影响,新晋老龄人口有望对智能化养老产品表现出更强的支付意愿;养老消费类似育幼消费,部分来源于子女支付,年轻群体是目前智能家居用品的主力消费群体,有望带动智能康养监测雷达产品市场需求。图表50:国内主要康养雷达公司简介2022年以来,由于全国各个地区适老化改造的加快推进,国内部分家居和家电物联企业开始通过与毫米波雷达厂商合作的方式加入到康养雷达市场中。如海尔和以色列毫米波雷达独角兽Vayyar Imaging合资成立了青岛鲲泓科技,萤石网络联合森思泰克在今年1月推出了跌倒检测雷达产品等。另一方面,国内越来越多养老平台型公司将毫米波雷达作为核心技术之一,纳入到自己的养老服务体系中,具体例如泰康之家、平安管家、天与养老等。据我们初步统计,目前国内已发布康养毫米波雷达产品的公司共有34家,其中具备康养雷达方案研发能力的公司主要有苗米科技、精华隆、金茂绿建、宇视科技、科技、Vayyar、中科博约、旷时科技、森思泰克、清澜技术等。(三)市场格局公司名称公司简介苗米科技成立于2017年,核心团队来自中国科学院,华为,专注于无线智能感知技术的研究与产业化工作,团队聚焦康养医疗和智能家居两大领域重点发力,致力于打造无线雷达 ai技术的底层技术基座,进一步赋能各行各业。2022年苗米智慧康养产品入围工信部,民政部,卫计委,三部委联合发布的 智慧健康养老产品及服务推广目录(2022年版),2022年在工信部举办的全国中小企业创新创业大赛(创客中国)比赛中,苗米团队获得智能家居赛道第一名,全国总决赛二等奖,是该年度毫米波雷达领域企业在该项国赛级别中的最好成绩。苗米科技清雷科技Vayyar清雷科技成立于2019年,总部位于北京,核心团队来自清华大学,其技术及产品可实现无接触人体检测与定位、姿态识别、跌倒告警、手势识别、呼吸心率监视等智能感知任务。目前主要瞄准智能家电/家居、智能穿戴、医疗健康、安防监控等行业。2022年,清雷科技拿到国内首家基于毫米波雷达的二类医疗器械注册证。据悉,清雷科技已和国内30多家三甲医院进行临床科研合作。Vayyar成立于2011年,是一家专注于毫米波高分辨率射频成像技术的以色列高科技公司,目前公司累计融资近近3亿美金,估值超10亿美金,全球员工超过330人,销售研发中心遍布5个国家。2021年,Vayyar在南京注册成立微眼慧视(常州)科技有限公司,并在中国建立继以色列后的全球第二研发中心。Vayyar公司开发的安全、轻巧、可负担的4D成像射频传感器,基于自研的成像雷达系统级芯片(SOC),在单颗芯片上最高可集成72根收发天线,可覆盖3GHz-81GHz工作频段。Vayyar成像技术可广泛应用于智能家居,智能家电,居家机构养老,智能建筑等各个应用领域。-51-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30资料来源:公开信息整理公司名称公司简介精华隆创立于2006年,总部位于深圳,是一家集物联网行业智慧感知连接技术研发、生产、销售、服务为一体的国家高新技术企业。公司聚焦“多传感融合,多端智能”技术路线打造,基于毫米波雷达技术,精华隆与深圳大学合作研发推出了智能睡眠监测仪、智能跌倒探测仪、智能人体感知探测仪等智慧感知产品,应用于智慧康养、智慧卫生间、智慧家居、智慧安防等多细分场景中。目前,精华隆IoT感知解决方案已服务全球100多个国家和地区,累积服务客户超1000家,与太平洋保险、天与、厚德世家、居家族、蓝色健康、国药集团、作为科技、中国联通、科大讯飞、华为、万科、碧桂园、中国邮政、中国银行、中国铁局等企业达成深度合作。精华隆金茂绿建金茂绿建成立于2016年,总部位于北京,是中国金茂控股集团有限公司的全资子公司,业务涉及智慧能源投资运营(综合能源服务、绿色云计算中心、新能源车换电)、科技产业布局发展;致力成为行业领先的智慧能源和建筑科技综合服务商。针对不同的室内应用场景,金茂绿建研发了多款集成AI算法的毫米波模组,具体应用涵盖:存在定位雷达,姿态雷达(含跌倒检测),计数雷达、健康监测雷达、手势控制雷达等。完全自主毫米波核心算法。由于目前国内康养雷达市场尚处于探索阶段,竞争格局还未形成,加上康养市场存在地域性、相对分散的特性,因此现阶段市场还没有真正意义上的龙头出现。从市场发布的康养雷达产品来看,国内已发布共约30余款康养类雷达产品,代表的有苗米科技的mm系列、精华隆的ED713智能睡眠检测仪、金茂绿建的毫米波AI传感器系列、Vayyar公司的Vayyar Care、清雷科技的贝加安、算丰征途的夜莺守护仪、百芝龙的PERSPICACE、时变通讯的安如氏TM、点可科技的DT-Smart等。(四)竞品分析数据来源:AIoT星图研究院整理图表51:中国康养雷达市场主要竞品分析-52-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30从各康养雷达的产品参数信息看出,大多数产品选择60GHz频段,小部分用24GHz;传输方式主要采用Wi-Fi和4G两个版本,还有小部分用蓝牙、串口USB、zigbee传输。从当前市场情况来看,许多终端厂商对于毫米波雷达技术的康养应用形态仍在探索中,究竟集成在哪种类型的家用电器上,或以何种形态将产品推向市场,这仍是终端厂商思考的问题。1、与AI技术深度结合实现智能感知升级随着物联感知进入智能化的高阶周期,国内毫米波雷达企业也从原来通过简单的传感器堆砌方式,逐渐走向了另一条感知升级的进阶路径将AI技术与毫米波雷达结合。一方面,毫米波雷达结合AI技术不仅可以进一步提高雷达传感器的探测性能,而且还能够让雷达真正智能,理解目标的特性和行为。另一方面,通过利用AI技术还可以将毫米波雷达和视觉等其他传感器实现异构融合,达到高准确度、高鲁棒性、高完整性的环境感知。2、融入AIoT全屋智能管理体系协同发展当前康养领域毫米波雷达主要以独立单品形式来解决痛点问题,不过从中长期来看,和家居家电各类解决方案深度融合可能会成为康养雷达行业未来重要的发展趋势之一。一方面,毫米波雷达技术正逐步进入空调、电视、照明等家居家电设备中,使无限雷达感知技术成为室内场景中基础设施的一个有机组成,进一步强化对于室内场景中人的24小时监测能力构建;另一方面,作为一种利用无线电进行感知的传感器,毫米波雷达对物联网有天然的亲和力,毫米波雷达健康监测功能的实现,本身便需要借助于物联网技术、通信技术,才能实现向用户终端进行报告、通知、警报。部分产品功能的实现,还需要购买运营商提供的通信服务。而包括小米、华为、三大运营商在内的企业,均在布局自己的智能家居生态,因此借助智能家居行业既有参与者的力量,或许可成为毫米波雷达进入健康监测领域的关键。(五)发展趋势1、安全和拥堵问题制约我国交通运输发展交通毫米波雷达主要用于路端测速、测流和停车出入口的道闸触发与防砸。中国是全球交通大国,交通的核心目标是安全、高效、节能、环保,随着机动车保有量的快速增加,拥堵给大城市带来每年上千亿的损失。为缓解日益严峻的城市交通拥堵问题,采用智能交通系统加强交通运输管理十分必要。目前,许多发达国家都已经开始全面推广智能交通系统,不仅解决了许多交通问题,同时也为建立起节约资源、保护环境的现代化城市奠定了坚实的基础。近年来随着我国车路协同、智慧路口、智能信控的不断发展,智能交通信息化和数字化建设比重逐渐增加,基础感知设备数字化诉求不断提升,并在新基建等政策和资金的支持下,交通感知建设突飞猛进,带动了视频、毫米波雷达等感知设备的快速发展。毫米波雷达作为交通感知领域近两年来最受关注的产品之一,建设和应用规模迅速扩大。(一)市场背景五、交通雷达市场-53-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.302、毫米波雷达在智能交通中的细分应用场景交通毫米波雷达细分应用场景分为高速公路、城市 道路、车路协同、城市停车四类。图表52:交通毫米波雷达细分应用场景资料来源:AIoT星图研究院整理在城市道路中,交通毫米波雷达主要应用于城市路口、国省道以及城市干线。城市干线主要是测速,目前市场比较饱和,市场竞争激烈,更多是存量市场更新换代;国省道路口应用流量雷达或安全防护雷达,防止车辆空等、提高行人过街安全,场景相对简单,功能容易实现;城市路口主要结合交通信号配时,缓解路口交通拥堵,这一场景也是目前毫米波雷达在城市道路应用的重点,也是各厂商竞争的焦点。在高速公路中,交通毫米波雷达主要是测速、安全防护、事件检测、流量检测。高速公路是早期使用雷达最多的场景,主要应用在测速领域。随着高速公路新建道路里程逐步减少,新建项目在逐步下降,更多是产品的更新和维护。高速公路视频云联网第二阶段是智能分析,将推动高速公路中事件检测行业的发展,视频目前仍是事件检测的主要手段。触发雷达是根据雷达工作机制而言,主要包括道闸雷达、ETC雷达,以及最新推出的安全防护雷达,雷达感知到目标触发道闸、视频等关联设备。其中,雷视一体机是近两年毫米波雷达与视频在交通领域中的创新产品。毫米波雷达能测速度、距离、角度,但对于静态目标无法检测且结果无法直观图像呈现,无法精确区分目标类型;视频容易受天气影响,雷视一体机刚好可以解决这些问题。目前市场应用处于起步阶段。在车路协同中,毫米波雷达主要是用于路口信号控制和全程监控。车路协同是交通毫米波雷达新兴的应用场景,与视频、雷视一体机、激光雷达、气象监测设备等组成车路协同路侧感知系统,打造“智慧的路”。车路协同使用的毫米波雷达全部为多目标雷达,能提供更加多元数据,再配合GIS地图,提供目标的即时速度、即时位置等数据。受智能网联、车路协同政策推进,各地车路协同示范区、测试区不断建立,毫米波雷达或激光雷达成为标配,未来体量将随着整个车路协同市场的发展而扩大。在城市停车中,毫米波雷达可用于停车位检测和停车场出入口触发和防砸。在停车领域,毫米波雷达主要是出入口道闸防砸雷达,用于检测车或人,防止砸人,砸车。道闸雷达的应用场景单一,功能简单,技术壁垒不高,产品价格不高,市场格局已经形成,目前体量已具有一定规模,但与传统的地感线圈检测方式相比,道闸雷达是近几年新研发的产品,目前停车场使用情况是地感:雷达4:1,随着产品技术不断完善,目前业主的认可度不断提升,市场规模增长较快。停车位检测由于成本等因素,目前市场尚未完全打开。-54-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.303、国家高度重视智能交通基础设施建设2022年3月11日,全国两会落下帷幕。期间多位人大代表、政协委员就智能交通建设,围绕智能交通运营商、法规修订、停车、交通基础设施等领域建言献策。其中,继续加强交通基础设施建设、建设交通基础设施数字化大基座、大力促进新型基础设施建设等提案,成为智能交通领域继修订 道路交通安全法 后的最受关注和讨论的内容之一。近几年国家出台相关政策,针对城市智能化管理,加强科技手段促进交通管理的科学化、合理化和可持续性。2020年公安部交通管理局发布 关于进一步加强城市道路交通信号控制应用工作的指导意见 和 公安交通管理科技发展规划(2021-2023年),要求东部地区城市交通检测设备配置率分别达35%、45%、55%以上,中、西部地区城市交通检测设备配置率达30%、40%、55%以上,用以推进城市交通精细组织,夯实交通流信息检测、城市道路交通组织、信号配时三位一体的交通管控基础体系,因地制宜科学优化信号配时、交通组织方案,有效缓解城市交通拥堵。1、2022年国内交通雷达市场规模超过17亿,出货量超过44万台交通毫米波雷达市场从2020年开始一直呈快速增长趋势,2022年国内交通毫米波雷达市场规模已超过17亿元,其中流量雷达的市场规模最高,其次是雷视一体机和测速雷达。近三年的国内交通毫米波雷达市场规模增长率都超过10%。究其原因:一是交通毫米波雷达准全天候特性,结合视频等采集设备,能为车路协同和智慧高速提供精准的路况环境信息,车路协同和智慧高速市场的增长带动了交通毫米波市场;二是2020年末出台的 公安交通管理三年行动计划(2021-2023)对城市交通检测设备配置率提出要求,同时随着用户对雷达产品的认可程度逐渐提升,交通毫米波雷达产品开始广泛的应用在城市智能交通领域中,近几年出货量和市场规模一直保持增长态势。从出货量看,2022年国内交通毫米波雷达的总出货量超过44万台,其中产品应用在城市交通领域的数量远远大于高速公路;雷视一体机的出货量增速远远高于测速、流量和道闸雷达。2、交通毫米波雷达细分频段产品市场结构分析从目前已安装使用的交通毫米波雷达频段占比可以看出,24GHz交通雷达产品占大多数份额,仍是路测交通监测雷达应用的主流;77GHz产品约占29%,由于76-79GHz频段被明确划给车载雷达使用,因此77GHz交通雷达产品逐渐转移至其他频段;剩下80GHz交通雷达约占2%,其他频段交通雷达约占1%。(二)市场现状图表53:交通雷达市场结构(按频段划分)数据来源:赛文交通网、AIoT星图研究院整理-55-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30关于交通毫米波频段的选择,交通雷达厂商基本都储备多套技术方案应对频段政策变化。早期交通测速雷达大多采用24GHz作为工作载频。24GHz作为ISM(工业、科学、医疗)频段,有效避开了大气衰减窗口。2015年后,多家国际芯片大厂推出77GHz毫米波雷达套片,大幅降低了高频毫米波雷达的研发难度和成本。众多汽车雷达厂商都转向研发推广77GHz 毫米波雷达产品,很多路侧(交通)毫米波雷达厂商也开始尝试采用77GHz套片。2021年12月工信部正式宣布将76GHz79GHz频率频段规划应用于汽车雷达,为长时间以来车、路两端雷达频率频段共用的混乱局面按下了停止键。交通雷达厂商不得不将产品频段切换到80GH,由于80GHz的芯片组、天线设计、软件算法等都与77GHz一致,所以产品线切换相对容易,大部分交通毫米波雷达厂商复用了原有的技术路线,开始推出80GHz的雷达产品。2023年5月,工信部公布新版 中华人民共和国无线电频率划分规定,新增了“明确79-81GHz频段无线电定位业务将优先用于汽车雷达等应用。”的修订。修订一出,在智能交通行业引起了广泛讨论与关注。有业内企业尝试推动24GHz作为行业正式频段。另外,2021年工信部发函称已启动92-95GHz频段频率使用规划研究,拟在此频段内解决智能交通领域路侧雷达的频率使用需求,目前暂未正式定稿。不过从产业链成熟度角度考虑,业内普遍认为9295GHz频段短期内还无法实现规模量产。最后,将于2023年10月1日正式实施的国标 交通信息采集 微波交通流检测器 采用24GHz频段,可以满足基本的交通流量检测、事件检测等需求。随着交通雷达市场需求的显著增长,吸引了越来越多企业进入该领域,除了传统路侧感知供应商持续加强布局外,科技巨头、车载雷达供应商等都开始切入交通雷达领域。目前国内共有交通毫米波雷达企业约30家,主要分为传统交通雷达厂商、传统视觉厂商和车载雷达厂商等新进入者三类。(三)竞争格局图表54:中国交通毫米波雷达市场主要参与企业资料来源:AIoT星图研究院整理-56-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30交通雷达研发厂商。该类厂商从原来的断面雷达到多目标雷达的研发一路走来,具备一定的交通行业和雷达技术的积累。但这方面企业相对来说较少,应该不超过10家。传统的视觉厂商。他们目前主要以对外合作的方式推出雷视融合产品,以弥补其自身视觉产品在交通场景下的不足。原车载领域做车载雷达的厂商。此类厂商在车载领域面临较大的挑战,从而转入到路侧雷达赛道以寻求新的突破点。总体来说,目前行业处于一个充分竞争的局面,谁能真正脱颖而出,还要看各自的技术沉淀和市场上的应用效果。同时,雷达研发是非常烧钱的,因为有较高的技术壁垒,能否保持持续的现金流投入也是竞争的关键。这对每个厂商是一个很大的机遇,更是一个很大的考验。根据赛文交通网的调研,中国市场交通雷达品牌影响力TOP10企业依次为:慧尔视、海康威视、大华股份、象德信息、杰瑞电子、宇视科技、木牛科技、博研智通、川速微波、志德华通。图表55:交通毫米波雷达品牌影响力TOP10企业排名排名企业名称12345678910南京慧尔视智能科技有限公司杭州海康威视数字技术股份有限公司浙江大华技术股份有限公司西安象德信息技术有限公司连云港杰瑞电子有限公司浙江宇视科技有限公司北京木牛领航科技有限公司北京博研智通科技有限公司北京川速微波科技有限公司江苏志德华通信息技术有限公司资料来源:赛文交通网、AIoT星图研究院整理交通毫米波雷达的主要设计难点,也即各个厂商的差异化竞争,主要在于以下三点:(1)同等规模下的最大作用距离。雷达的最大作用距离几乎与雷达整体设计的各个方面,包括发射ERIP、接收通道数、覆盖范围、接收灵敏度、ADC动态范围、信号处理等都相关。根据雷达方程,笼统上,雷达每提升1倍量程需要提升约16倍系统增益,代价高昂。同等规模下的更大有效作用距离基本上全面表征了厂商的整体设计能力和实现水平。(四)主要难点-57-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30资料来源:公开信息整理(2)水平方位角的测角精度/分辨力。对于交通应用,雷达要求至少达到车道级别的定位能力。假设车道宽度为3m,则对于雷达在100m、300m、500m的夹角分别是1.7、0.57和0.34。因此交通应用对于雷达的测角能力要求很高。此级别的测角精度/分辨能力,对雷达的整体天线数量、天线孔径、MIMO阵列设计、波达角估计方法等设计都有严格的要求。(3)对于低速目标的分辨和定位能力。当前雷达技术主要是通过动目标检测(MTD)达到抑制地杂波的效果,对于静止目标不做输出。对于交通应用,例如堵车、计算排队长度等应用,雷达对于低速目标的检测能力对于最终输出结果的准确性是至关重要的。使零多普勒轴具有更小的色散、恒虚警(CFAR)方法、解多普勒模糊等,都是防止需要的低速目标和不需要的静止地杂波混在一起的重要的技术手段。1、交通雷达往一体化、高性能、控成本演进从2023年的路侧感知市场来看,无论是路侧纯视频设备、还是雷视一体设备,在外观上在往一体化集成方向发展,且产品外观也不在局限于传统的枪机、球机或者传统的雷视一体,开始变得多元化了。智能路侧感知是整个智慧交通/智慧道路的底层基础技术,对智慧交通/智慧道路的发展至关重要。路侧感知硬件主要包括摄像头、毫米波雷达、激光雷达、雷视一体等。目前来看,单一的路侧感知硬件无法满足智慧道路的需求,多传感器融合是路侧感知的发展趋势。整个路侧感知硬件市场正向着高性能、降本方向发展。2、4D毫米波雷达开始探索应用于路侧毫米波雷达是路侧感知传统硬件,近些年路侧厂商开始探索将4D毫米波雷达应用于路侧。目前主流的路侧感知硬件供应商中,雷森电子、德冠隆、慧尔视等都相继推出了4D毫米波雷达产品。(五)趋势分析图表56:交通雷达厂商推出4D雷达产品公司名称动态详情2023年3月推出4D毫米波成像雷达CitRadar-4DIR600,采用多波束分时工作模式并结合智能MIMO虚拟孔径合成技术,其整体性能较传统毫米波雷达实现了64倍的提升。强劲的数据处理能力使雷达可在600米范围支持最大跟踪1000个结构化目标数据信息输出。德冠隆慧尔视2022年7月推出全新路侧4D毫米波雷达-4D微波检测器RTE V29,依托4D自研雷达前端及业内领先算法,实现了在各类交通环境下的全参与者感知,精准扫描目标轮廓高度,以高精度的检测能力助力路口和路段的高精度全息感知。-58-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30随着社会的发展,人们对安全防护的等级的要求也越来越高,迫切希望通过一种技术实现围界安防和区域安防,做到前期能提前预警,后期又能形成持续有效的追踪。当下传统的安防系统技术基本采用振动传感器、红外对射、被动红外、电子围栏、视频监控、热红外等手段,易受恶劣天气、遮挡、复杂环境影响,在某些方面都凸显出其不足,不能普遍适用到多种多样的核心要地防范需求。这时毫米波雷达安防技术手段完美解决了上述问题。安防系统按照其作用范围划分可以分为周界安防和区域安防。周界安防主要作用于围界,为 线 式安防。而区域安防主要作用于一个平面,为 面 式安防。(一)智能安防六、其他应用市场图表57:雷达周界安防系统图例图表58:雷达区域安防系统图例-59-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30毫米波安防雷达为线性调频连续波雷达,实现了对监测区内空间无任何间断全程覆盖,具有体积小、重量轻、可靠性高以及距离盲区小、无速度盲点、高距离分辨力、良好的抗干扰性能等优点。与红外对射系统相比,安防雷达提供的是一个具有一定高度和厚度的连续的毫米波雷达墙,没有钻越和跳越的可能。与线缆型系统相比,安防雷达不仅能对侵入目标进行定位,而且可以获取监控场景内移动物体的速度、方向、距离、角度信息,24小时无间隙监控。与具有同步变焦激光补光灯的高速球型摄像机配合,可以实现目标跟踪,不仅可以立即定位入侵点位,而且能够获得很好的图像信息,便于安保人员做出快速响应,从而避免事故发生。毫米波雷达的优势在于,单台雷达可以实现360区域覆盖,任何具有一定表面积的物体进入雷达防护区域,都能够被探测到,并可以自由划分防区,实现提前预警的目的。毫米波雷达探测范围可达3Km,用于油库、油田、码头等拥有较大场地的企业安防系统,优势明显。目前,国外的瑞士RFbeam,国内的芜湖森思泰克、纳雷科技、同方威视、中电38所、青岛国数科技公司、山西禾源科技和电子科技大学对该领域有研发。以森斯泰克、纳雷科技的产品来看,该领域雷达都集中于24GHz频段。图表59:雷达物位计图例交毫米波雷达在工业上应用的典型例子是雷达物位计或雷达液位计。众多生产企业拥有若干大型封闭性的物料罐,其进料和出料均采用机械化操作,需要用传感器测量罐内的物料或液料的高度(体积)。毫米波雷达物位计因其非接触、测量准确性、和物料环境适应性特别受到青睐。毫米波雷达物位计采用2426GHz线性调频连续波,其测量原理和常规的多普勒雷达测高仪相似。由于雷达物位计可使用相对长的测量时间(例如秒级或更长)来获得测量数据,在距离测量中使用信号积累技术非常重要,能够大大提高测量准确度。中国市场上有多家国外进口的雷达物位计,例如德国西门子公司的产品因性能优良占有一定市场。国内也有制造商,但技术来源不详。据估计中国雷达物位计及相关设备市场已达到4亿元人民币。水文监测是工业雷达液位计的重要应用场景之一,近年由于突发性强降雨或者持续降雨引起的水位上涨导致的安全事故频发。外部有江河分支流向城市的河道迅猛水流,内部有城市交通隧道或者立交桥下等容易积水的地方。基于毫米波技术的雷达水位计拥有非接触式测量,量程大、精度高,安装方便等特点。毫米波雷达首先定位河床高度为基础高度数据,通过在监测过程中河道液面与毫米波雷达与的之间距离数据,得出当时水位高度。且因毫米波雷达几乎不受外界温度、湿度、雾气等恶劣环境条件的影响,完善补充目前主流水位监测传感器的短板。(二)工业监测-60-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30目前国内形成一批专业化的物位监测雷达厂商,包括智驰华芯、精波仪表、上海航征、华聚科仪、九一传感、天眼感知、划创科技、万讯自控等。毫米波雷达在工业上另一重要应用是工程测绘。地理测绘是一项国家长期进行的工作,测绘学研究测量地球表面自然形状和人工设施的几何分布,所得的信息可用于编制各种比例尺的地图,以供城市规划、交通建设、水利开发和环境保护等诸多方面使用。定期开展测绘工作,可以实时掌握地理信息,进行各项调控和规划。但西南地区云雾天气较多,光学测绘设备受天气影响,无法持续进行测绘,很多区域不能实时更新地理信息。机载毫米波测绘雷达不受天气影响,无论阴晴雨雪均可工作,体积小、装机适应性强,且毫米波雷达由于波长短、频率高,使其具有测量精度高的特点,基于该频段的雷达天线可以采用轻小型、一体化设计,无需对现有测绘用的机载平台进行改装,成本低、实装性强。国内多型飞机均可搭载飞行,保障快速反应并顺利获取测量区域图像。中国航天科工集团二院23所所研制的机载毫米波测绘雷达在成都西部山区获得首幅1比5000比例尺图像,使国内测绘市场第一次拥有了机载毫米波测绘雷达测绘出的图像。华测导航公司也设计工程测绘领域,不过产品多为激光雷达,且没有毫米波雷达测绘应用的产品。毫米波雷达在民航领域主要应用是跑道FOD检测、机场围界安防。跑道是作为航空器起降的核心区域,因为航空器的速度很快,发动机功率也很大,所以FOD更容易对航空器产生损伤,因此,FOD具有构成单一、数量较少、偶发性高和危害性大的特点。跑道高危的FOD占到总量的77%,而且大部分属于金属物。跑道异物和鸟类入侵是机场跑道最大的两个安全问题,其中跑道异物,例如掉落的一些金属、橡胶的物体会对飞机轮胎、发动机造成非常严重的危害,每年造成的直接损失至少大于50亿美元。机场安全防范系统按照区域划分主要包括:航站楼安全防范系统、飞行区安全防范系统和其它公共服务区安全防范系统三大部分。其中,飞行区安全很大程度取决于飞行区机坪及周边围界的安全。机场围界作为机场飞行区与外界隔离的第一道安全屏障,担负着保障飞行区安全的重任。针对机场围界来说,传统的安防手段很多。除了物理围栏,技术上有振动光缆、辐射电缆、高压脉冲、视频监控等。目前,振动光缆在机场周界防范系统中应用较多。(三)民航应用图表 60:国内水文监测毫米波雷达产品-61-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30但振动光纤缺点很明显,易受天气影响,尤其是大风、冰雹的天气,误警率非常高;视频监控,也是受天气影响很大,无预警和报警功能,需靠人工远程判读;依靠简单的“老三防”进行飞行区围界安防已远不能满足机场管理部门对飞行区空防安全管理要求和需求,在此情况下,对围界报警系统技术的提升显得尤为迫切。当前机场围界安防系统正朝着网络化、数字化、智能化及多技术手段相融合方向发展。随着雷达的探测精度越来越高,基于毫米波雷达的周界防范系统,在机场能够很好地解决目前现有的安防技术一些缺陷,比如说误警率非常高的问题、入侵目的有效跟踪的问题、入侵人员跨越现有周界技术的问题、维护成本高的问题等。同时,其扩展性很强,并能够为多个机场安保部门提供所需要的信息。相比只有摄像头的监控方式,雷达周界安防覆盖范围更广,并且不受沙尘、雾霾、下雨、光线强弱等恶劣环境的影响。但雷达在有地形或障碍物遮蔽时,存在覆盖盲区问题,对空管导航雷达的相互影响有待进一步论证。国外公司英国QinetiQ、德国莱茵金属、以色列Xsight、美国Trex和新加坡Stratech、以及国内公司中航飞机和中航电子都有对FDO系统的产品研发。各公司使用的毫米波频段为:英国QinetiQ为94GHz;以色列Xsight为76GHz;美国Trex为79GHz;新加坡Stratech不使用毫米波雷达。国内北京航通天下、湖南华诺星空、川速微波、北京神州太讯、深圳市杰士安、纳雷科技等公司有相关产品。在船舶碰撞事故中,89%-96%的事故可归因于人的自身原因,包括明显的和潜在的原因,如何有效解决无人船近距离避障问题是世界的一大难题。无人船能够在水上自主航行的关键在于其快速、高效的自主路径规划能力,而优异的自主路径规划能力主要依靠其对周围环境的准确感知。无人船环境感知的原始数据来源于各种船载传感设备。纳雷科技毫米波雷达防碰撞方案:采用1 N(SP70C)个24GHz毫米波雷达,一个长距离毫米波雷达和N个中距离毫米波雷达,长距离可以选择100米450米的长距离雷达,实现前向防碰撞,根据覆盖区域和船舶大小不同,可以根据实际情况选择N个中距离毫米波雷达,实现船舶360无死角防护。基于毫米波雷达的无人船防碰撞系统,采用FMCW体制,能测量目标的距离、速度、角度,具有良好的水波抑制能力,很好的解决这一无人船近距离避障难题,目前已经有5家以上的无人船厂商使用这一方案。(四)船舶避障民用无人机逐渐走进了生产生活领域。直升机和固定翼是两种技术上十分成熟的无人机机型,前者可以实现在空中任意位置的悬停,而后者的优势在于超长续航能力和超长距离航线飞行,两者各有侧重。伴随着民用无人机技术的成熟和大规模普及,中国已经成为世界农业无人机最大应用国。其中,以植保无人机为代表,正在走进普通老百姓的生活。但受地面和植被起伏影响,无人机在作物上方固定高度的飞行总是不稳定。摄像、超声波雷达技术极易受作业环境中极大的粉尘与水雾干扰,这对于主要实施低空喷洒作业的植保无人机来说,是很难实现精准探测的。而可靠性、准确度以及感知距离高度等方面的探测偏差,又会严重影响正常的作业效率和效果。(五)无人机-62-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30毫米波雷达高度计与避障雷达系统,解决了这些问题。在飞行与作业的精准度、稳定性上都有极好的表现。毫米波雷达高度计探测的是飞机到植物叶片的相对高度,而非海拔、GPS高度,因此精准度更高,而避障雷达则可以穿透尘埃水雾,成功避开环境干扰,既能提升飞行的安全性,又能提高喷洒作业效果。一般一台普通的植保无人机,完全可以通过毫米波高度计和雷达建立起完美的感知系统,帮助植护无人机应对任何地形复杂的农田。目前有智波科技、木牛科技公司在对该领域有产品研发,高度计使用的是24GHz频段。图表61:无人机雷达图例-63-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30毫米波雷达企业介绍Chapter一、矽典微矽典微致力于实现射频技术的智能化,专注于研发高性能无线技术相关芯片,产品广泛适用于毫米波传感器、下一代移动通信、卫星通信等无线领域。整合自身在芯片、系统、软件、算法等领域的专业能力,打造颠覆性的芯片和应用产品,赋予智能设备无线感知、认知和沟通能力。(一)公司简介矽典微毫米波传感器芯片采用先进CMOS工艺和全球领先的全集成单芯片设计,在小巧的芯片尺寸中高度集成了FMCW收发机、算法加速、电源管理等关键功能,大幅提升检测能力、降低功耗,并配备简单易用的开发工具,适合家居家电、照明开关、安防交通、自动驾驶等智能化应用场景。S3系列:S3KM111是矽典微单发单收智能毫米波传感器SoC,专为AIoT应用场景定制开发,小尺寸、低功耗、易用亲民的特点,赋能多样的智能传感器设计。芯片采用CMOS全集成架构,搭建完整的毫米波传感器系统功能模块,提供灵活的波形、功率和增益配置,内置电源管理和算法硬件加速,简单易用助力开发者快速实现毫米波传感器方案。S5系列:S5KM312是矽典微单发双收智能毫米波传感器SoC,高性能毫米波信号处理能力兼顾AIoT多样应用和超高检测精度的专业需求,超过4GHz的扫频带宽实现厘米级别的高分辨能力。芯片采用CMOS全集成架构,搭建完整的毫米波传感器系统功能模块,提供灵活的波形、功率和增益配置,内置电源管理和算法硬件加速,并搭配级联功能,在精巧的尺寸中实现极致的性能。ICL1112:ICL1112是全球首创A级24G单发单收毫米波传感器芯片,兼具超低功耗(150m)。芯片采用全集成CMOS架构,集成了完整的毫米波传感器系统和信号处理。外围元器件少,简单易用。可以满足电池供电应用场景的超低功耗需求,以及室外场景的超远距探测能力需求。适合丰富应用场景的生命存在级别的人体感应及测距测速。ICL1122:ICL1122是全球首创A级24G单发双收毫米波传感器芯片,兼具超低功耗(75A)和大范围精确位置感知的超强探测能力。芯片采用全集成CMOS架构,集成了完整的毫米波传感器系统和信号处理,并具备无限级联功能。外围元器件少,简单易用。可以满足电池供电应用场景的超低功耗需求,以及室外场景的超大范围探测能力需求。适合丰富应用场景的多人轨迹检测及车辆行人监测。(二)产品介绍-64-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30基于矽典微毫米波传感器芯片优异的性能,矽典微提供多应用参考设计方案,其具备小尺寸、功耗低、元器件极简、易用二次开发等的特点。方便开发者更便捷快速的开发具有毫米波传感器功能的智能化产品。1)人体生命存在毫米波传感器(XenD101Pro):采用FMCW调频连续波技术,对设定空间内的目标进行探测。结合雷达生命检测算法,实现高灵敏度的人体存在状态感应,识别运动和静止状态下的人体。2)广覆盖人体微动毫米波传感器(XenD101MM):采用FMCW调频连续波技术,对空间内的微动、运动的人体目标进行探测,结合雷达信号处理、精确人体感应和测距算法,可独立配置区间感应灵敏度,提升抗干扰性能。3)窄边框人体存在毫米波传感器(XenD103HP):精简设计适配窄边框设备外观设计需求。采用FMCW调频连续波技术,对设定空间内的目标进行探测。结合雷达生命检测算法,实现高灵敏度的人体存在状态感应,识别存在和微动状态下的人体。4)高精度人体测距毫米波传感器(XenP102RM):探测场景内的人体目标,精确测距算法实时上报人体感应位置。可分辨人体运动和微动状态,独立配置检测区域,屏蔽区间外干扰。5)智能马桶手势识别毫米波传感器(XenG102ST):内嵌高精度测距算法及手势识别功能,实时上报检测数据,帮助设备提升无感交互主动控制的智能化提升。同时提高了区间外抗干扰能力。小型化设计让终端产品的外观设计更简洁。提供多档位感应范围设定,适配多种应用场景的需求。6)高精度多人轨迹毫米波传感器(XenP202TT):基于S5系列1T2R SoC,搭载轨迹跟踪算法,实时检测区间内多人位置,区分不同人在场景内的运动轨迹,预判人的行进趋势。可用于智能安防的雷视一体应用,空调中风避人动/风随人走,智能音箱根据人员位置控制启停和音量灯光等,及智能感应灯场景。(三)方案展示矽典微深入应用场景,通过自研算法加载,提供区域感应、测速测距、手势识别和体征监测等解决方案,让毫米波传感器更适配于智能家居、智能家电、智能卫浴、安防监控等丰富的AIoT应用场景,为雷达方案商及终端设备厂商提供更真正的感知、认知和沟通能力。(四)应用领域二、岸达科技岸达科技成立于2016年底,是一家专注于CMOS毫米波雷达芯片产品研发的FablessIC设计公司,为汽车、无人机、智能家居、智能交通等领域提供产品和服务。岸达科技2022年底再次认定为国家高新技术企业。岸达科技已经连续获得来自分时资本、邦明资本、维思资本的天使轮、Pre-A轮和A轮投资。核心研发团队来自于Nitero,AMD,Samsung,MediaTek等公司,是世界上最早从事使用CMOS工艺研发毫米波段应用的团队之一,掌握国际前沿的CMOS射频芯片技术。岸达科技目前在杭州,上海,深圳和澳大利亚墨尔本都设立了研发和创新中心,研发团队50多人。岸达科技已有3款芯片产品量产。分别是77GHz 16通道相控阵雷达芯片,77GHz 2发2收SoC雷达芯片和60GHz 2发2收SoC雷达芯片,可广泛应用于车载ADAS、无人机、智能交通(一)公司简介-65-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30岸达科技ADT200系列77GHz相控阵毫米波雷达传感器RF射频前端芯片,采用55nm RF CMOS工艺,提供16个射频通道。单芯片集成了16路射频通道,可以配置成16个接收或者16个发射,也可以被配置成8TR收发一体前端。单芯片内置高速射频开关、FMCW发生器和IQ混频器等。适用于大面阵远距离探测、雷达成像。(二)产品介绍及智能家居等领域。其中16通道相控阵雷达芯片是国际上唯一采用相控阵架构的毫米波雷达芯片,解决了数字波束成形架构雷达无法解决的痛点,对无人驾驶和立体成像行业的发展有很大促进作用。而77GHz和60GHz 2发2收SoC芯片主要定位于车载角雷达,车门防撞预警雷达等低成本、低功耗,车载和消费类电子等领域。公司现已获得5项发明专利,4项集成电路布图,3项实用新型以及8项软件著作权。-66-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30ADT300系列77GHz 2T2R毫米波雷达传感器SOC芯片,采用55nm RF CMOS工艺。单芯片集成了2T2R通道、单芯片集成2路收2路发射频通道,FMCW产生器,ADC,DSP,MCU(ARM M3)等。集成了SPI,I2C,UART等接口。车规级设计,符合AEC-Q100标准。广泛应用于汽车防撞、安防、工业测量等领域。-67-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30ADT600系列60GHz 2T2R毫米波雷达传感器SOC芯片,采用55nm RF CMOS工艺。单芯片集成了2T2R通道、单芯片集成2路收2路发射频通道,FMCW产生器,ADC,DSP,MCU(ARM M3)等。集成了SPI,I2C,UART以及CAN-FD接口等接口。车规级设计,符合AEC-Q100标准。应用于汽车滞留检测、开门辅助、智能家居、工业测量等领域。-68-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30南京苗米科技有限公司源自中国科学院成果转化,核心成员来自中科院、华为。团队专业从事无线智能感知技术的研究与开发。团队以“创新智慧生活,感知无限未来”为企业愿景,基于自主研发的新一代通感一体、智能雷达技术,提供软硬件结合的无线感知技术、产品服务与技术解决方案,实现高精度的感知与普适的智能人机信息交互入口。作为底层解决方案提供商,苗米科技专注在康养医疗、智能家居两大场景,同时致力于打造基于无线雷达 AI的底层技术基座,进一步赋能各行各业。(一)公司简介苗米的无线感知方案涵盖Wifi(2.4G,5.8G)频段、微波(10G,24G频段),以及60G以上的毫米波频段。适配了国内外多家主流的射频芯片厂商,在此基础上为行业用户提供满足不同需求的各频段无线感知方案。主要包括:1)基于60GHz毫米波段的高精度姿态健康感知2)基于24GHz微波频段的中精度存在位置感知3)基于Wifi频段(2.4G,5.8G)通感一体的低精度存在靠近感知基于对无线通信和雷达感知各频段不同特性的深入理解,进一步将相关技术应用于康养医疗和智能家居两大应用场景:1)康养医疗场景:主要提供跌倒与坠床安全监测、久坐安全分析、睡眠呼吸心率监测、跌倒预警、阿尔兹海默症早期预警等的无感化监测系统,针对特定人群24小时持续监测,形成人员安全、健康、习惯多个维度的数字画像。2)智能家居场景:围绕家居家电行业大客户,提供高精度人体全姿态感知解决方案,作为智能家居毫米波雷达感知入口与家电内置模组同步发展。基于全球领先的人形骨骼姿态还原和人体轮廓三维重建技术,赋能毫米波产业上下游产业不同的行业用户,提供底层的无线感知基础技术支撑。(二)产品介绍三、苗米科技-69-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30苗米团队致力于打造基于毫米波雷达 AI的底层技术基座,充分发挥雷达点云大数据的潜在应用价值。基于在面向智慧家庭和智慧康养项目中的深厚的积累,在数十TB真实场景下的无标签点云数据。面对具体的下游任务,只需要少量的标签数据,在预训练模型的进行fine-tuning(微调),进一步生成高准确率的全姿态智能识别模型。通过在康养和家居领域形成的AI底层技术基座,进一步向周边场景延展,赋能各行各业。苗米科技客户主要集中在智慧康养和家居家电领域。其中在康养领域中,苗米科技目前中标乐不同省市地区的康养机构和居家养老标杆工程,多次在测评排名中领先;在智能家居家电领域,苗米科技已完成多家500强客户的Poc测评和研发导入,陆续进入中小批量阶段。(三)主要客户精华隆智慧感知科技(深圳)股份有限公司创立于2006年,物联网行业智慧感知技术引领者、创新者,业内极少数集自主研发、生产、销售、服务为一体的国家高新技术企业、深圳市专精特新企业。公司坚持技术领先发展战略,联合深圳大学成立未来实验室,专注毫米波雷达与智慧养老实践应用研究;聚焦“多传感融合,多端智能”技术路线发展,已在环境、安全、健康、位置、通讯等传感技术取得重大突破;坚持产销研一体化,沉淀了17年的自主产品研发、生产制造、品质管控和供应链基础;依托特色的1 2 N业务模式,智慧科技赋能应用生态,重点围绕智慧养老、智慧卫生间、智慧地下车库、智慧监狱、智慧校园、智慧家居等领域及空间提供具有竞争力的loT感知解决方案和运营服务。精华隆拥有150多项国家认证知识产权,120多项荣誉证书,是广东省知名品牌,连续七年荣获中国安防十大民族品牌、中国智慧城市建设推荐品牌,多次荣获中国物联网百强企业、中国百强安防企业。目前,精华隆IoT感知解决方案已服务全球100多个国家和地区,累积服务客户超1000家,与太平洋保险、天与、厚德世家、居家族、蓝色健康、国药集团、作为科技、中国联通、科大讯飞、华为、万科、碧桂园、中国邮政、中国银行、中国铁局等企业达成深度合作。(一)公司简介四、精华隆精华隆专注毫米波雷达与智慧养老实践应用研究,已转化环境传感及毫米波雷达传感等十余项核心技术和算法,产品覆盖24GHz、60GHz等多个频段,目前包括睡眠监测、跌倒探测、人体存在等产品。(二)产品介绍-70-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30基于多年的技术储备和产品研发投入、营销渠道多元化成熟布局、多年行业品牌口碑积累,头部养老运营服务平台的协同,精华隆深化原有客群、积极拓展生态客群,助力养老行业迅猛增长。公司主要客户包括上海天与、厚德世家、居家族、蓝色健康、太平洋保险、国药集团及各类连锁养老机构等。(三)主要客户毫米波点云成像的技术;非接触式、7x24小时无感守护;精准数据识别,秒级告警通知;跌倒检出率高,误报率低;可设置特定屏蔽区域降低误报率;远程自动报警、家人远程查看;抗干扰性能强,低功耗、低辐射;三种活动状态显示;跌倒识别自动报警;不受温度、湿度、噪声、水汽、尘埃、光照等影响。可探测区分无人/静息/少许活动/频繁活动四种人体存在状态;可探测当前人员距离设备的角度与距离并形成活动点位热力图;支持人员存在状态显示、超时驻留告警、异常离岗告警等功能;配合智能网关可联动各类智能家居智能家电。ED719智能跌倒探测仪ED718人体存在多功能雷达图表62:精华隆毫米波雷达产品介绍型号产品性能连续性睡眠状态监测,输出每日/周/月输出睡眠分析报告,可分析深睡、浅睡、翻身次数、离床次数、呼吸数据、心率数据等;设备24小时离线还可推送睡眠数据给到后台;呼吸指标异常时,实时报警提醒;离床超时长未归,精准提醒并预防处理;两种模式:标准探测模式:探测距离150cm,精准探测模式:探测距离90cm,摆脱床位间隔帘干扰,规避床位附近护工走动带来的监测污染;日常监测数据均存储在设备本地;子女端或机构端可远程查看。ED713智能睡眠监测仪-71-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30金茂绿建成立于2016年,是中国金茂控股集团有限公司的全资子公司。金茂绿建以“绿色科技,美好生活”为使命,秉承客户导向、科技引领、创业创新、止于至善的核心价值观,从城市、社区到家庭,聚焦绿色、节能和科技方面的专业运作。致力于成为领先的城市能源和建筑科技综合服务商。金茂绿建以前瞻的眼光与思维,诚信的态度与品质,专注于提供优质的“城市能源服务”和“建筑科技服务”,并通过投资、设计、建造、运营全过程专业化服务,提升城市能源使用效率,不断优化升级城市智慧能源综合服务,打造城市运营超级IP,于每个细微之处,为客户开启健康、智慧、舒适、节能的生活体验。(一)公司简介金茂绿建毫米波AI传感器系列产品,主要采用了60GHz频段毫米波技术。依托与高校的 毫米波联合实验室,以产学研合作模式,自主研发AI算法和毫米波核心器件。支持人员姿态检测、人数检测、健康监测等功能,具备感知纬度广、精度高等特点,拥有国内多项发明专利。在2022春季新品发布会首次亮相的毫米波AI传感器是一款美学与技术兼顾的智能家居产品,荣获2022年德国iF设计奖。针对不同的室内应用场景,金茂绿建研发了多款集成AI算法的毫米波模组,具体应用涵盖:存在雷达,姿态雷达(含跌倒检测),计数雷达、健康监测雷达、手势控制雷达等。(二)产品介绍金茂绿建深耕建筑科技领域,主要面向住宅、工建、酒店、工业等智慧建筑领域。作为一家拥有毫米波核心算法技术的公司,以开放的心态,从算法、核心感知模块、物联模组、整机这四个纬度为行业客户赋能。目前正在开拓机构养老、康复医院、低空数字化云平台、智能家电设备等毫米波传感器相关应用领域。(三)主要客户五、金茂绿建-72-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30毫米波雷达应用案例介绍项目甲方:上海某康养中心项目地点:上海徐汇区项目时间:2023年8月供应商:南京苗米科技有限公司Chapter一、上海某区康养标杆工程该康养社区集中收治了区内75岁以上老龄化人群和部分阿尔茨海默症患者。养老机构中发生的意外事故防不胜防,一旦发生意外,养老院不但要安抚情绪激动的老人家属,而且又将面临很大的经济责任。风险管控可以说是养老机构的最大痛点。尽管政府、行业和企业努力持续推动智慧健康养老产业发展,拓展信息技术在养老领域的应用,促进人工智能、物联网、云计算、大数据等新一代信息技术和智能硬件等产品在养老服务领域深度应用,但信息技术如何提升康养产业的智慧水平和能力仍是当前的重要瓶颈,尤其是高端设备、相关产品的核心技术也急需突破。主要问题包括:1.活动范围大难以快速获取位置进行救援:目前养老机构建设规模大,配套设施多元化,老人活动范围大。一些活力型老人会经常脱离护工人员视线范围,当老人发生紧急危险时难以快速获取老人位置,无法保证护工的快速响应时效;2.护理人员短缺安全隐患增加:养老机构专业护理人员紧缺,加上信息化水平较低,老人突发意外时无法及时知晓并处理,缺乏有效监护失能、失智老人的手段,易发生老人走失、看护不周等造成的安全事故;3.非常重视机构的安全管理能力:老人自理能力较差,家属期望养老机构周全照顾老人起居,全方位监护老人的安全;4.有效监管措施:养老机构有自己的管理制度和服务标准,但是执行效率和结果无有效数据判断,标准和规范难以落地,服务水平提升艰难。传统养老机构无法对老人行为和报警事件进行数据统计,资源投入和分配缺少依据。(一)项目需求针对该区内普通老龄化人群的安全和健康监测,包括摔倒、坠床、离床、起夜、等智能分析报警手段;同时,提供老人24小时监测健康分析,如呼吸心率、睡眠数据分析、呼吸疾病风险等。(二)解决方案-73-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30项目基于全新一代人体全姿态识别技术,可以高精度的区分不同年龄、身高人群的站立、走动、徘徊、坐下、躺卧、摔倒等各种行为姿态及医疗数据分析,实现了对视频监控和可穿戴设备的补充和替代,重点克服洗手间花洒、窗帘拂动、风扇摆动、多人轨迹交叉等干扰,有效抑制日常生活中各种误报来源,实现高精准和低误报识别分析。此外,针对阿默患者等特定人群发病期间的部分异常特征,如徘徊,梦游,长时间久坐/滞留等,项目通过无线感知技术搜集异常特征,进行数字化标定和分析,形成一套软件模型应用到居家生活场景中,一方面,实现阿默患者发病行为的认知数字化认定,进一步探索其行为异常、呼吸睡眠质量与阿默患者发病之间的内在联系;另一方面,针对特定人群,探索将摔倒报警,从事后报警向事前预警前移,最大程度降低风险发生概率。通过雷达和视频对比分析的异常行为检测项目地点:广东项目开始时间:2022年供应商:精华隆智慧感知科技(深圳)股份有限公司二、广东某智慧养老院项目广东省内一所养老院,针对不同护理级别的老人有不同的护理方案,院内设有单人房、夫妻房等多种组合形式的套房,床位多达205张。(一)项目需求通过引入苗米科技无线感知看护设备与系统,实现了对老人的24小时不间断无感监护,老人不再需要贴身佩戴任何设备,也没有被摄像头监控的隐私被侵犯的担忧。无线感知设备主动告警与数据分析功能,就可以将老人的危险与健康状况实时推送到管理人员,极大的提高了管理效率与管理水平。徐汇区将聚焦未来高品质养老服务的需要,逐步建成“机构社区居家”三位一体的养老服务体系,将该养老中心建设成为上海乃至全国养老服务领域的示范机构和龙头品牌,立足徐汇、辐射上海、引领长三角,推动现代养老服务产业发展。(三)效益成果-74-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30目前养老院现有养护设施较为老旧,智能化不足,难以满足入住需求。同时院内护理资源严重不足,无法确保看护人员能够关注到每一位长者的实时状态,老人发生安全、健康的风险较大。(二)解决方案通过智能跌倒检测仪等产品的部署基本缓解养老院护理资源不足的现状,做到7x24小时不间断的无感监测,每秒钟输出老人活动状态,可精准识别老人跌倒姿态等数据,做到秒级告警通知,在卫生间马桶区域设置特定屏蔽区域,降低因水流等因素导致的误报率,同时不受卫生间温湿度的影响,可远程自动报警、老人家属可远程查看。智能睡眠监测仪能7x24小时不间断地无感监测老人睡眠、呼吸指标异常状况,实时报警提醒,可远程自动报警、老人家属可远程查看,降低急救风险。搭配智能报警按钮可实现与养老机构服务中台、老人亲属、120等联动救援。本次解决方案完美解决院内护理资源不足、无法确保关注每位长者的实时状态等的实际需求,提升了养老院的运营管理效率和老人养老体验,降低了养老院的运营成本。(三)效益成果-75-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30老人姿态检测(主要为跌倒检测)、老人夜间健康检测、老人护理行为检测(二)解决方案金茂绿建毫米波AI传感器将帮助养老机构,被看护者和家属三方以更低的成本获得机构省心、老人舒心、家属放心的养老体验。助力提升现代养老机构的智慧化程度。毫米波AI传感器缩短养老机构发现风险的时间。可以做到及时处理,减低风险损失。提升家属对养老院的满意度。同时做到隐私保护,让家属更放心。毫米波AI传感器设备持续自动检测,养老机构节省传统检测方法和节省布置人力的运营成本,提高运营效率。(三)效益成果该养老院目前在北京海淀、朝阳、房山三个区域内布局实体项目17个,运营康养床位近3000张,初步建立连锁化运营模式,提供从退休后的文化娱乐、旅游旅居到高龄自理阶段的居住休养,再到半失能、失能、失智阶段的专业照护服务;同时,将介护预防、慢病管理、养生调理及医疗康复服务融入其中,让不同年龄阶段和需求的长者都能够在养老机构内找到适合自己的健康养老方式,真正做到“不负所托,后顾无忧”的品牌承诺;并得到民政部、北京市政府的重点支持和关注,成为北京康养行业的标杆企业。(一)项目需求老人姿态检测(主要为跌倒检测)老人夜间健康检测老人护理行为检测项目甲方:北京某养老院项目项目开始时间:2023年8月供应商:北京金茂绿建科技有限公司三、北京某养老院项目-76-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30新乡市老年公寓管理中心隶属于新乡市民政局,是河南省新乡市唯一一家公办养老服务机构,堪称“新乡养老事业的一面旗帜”。老年公寓始终秉持“老有所养、老有所乐、老有所医、老有所靠、老有所为”的理念,为新乡市老年人提供嵌入式、居家、生活、娱乐、护理、医疗、康复、心理、临终关怀等标准化、规范化的养老服务;公寓内设单人间、双人间、多人间,现有床位200余张,入住老人近200位,护理人员均拥有专业资质证书,所有活动场所均设置无障碍通道,非常适合老人康养生活。公寓运行二十多年来,始终用贴心的照护、细致的服务和完善的医疗保障呵护老人,得到了老人及家属的广泛好评,也为辐射和带动新乡市养老事业规范健康地发展起到优秀示范窗口作用。(一)项目需求目前公寓采用的传统看护的养老方式,不仅人工成本高、护理难度大,容易产生监护不力、照料不足等问题,而且伴随着非常大的看护风险。项目甲方:河南省新乡市民政局项目地点:河南省新乡市卫滨区项目开始时间:2023年供应商:精华隆智慧感知科技(深圳)股份有限公司四、河南新乡市老年公寓管理中心-77-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30精华隆基于公寓现状配置安装了200余套包含ED713智能睡眠监测仪、ED719智能跌倒探测仪、SOS智能按钮的智慧养老监测系统。(二)解决方案-78-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30通过AI人体姿态传感器,能够实现超精准感知,且无隐私困扰。通过对室内人员多模态感知与分析,并与智能家电进行联动,实现主动感知、主动分析、主动触发的多种业务场景组合,为全屋主动智能的实现带来精准的信息输入,提升用户体验,实现真正的沉浸式无感交互。毫米波全屋智能感知产品提供的感知能力包括:(1)人体存在感知能力:单个传感器可实现30范围内的人体存在感知;可实现人体完全静止状态下的目标不丢失;可实现对于常见干扰源包括宠物、风扇、窗帘等带来的信号噪声的过滤,实现高精准人体感知。可适配全屋智能场景:通过与灯光、窗帘、空调等设备联动,可实现回家、离家场景、节能场景等。通过安装精华隆智慧养老监测系统,实现了用智慧仪器代替人工实时守护老人的效果。老人卧床休息时,智能睡眠监测仪实时看护呼吸心率等健康指标,如遇数据异常可立刻告警;假如老人不慎摔倒,智能跌倒探测仪可智能探测感知并立即报警;老人遇到紧急情况,还可主动按下SOS智能按钮求助,及时通知护理人员处理,把握救助时间降低安全风险。该系统不仅有效减轻了护理人员看护老人的压力,而且能帮助护理人员梳理看护重点,合理分配养老服务资源,大大提高了机构养老服务管理的效率。系统还可通过分析老人的既往监测数据,形成智能数据报告,协助机构制定针对性养老优化方案,相当于给每位老人配备一个专属健康管理师。(三)效益成果项目甲方:某智能家居企业项目时间:2023年7月供应商:南京苗米科技有限公司五、毫米波全屋智能感知项目-79-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30(2)人体全姿态感知分析能力:提供同时多达4个目标的人体姿态感知分析能力,可实现对目标站、坐、躺、摔多种姿态的高精准分析感知,且单目标姿态分析综合准确率达98.5%以上。可适配全屋智能场景:通过与灯光、空调、电视、音箱等设备联动,可实现学习场景、会客场景、休息场景、老人看护场景等。(3)多目标精准位置感知能力:可同时感知多达6个目标的精准位置;通过设备级联动,可实现感知能力无缝扩展。可适配全屋智能场景:通过与电视、音箱、空调、灯光等设备联动,可实现:空调智能风向、空气智能净化、空调功率智能输出,儿童看电视距离提醒,老人安全看护(夜间离床、空间滞留等),夜归智能留灯等。(4)睡眠感知能力:可实时感知用户睡眠状态、睡眠质量,联动卧室环境各类家居家电系统,通过环境自动调节方式,帮助用户改善睡眠。可适配全屋智能场景:与空气和照明系统联动,可实现:空调睡眠模式及风向温度智能调控;自动照明;家人夜归智能留灯等。(5)远距离手势感知能力:可提供长达4m的远距离手势感知识别能力。可适配全屋智能场景:可与空调、电视、窗帘等设备联动,实现远距离手势操控。(6)空间网格功能划分能力:可提供高达32个空间功能网格划分能力,可定义不同网格的功能。可适配全屋智能场景:可实现全屋空间不同功能与感知信号的触发设定。多目标人体全姿态分析感知-80-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30通过高精度感知硬件 算法解决方案,集感知、交互、决策、执行于一体,将位置感知、姿态感知、远距离手势感知、多人感知等高精准感知技术实力,应用于客户智能家居家电场景解决方案,赋能全屋智能新场景,为用户带来更为健康、舒适、智能的居家体验。苗米全屋智能感知系统-81-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30毫米波雷达行业发展展望Chapter一、行业发展驱动力分析当前,全球智能化变革浪潮正在汽车、交通、安防、工业、家居、健康监护等诸多产业蓬勃发展,创造了巨大的感知产品增量需求。在汽车领域,毫米波雷达传感器作为一种非接触式传感技术,现在主要应用在汽车ADAS/AD系统中。近几年随着车载安全和智能驾驶的兴起,汽车毫米波雷达发展势头十分强劲,在L2以上智能驾驶系统中基本成了标配。未来随着汽车智能化等级的提升,单车毫米波雷达装载数量也将逐渐上升,智能驾驶将成为毫米波雷达发展的长期驱动力。在交通领域,目前许多大型城市都面临交通堵塞的难题,其发展问题已提升至国家战略层面,具有国家政策支持。车路协同系统通过毫米波雷达可以同时监控多个车道的单车速度、平均速度、车流量、车道占有率、车型、排队长度和事件分析等交通流基本信息,并根据交通流信息更有效地调整交通信号灯,提高道路通行效率(可提高10%),促进节能减排(可降低10%-15%的油耗)。随着中国车路协同市场的发展,毫米波雷达的需求量也将随之上涨。在智能家居、健康监护领域,毫米波雷达的应用案例正不断增加,是可以预见的重要潜在市场。由于毫米波雷达可以监测到人体呼吸、心跳等微动,在全屋智能中可实现精准的人体存在感知,从而与室内照明、窗帘、空调等产生联动;同时,随着老龄化进程的加速,毫米波雷达与智慧养老相结合已演化出跌倒报警、睡眠呼吸心率监测等很多新用例。(一)需求带动毫米波雷达芯片工艺路线经历了由最早的砷化镓(GaAs)工艺,到锗硅(SiGe)工艺,再到CMOS工艺的演进路径。1990-2007年间,毫米波雷达主要采用砷化镓(GaAs)工艺,费用昂贵,多用于高频高功率应用,且由于金属层少,芯片集成度低,需要大量芯片搭建毫米波射频前端(7-8颗MMIC/3-4颗BBIC),导致雷达模块体积和价格不具备吸引力;2007-2017年,锗硅(SiGe)工艺逐渐开始成熟,系统所需射频芯片数量大幅下降(2-5颗MMIC/1-2颗BBIC),雷达体积也逐渐缩小,推动了毫米波雷达在汽车ADAS系统上的应用。但价格仍然较贵(上百美金),除了高端车系,SiGe工艺的77GHz产品还是难以满足大批量应用;而从2017年至今,低造价、高集成的CMOS工艺已经使雷达射频芯片数量减少到1颗MMIC/1颗BBIC。(二)技术驱动-82-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30图表63:毫米波雷达芯片工艺演进路径资料来源:加特兰、GGAI、AIoT星图研究院整理CMOS工艺可以将射频模块、控制器模块以及数字信号处理模块集成在一块芯片内部。雷达芯片集成度的大幅提高不仅大幅度降低了芯片造价,同时也简化了电路设计难度,应用简便,为毫米波雷达在更多领域的大批量应用提供了可能。其中在汽车、交通、安防领域已经形成一定规模的市场,家居家电、健康监测领域也是可以预见的重要潜在市场。近年来,国家及地方各级政府在汽车、交通、工业、农业、城市管理及健康养老等诸多领域积极推动智能化数字化建设,有效地激发了毫米波雷达应用市场的活力,为毫米波雷达应用创造了良好的条件。2020-2022年中国各地政府部门在半导体、传感器、雷达,以及车载、交通、养老、物联网等领域出台相关政策。其中,工信部发布的 车载雷达无线电管理暂行规定 中,加强了车载雷达无线电的管理,对推动车载雷达技术应用和产业发展起到重要作用。另外,在物联网、智能交通、智慧养老、计量等重要应用领域,国家及各地方在政策层面制定了相应行动计划和方案,推动产业新型基础设施建设,极大促进了毫米波雷达技术在相关领域的应用实践。(三)政策引导发布日期主题发文机关政策名称关于进一步加强城市道路交通信号控制应用工 作的指导意见公安交通管理科技发展规划(20212023年)基础电子元器件产业发展行动计划(2021-2023年)交通运输领域新型基础设施建设行动方案(20212025年)2020-102020-102021-012021-08交通管理交通管理传感器智能交通公安部交通管理局公安部交通管理局工信部交通运输部图表64:2020-2022年中国毫米波雷达相关行业政策汇总-83-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30物联网新型基础设施建设三年行动计划(20212023年)资料来源:AIoT星图研究院整理发布日期主题发文机关政策名称数字交通“十四五”发展规划智慧健康养老产业发展行动计划(2021-2025年)关于印发汽车雷达无线电管理暂行规定的 通知关于印发计量发展规划(20212035年)的通知关于印发计量发展规划(20212035年)的通知关于发布深圳市培育发展智能网联汽车产业集群行动计划(2022-2025年)的通知 公路“十四五”发展规划关于做好2022年享受税收优惠政策的集成电路 企业或项目、软件企业清单制定工作有关要求 的通知2021-092021-102021-102021-122022-012022-042022-06物联网工信部、中央网信办、科技部等智能交通健康养老汽车雷达计量健康养老车载交通运输部工信部、民政部、卫健委工信部国务院交通运输部国家发改委、工信部财政部温州市民政局温州市卫健委深圳发改委、科创委、工信局、交通局、市监局智能交通半导体2022-012022-03二、行业未来发展趋势(一)市场预测1、2027年我国毫米波雷达市场总规模有望突破270亿元随着智能车载、智能家居、智慧康养、智能交通等产业的智能化升级不断推进,未来我国毫米波雷达的市场规模将进一步扩大。预计到2027年我国毫米波雷达市场有望突破270亿元,年复合增长率为26%。在市场结构方面,我们预测未来五年车规级毫米波雷达仍牢牢占据民用毫米波雷达市场主体地位。同时在工业级市场,未来五年工业级(室内)毫米波雷达将会成为市场增长主力引擎,并且市场规模将超过工业级(室外)毫米波雷达。-84-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.301、微型化高集成以车载毫米波雷达产品的演进情况为例,相比10年前,车载雷达尺寸缩小了5倍,微型化发展趋势明显。而雷达芯片方面,高集成的CMOS工艺已经使雷达射频芯片数量从之前多颗减少到1颗MMIC/1颗BBIC。(二)技术趋势随着无线电法规层面将各应用领域毫米波雷达使用频率范围的划分进一步明确,未来各频段细分毫米波雷达产品应用分化将愈加明显。76-29GHz频段雷达明确仅用于车载领域;24GHz雷达市场结构将持续由车载转向家居家电和其他工业领域,2026年出货量预计在1673万颗;60GHz雷达借助智慧康养等AIoT市场的兴起,2026年国内出货量有望突破500万颗。2、预计2026年我国毫米波雷达年出货量将增长至7798万颗据AIoT星图研究院测算数据显示,2022-2026年预计我国毫米波雷达年出货量将从2700万颗增长到7798万颗,增长超1.8倍。分析各细分频段产品未来出货量情况可以看出,其中未来增量出货空间最大的是77GHz雷达产品,增长率最大的是60GHz雷达。数据来源:AIoT星图研究院图表 65:2022-2026年中国毫米波雷达出货量及预测(万颗)-85-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.302、高精度高分辨高精度和高分辨率是毫米波雷达产品追求的两个关键指标。目前常见的高精度应用为高精度测距和高精度测角。对于高精度测距而言,当前更多的是高精度算法的仿真。对于高精度测角而言,通常使用MIMO雷达对提高角度分辨率。高精度可以使毫米波雷达衍生出更多的应用,例如生命体征测量、无人驾驶、室内目标跟踪等。随着雷达研究频段的不断升高,未来雷达天线的尺寸将大幅度的缩小;系统级芯片(System on Chip,SOC)、系统级封装(System in a Package,SIP)、片上天线(Antenna on Chip,AOC)以及封装天线(Antenna in Package,AIP)等技术的不断成熟,为未来毫米波雷达微型化高集成发展提供了技术支持基础。资料来源:加特兰、Yole,AIoT星图研究院整理图表 66:毫米波雷达产品演进:微型化高集成-86-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30在高分辨方面,4D成像雷达是未来发展的重要方向。4D成像雷达在原有距离、方位、速度的基础上增加了对目标的高度维数据解析,能够实现“3D 速度”四个维度的信息感知,可以有效地解析目标的轮廓、类别、行为。调研机构Yole预测,4D成像雷达将推动下一波增长浪潮,到2027年将达到43亿美元,相当于整个雷达市场的30%。3、高频率高带宽毫米波雷达技术从初始的看得见到现在的看得准、看的清的要求使得人们对雷达频率的研究越来越高。经过多年的发展,不论是应用在车载领域,还是应用在工业领域,雷达模块主要使用的是24GHz和77GHz频段。相比于24GHz频段,77GHz频段拥有高达4GHz的带宽,具有高的距离分辨率和测距精度;77GHz电磁波波长约为4mm,24GHz电磁波波长约为12mm,对于一样的天线视场和增益时,77GHz天线阵列的尺寸在X维度和Y维度上可以比24GHz天线阵列减少约3倍;较高的射频频率可以为相同尺寸的天线和传感器提供更窄的波束,使得雷达信号较多的射向目标方向,从而减小干扰并获得更高的准确测量结果。图表 67:毫米波雷达发展趋势:高精度高分辨资料来源:加特兰、Yole,AIoT星图研究院整理-87-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30路虽远,行必达。随着中国各领域智能化、数字化变革目标的提出与确立,必将为毫米波雷达的应用发展创造更多机遇。国内一众领先毫米波雷达企业需要坚定遵循国家战略指引,制定清晰的发展路径,在发展过程中找准自身定位,抓住行业变革的“大风口”、“大机遇”,实现从高速增长到高质量发展的转变,进而打造未来企业发展的核心增长曲线。需要注意的是,毫米波雷达产品是需要不断测试、验证,积累数据经验和迭代产品的。由于目前国内毫米波雷达产业发展过快且竞争激烈,企业难以静下心来改善产品质量,特别是初创企业往往容易忽视测试环节。但好产品恰恰是在测试过程中找到不足,然后再去改进设计、迭代,这非常重要。国产毫米波雷达厂商需要更加重视产品测试验证,再加上我们的迭代速度、响应速度、创新能力等优势,完全可以达到国际领先水平,实现国产化也就水到渠成。展望未来,毫米波雷达将深度融入到各个物联网应用场景中,作为物联网基础设施建设的重要感知部件,在新一轮数字化智能化浪潮中广泛应用。相信长期耕耘其中的毫米波雷达厂商,终将获得回报。束-88-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30附件:特别感谢单位南京矽典微系统有限公司杭州岸达科技有限公司厦门旷时科技有限公司矽杰微电子(厦门)有限公司珠海正和微芯科技有限公司隔空(上海)智能科技有限公司一、毫米波雷达芯片企业南京苗米科技有限公司精华隆智慧感知科技(深圳)股份有限公司北京金茂绿建科技有限公司云帆瑞达科技(深圳)有限公司珠海正和微芯科技有限公司英特睿达(山东)电子科技有限公司北京木牛领航科技有限公司巍泰技术(武汉)有限公司深圳承泰科技有限公司长沙莫之比智能科技有限公司深圳电目科技有限公司深圳觅感科技有限公司深圳市雨辰智创科技有限公司清澜技术(深圳)有限公司二、毫米波雷达模组/产品企业-18-产业对接:梁容玮138 2871 5593 IOTE 2024 第21届国际物联网展上海站 4.24-4.26 IOTE 2024 第22届国际物联网展深圳站8.28-8.30
点击查看更多山东理工大学:计划孤岛与孤立运行微电网同步定频控制方法(2023)(25页).pdf精彩内容。
1报告名称报告名称报告名称国产操作系统的发展机遇与痛点,以麒麟和统信为例国产操作系统的发展机遇与痛点,以麒麟和统信为例,2023,09研究机构,发布机构,报告主编,柏亮执笔团队,李昕林若薇1国产操作系.
对外发布时间,年月,系列报告,务,报告简介,重视对技术供给侧与需求侧的深度研究,通过量的技术应用者,业用户,调研,基于,客户之声,洞悉市场需求,分析师同时也对市场中的技术供应商,覆盖主流供应商,市场利.
帆软行业解决方案全景图SOLUTION PANORAMA01国资央企CONTENTS目录01国资央企020413172127313538国资企业数字化转型背景分析场景一:国资一体化数据应用分析平台解决方案场景二:帆软全栈信创解决方案场景三:国资监管综合监测展示平台解决方案场景四:国资智慧党建数据应用分析平台解决方案场景五:国资数字化财务分析解决方案场景六:国资数字化资产分析解决方案场景七:国资 3D 应用场景解读方案场景八:国资标准设计方案02制造行业43445056制造行业数据应用现状场景一:集团经营分析报告场景二:生产制造-精益生产管控平台场景三:精益供应链-供应链控制塔03消费零售6566707580消费零售行业背景及数据应用现状场景一:E 数通电商精细化运营解决方案场景二:零售商品管理解决方案场景三:零售门店管理解决方案场景四:新品运营管理解决方案05医药行业105106111114医药业数据应用现状场景一:SFE 销售效能提升解决方案场景二:应收帐款动态监管场景三:医药零售移动工作台06医疗卫生118120医疗卫生行业数据应用现状代表场景:三级公立医院绩效考核分析平台07工程建设126128131133135137139143145146工程建设行业数据应用现状与问题业务场景一:营销管理解决方案业务场景二:工程管理解决方案业务场景三:物资管理解决方案业务场景四:商务管理解决方案业务场景五:财务管理解决方案业务场景六:人资管理解决方案案例场景一:中建三局三公司物资管理分析平台案例场景二:中国十七冶数字化管控中心建设案例案例场景三:中铁建工集团数据建设项目04金融行业909597100场景一:银行经营管理分析平台场景二:证券移动战情室场景三:保险业保单失效管理场景场景四:租赁业全面风险管理平台国资央企STATE OWNED CENTRAL ENTERPRISES0203帆软行业场景建设白皮书国资央企国资企业数字化转型背景分析BACKGROUND ANALYSIS政策背景十四五规划要求政策价值双向联动,数字化转型成为组织“必修课”,第十四个五年规划和 2035 年远景目标纲要全文强调数字 80 处,数字化 25 处、大数据 10 处、数字化转型 5 处,其中第五章进行专章讲解加快数字化发展,建设数字中国。数字中国建设的整体布局规划:到 2025 年,基本形成横向打通、纵向贯通、协调有力的一体化推进格局,数字中国建设取得重要进展;到 2035 年,数字化发展水平进入世界前列,数字中国建设取得重大成就。数字中国规划要求国务院印发的数字中国建设整体布局规划规划明确:数字中国建设按照“2522”的整体框架进行布局,即夯实数字基础设施和数据资源体系“两大基础”,推进数字技术与经济、政治、文化、社会、生态文明建设“五位一体”深度融合,强化数字技术创新体系和数字安全屏障“两大能力”,优化数字化发展国内国际“两个环境”。难点分析目前国有企业进行数字化转型主要遇到以下四个层面的难点1.业务层面指标梳理不全面:未能结合外部监管与内部制度要求体系化梳理集团指标体系;指标缺乏明确清晰的定义、口径、计算逻辑、取数规则等,导致数据准确性与合规性不足;场景覆盖不全面:场景建设无法支撑集团战略、管理以及运营分析能力提升,且难以满足企业的个性化需求。3.应用层面产品选型无规划:与企业数字化现状不相符,导致重复建设;工具建设不全面:缺乏统一的需求管理、指标管理、数据仓库、报表中心、数据大屏、自助分析、零代码平台以及数据门户工具,难以覆盖各类数据应用需求;终端覆盖不全面:无法满足 PC 端、移动端、大屏数据展示需求;用户体验不良好:应用工具上手难度大、视觉体验与交互体验差、灵活性差。2.数据层面数据来源分散:集团型企业多业务板块、多外部收并购特征导致系统类型多,缺乏统一的应用平台;数据可信不足:缺乏保障数据可信的制度、流程、规则以及专职专业的数据治理团队;合规保障缺失:缺乏数据合规制度、流程、规则与团队,难以满足监管要求。4.技术层面技术保障能力不足:平台信息安全存在隐患,存在数据被篡改、丢失风险;难以应对大数据量、高并发量挑战,可能出现系统故障;实时采集能力不足:数据采集技术无法做到实时传输,数据时效性差,运营决策与问题分析缺乏最新数据支撑;信创合规要求不符:未能全栈适配信创,难以满足自主可控、安全合规要求。0405帆软行业场景建设白皮书国资央企背景分析政策导向场景一:国资一体化数据应用分析平台解决方案SCENE ONE政策价值双向联动,数字化转型成为组织“必修课”,第十四个五年规划和 2035 年远景目标纲要全文强调数字 80 处,数字化 25 处、大数据 10 处、数字化转型 5 处,其中第五章进行专章讲解加快数字化发展,建设数字中国。数字中国建设的整体布局规划:到 2025 年,基本形成横向打通、纵向贯通、协调有力的一体化推进格局,数字中国建设取得重要进展;到 2035 年,数字化发展水平进入世界前列,数字中国建设取得重大成就。国务院印发的数字中国建设整体布局规划规划明确:数字中国建设按照“2522”的整体框架进行布局,即夯实数字基础设施和数据资源体系“两大基础”,推进数字技术与经济、政治、文化、社会、生态文明建设“五位一体”深度融合,强化数字技术创新体系和数字安全屏障“两大能力”,优化数字化发展国内国际“两个环境”。难点分析目前国有企业进行数字化转型主要遇到以下五个层面的难点2.业务层面指标梳理不准确,场景覆盖不全面,业务协同不流畅。1.战略层面战略目标支撑不完整、拆解不准确、落地不全面。4.应用层面产品选型还不够全面,终端覆盖不完整导致使用场景比较局限,用户体验不友好。3.数据层面分散于各个业务以及部门的数据来源缺乏统一平台实现自动采集与互联互通,无法对全量监管数据进行多维度分析与穿透式监控,数据可信不足,合规保障缺失。5.技术层面对于技术保障能力不足,实时采集数据能力不足,信创合规要求不符。数字中国建设“两大能力”数字中国建设整体框架“2252”国内:数字治理生态数字中国建设“两个环境”国际:数字领域国际合作数字基础设施数据资源体系数字经济数字政务数字文化数字社会数字生态文明数字中国建设“两大基础”数字技术与“五位一体”深度融合数字技术创新体系数字安全屏障0607帆软行业场景建设白皮书国资央企方案阐释建设目标建设数据应用集合与终端全覆盖的一体化平台技术层面保障数据安全与平台稳定,符合信创。实现数字化战略支撑,数据资产化落地,数据主题化构建,数据场景化应用。一体化数据应用分析平台可信、安全、实时、准确、合规、稳定、全面、易用建设数据应用集合与终端全覆盖的一体化平台技术层面保障数据安全与平台稳定,符合信创一体化数据应用分析平台支撑数据资产化落地数据主题化构建数据场景化应用数字化战略支撑数字化建设成果指标体系数据准确性主题式数据模块事项级管理前端数据应用需求集团化管控战略数字化业务数字化数字化决策、管控与分析战略目标支撑战略目标拆解战略目标落地蓝图规划以监管数字化、战略数字化、管理数字化和业务数字化为整体建设内容,明确一阶段重点集中、二阶段全面覆盖、三阶段数智赋能的总体建设路径,基于各类主题形成全覆盖的数据应用与分析场景,支撑企业对外承接国资委监管,对内持续提升战略洞察、绩效管理与运营监控能力。数据应用决策展示数据标准化 指标管理体系法律法规国资监管业务关键集团管控管控可视化:综合驾驶舱办公室督察督办档案管理疫情管理后勤服务会议管理接待管理车辆管理金融发展投资管理股权管理资产评估人力资源人才管理薪酬绩效招聘培训稽核审计审计规划审计制度整改督办信息技术建设规划人才队伍信息化评估风险管理投后监测资产管理纠纷管理资本运营市值管理重大改革资本运作资金管理流动性分析放款分析融资管理平台管理权限管理用户管理登录认证终端形式系统管理PC端移动端大屏智能运维集团总部党委办公室党建管理内外宣传舆情管理董事会办公室章程管理信息披露会议管理监事会办公室监事管理会议管理规范化建设财务管理成本管控预决算管理经营分析捐赠管理数据中台办公室主题稽核审计主题信息技术主题资本运营主题资金管理主题风险管理主题党委办公室主题数据来源ERPOA财务PLMEXCELPMD报表自动化 统一报表中心统一门户数据在线权限分级自动报告治理数字化管理数字化业务数字化二级单位商业一类企业市场化国际化市场竞争.商业二类企业重要行业关键领域国家战略专项任务公益类企业保障民生服务社会公共产品优质服务金融机构深化改革防范风险优化股权其他产业投资融资管理股权收购一企一屏思维模型传统管理的思维模型,缺少战略指导业务、信息“分工明确”;业务部门缺少数字赋能,解决问题手段单一;业务部门则是被动接受需求,数据工作繁杂重。现在提出三角思维模型:以战略要求为指导,拆解业务目标,寻求数字支撑;以业务目标为切入,支撑战略要求,细化数字支撑;以数字支撑为支点,落地战略要求,赋能业务目标。战略层面战略目标支撑不完整战略目标落地不全面应用层面数据层面业务层面技术层面数据来源分散数据可信不足合规保障缺失产品选型不全面终端覆盖不完整用户体验不友好技术保障能力不足实时采集能力不足信创合规要求不符指标梳理不准确场景覆盖不全面业务协同不流畅战略目标拆解不准确缺乏一体化数智决策分析平台财务财务业务业务战略解读拆解要求落地需求赋能战略三角思维模型以战略要求为指导,拆解业务目标,寻求数字支撑以业务目标为切入,支撑战略要求,细化数字支撑以数字支撑为支点,落地战略要求,赋能业务目标传统思维模式 缺少战略指导,业务部门、信息部门各自为营 业务部门缺少数字赋能,解决问题手段单一 信息部门被动接受需求,数据工作繁杂重复监督管理0809帆软行业场景建设白皮书国资央企落地步骤1.数据资产化梳理基于企业建设现状与未来规划,构建与之匹配的指标体系,明确各项数据标准。2.数据主题化构建基于数据资产形成主题式数据模块,服务事项级管理,支撑前端数据应用需求。1.指标配置2.流程配置3.数据上报4.数据审核建设路径明确移动指挥上屏作战业务仿真数字孪生的数据应用总体建设路径。2.上屏作战通过上屏作战进行经营管理的实时掌控,实现数据标准化,决策自动化,重点业务可视化,动态交互。4.数字孪生通过数字孪生搭建场景实现项目里程碑式以及关键节点的监控。1.移动指挥通过移动端设备进行经营管理指挥,实现关键指标一手掌握。3.业务仿真通过业务和数字结合,深化应用,搭建三维场景,实现业财实税一体。上屏作战实时掌控、动态交互业务仿真深化应用,业财实一体持续性扩展性前瞻性关键词:一期内容不断深化,分屏内容不断扩展目标:全面建成全集团数据服务分析平台横向:覆盖管理条线与业务条线纵向:数据穿透到最细经营组织全面覆盖赋能职能部门关键业务人员实现探索式、自助式分析自助分析数字孪生技术驱动,数智赋能智能指挥一线作战智能预警智能风控智能审计数据挖掘3D仿真技术运用应用方向.明确移动指挥-上屏作战-业务仿真-数字孪生的数据应用总体建设路径。移动指挥关键指标,一手掌握指标管理体系标准化数据智能制式“指挥”报告自动化决策国资监管财务分析业务分析投资监管可视化重点业务风险管理党建管理随时关注即时调整关键风险监管合规集团管控保值增值一利五率战略目标管理协同生产落地党建管理人才赋能1011帆软行业场景建设白皮书国资央企更多场景我们可以在全栈信创环境下提供大量数据分析与展示场景与多个行业业务解决方案:包括投资管理、安全管理、资金管理、人事管理、法务管理等。我们可以在全栈信创环境下提供大量数据分析与展示场景与多个行业业务解决方案:包括投资管理、安全管理、资金管理、人事管理、法务管理等更多信创应用场景资产管理党建管理纪检监察分析财务分析法务管理科教分析人事管理数字审计行政办公资金分析投资分析安企分析价值总结战略支撑满足国资监管要求;集团管控需求,数字化转型;集团战略聚焦,覆盖全面。管好经营实现经营数据在线,保证资产运营增值;融合核心主业数据,打破数据壁垒,对标优质资产。通过一体化数据应用分析平台解决方案,基于各类主题形成全覆盖的数据应用与分析场景,支撑企业对外承接国资委监管,对内持续提升战略洞察、绩效管理与运营监控能力帮助我们的客户实现以下价值:3.数据场景化落地构建监管、战略、管理和业务数字化的全面应用场景,不断提升数字化决策、管控与分析能力。4.一体化数字应用分析平台落地国资一体化数字应用分析平台落地:多样化的应用场合、多终端的使用形式。大屏数据可视化,满足国资委对外接待参观 对内展示的不同应用场合,为国资委管理层、各职能用户在各类使用场合提供多种终端使用形式。以主题式数据模块为基础,围绕监管数字化、战略数字化、管理数字化与业务数字化构建数据应用场景。监管数字化监管上报廉政追责资产监督改革发展战略数字化智慧党建战略督办三重一大任务绩效管理数字化编制管理预算管理职级变动法治体系薪酬管理费用控制资产管理信访管理职能建设业务数字化项目策划行业研究租赁风控资本运营项目管控竞品分析技术规范股权投资1213帆软行业场景建设白皮书国资央企场景二:帆软全栈信创解决方案SCENE TWO背景分析政策导向从 2006 年到现在,信创经历了概念期、试点期和推广期三个阶段。2015 年之前是信创的概念期,国务院颁布的国家中长期科学和技术发展规划纲要是信创正式起步的标志;盘清家底资产及经营管理实现可视化,可追踪;完成业务布局优化以及产业结构调整。提高企业经营管理效率。主动预警对成员单位的各类数据监测指标差异化风险预警规则;控制企业运营管理风险,经营风险预警及时推送;高效识别并管理成员单位的各项合规风险,强化合规经营。精准提效内置计算规则,减少数据偏差,提高效率;提高数据采集整理呈现效率,自动汇总计算结果,自动填充规范化表格、报告。2016 年信创工委会成立,信创进入了试点期,由部分领域和行业切入,开始推进信创替代工作;2020 年以来,伴随着国家政策和相关指示的不断出台,信创替代工作已经进入全面推广的阶段。痛点分析信创替代工作常见问题:信息技术应用创新工作委员会成立2016年3月2016年10月2019年9月习近平总书记在中共中央政治局第三十六次集体学习时强调,“加快推进网络信息技术自主创新,朝着建设网络强国目标不懈努力”工信部印发关于促进网络安全产业发展的指导意见(征求意见稿)突破网络安全关键技术,积极创新网络安全服务模式,打造网络安全产业生态、全技术应用2022年1月国务院印发“十四五”数字经济发展规划规划指出,加快推动数字产业化,增强关键技术创新能力,提升核心产业竞争力2006年2月国务院颁布国家中长期科学和技术发展规划纲要(2006-2020年)标志着信创正式起步。信创概念期第一阶段(2006年-2015年)信创试点期第二阶段(2016年-2019年)信创推广期第三阶段(2020年至今)2022年9月中办发关于推进信创改造更深更广的工作指示1.行业要求高是否满足行业对高可用、稳定性的要求?是否符合自主可控和等保条件,满足行业安全性要求?2.风险难发现众多数据库、六大芯片、各类中间件,如何适配?各条信创替代技术路线,如何选择?系统应用能否支持在信创环境下的性能问题?4.信创验收严国资监管业务系统的建设成果缺乏统一的综合展示平台进行向上呈现,也无法满足对外参观、集团会议等各种管理应用场景。3.系统建设难如何在有限时间完成项目上线以及并轨单轨的系统切换?历史数据与应用能否实现快捷、平滑迁移?1415帆软行业场景建设白皮书国资央企行业要求提出的是“2 8 n”体系逐步分批实现信创替代。“2”指党、政“8”指关于国计民生的八大行业:金融、电力、电信、石油、交通、教育、医疗、航空航天“n”指把信创产品全面应用到国民经济全行业范围技术要求技术及产品全面满足信创生态体系,以信息技术产品生态体系为基础框架,由 4 部分组成:应用软件基础软件:操作系统、中间件、数据库基础设施:芯片、存储器、整机(服务器、PC)、固件等信息/网络安全安全策略完善的安全体系:安全活动融入产品开发流程并设置决策检查点,明确的安全团队;对齐行业标准:建立并落实安全基线、流程、协议、培训、测试、可追溯和应急响应;第三方认证可信:等保三级、绿盟渗透等。安全检测资质证书方案阐释应用要求国资委安可替代工程领导小组更名为国资委党委安全可靠应用推进工作领导小组,在经营管理系统方面,有序推进战略决策管理、企业资源管理、风险防控管理、用户服务管理、客户关系管理、供应链管理等系统的安全自主可控替代。按照信创为常态,非信创为例外的原则,重要行业领域信创改造通过严格管住增量,自然淘汰存量的方式,实现“应替尽替、能替尽替”。未来验收流程是什么?验收时需要准备什么材料?是否满足行业对高可用、稳定性的要求?是否符合自主可控和等保条件,满足行业安全性要求?众多数据库、六大芯片、各类中间件,如何适配?各条信创替代技术路线,如何选择?系统应用能否支持在信创环境下的性能问题?如何在有限时间完成项目上线以及并轨单轨的系统切换?历史数据与应用能否实现快捷、平滑迁移?行业要求高01选型过程繁02系统建设难03信创验收严04基础软硬件环境战略决策管理企业资源管理数字党建财务分析合规分析人事分析风险防控管理用户服务管理资产分析监管分析国资委安可替代工程领导小组更名为国资委党委安全可靠应用推进工作领导小组按照“信创为常态,非信创为例外”的原则,重要行业领域信创改造通过严格管住增量,自然淘汰存量“的方式,实现“应替尽替、能替尽替”。应用要求客户关系管理供应链管理2023年新增1617帆软行业场景建设白皮书国资央企场景三:国资监管综合监测展示平台解决方案SCENE THREE背景分析政策导向政策驱动国资国企在线监管建设。国务院国资委关于印发全国性国资国企在线监管系统建设工作方案的通知提出要实现国资全覆盖,构建一体化统一口径,实现自上而下覆盖全层级的监管体系;国务院国资委关于进一步推动构建国资监管大格局有关工作的通知中提出要打造国资监管一盘棋,国资国企监管系统数据互联互通,不断增强系统间合力;厦门市国资委关于关于推进 2021 年度厦门市国资国企大数据监管平台建设的通知中提到建设特色化国资监管,构建符合厦门国资特色的指标体系,转变监管方式,提升监管能力。痛点分析国资委监管企业目前主要遇到以下四点痛点:核心内容一体化数据应用分析平台信创替代项目关键建设思路,需要考虑的六个核心全栈式信创一体化数据分析应用历史数据迁移信创性能保障安全等保要求验收策略与经验价值总结具有丰富经验的信创服务团队,为客户提供一条龙服务,信创技术专家与本地化信创服务团队。1819帆软行业场景建设白皮书国资央企落地步骤1.数据资产化梳理基于国资委业务系统建设现状与未来规划,构建与之匹配的指标体系,明确各项数据标准。2.数据主题化构建基于 1 6 N 的综合监管体系,对指标进行主题划分,构建主题式的监管分析框架,实现监管全覆盖。方案阐释蓝图规划以国资监管全覆盖、国资监管一盘棋、国资监管特色化为指引,构建1 6 N横向到边、纵向到底的国资监管综合监测平台,对国资监管数据资产进行体系梳理,构建主题式监管分析框架,落地场景化数据分析应用,将传统的“挂图指挥”转变为“上屏作战”。2021帆软行业场景建设白皮书国资央企价值总结通过国资监管综合监测展示平台方案,搭建横向到边、纵向到底的国资监管综合监测展示平台,帮助我们的客户实现以下价值:场景四:国资智慧党建数据应用分析平台解决方案SCENE FOUR背景分析政策导向坚持党的领导、加强党的建设,是国有企业的“根”和“魂”,目前根据国有企业党组织的任务:党的建设是基础,经济工作是核心。习近平经济思想学习纲要中提出“经济工作是党和国家的中心工作,做好经济工作是党治国理政的重大任务。”,中共中央中国共产党国有企业基层组织工作条例(试行)中提到国有企业党组织必须坚持和加强党的全面领导,增强国有经济竞争力、创新力、控制力、影响力、抗风险能力,为做强做优做大国有资本提供坚强政治和组织保证,中国共产党章程指出国有企业党委(党组)发挥领导作用,把方向、管大局、保落实,依照规定讨论和决定企业重大事项。国有企业和集体企业中党的基层组织,围绕企业生产经营开展工作。3.数据场景化落地对各主题式的监管数据模块进行场景化的应用落地,将传统的“挂图指挥”转变为数字化“上屏作战”。4.监管综合监测平台落地国资监管综合监测展示平台落地:多样化的应用场合、多终端的使用形式。大屏数据可视化,满足国资委对外接待参观 对内展示的不同应用场合,为国资委管理层、各职能用户在各类使用场合提供多种终端使用形式。2223帆软行业场景建设白皮书国资央企执行手段以数字化为执行手段,推进智慧党建、数字党建,落实党的领导和党的建设相关要求,通过数字化的方式实现党建管理的三化(显示化、结构化、标准化)、三可(可执行、可追溯、可管控)。方案阐释方案思路融合党的领导,强化数据应用,构建统一的智慧党建数据应用分析平台,横向:以经济领导、治理优化、能力提升为重点,以组织建设为支撑,全面提升党建水平;纵向:成员组织、专项内容双维度下钻,深入分析党建工作。理论指导以习近平经济思想学习纲要为理论指导,加强党对经济工作的全面领导2425帆软行业场景建设白皮书国资央企2.数据主题化构建基于 1 4 N 的综合数据应用分析体系,对指标进行主题划分,构建主题式的分析框架,实现党建管理全覆盖。3.数据场景化落地对各主题式的数据分析应用模块进行场景化的应用落地,如组织管理、党员学习、从严治党等,将传统的“挂图指挥”转变为数字化“上屏作战”蓝图规划横向到边、纵向到底,全面贯彻党的领导,全力加强党的建设,按照 1 4 N 的党建数据应用分析体系思路,坚持党的领导,横向覆盖经济领导、治理优化、能力提升、组织建设等党组织重点工作内容,纵向贯通各成员组织与党建专项任务,深入分析党建工作,构建一体化的国有企业智慧党建应用分析平台。落地步骤1.数据资产化梳理基于国企党建相关业务现状与未来规划,构建与之匹配的指标体系,明确各项数据标准。2627帆软行业场景建设白皮书国资央企场景五:国资数字化财务分析解决方案SCENE FIVE背景分析政策导向政策驱动的财务数字化转型背景:财政部会计改革与发展“十四五”规划纲要中指出要以数字化技术推动,数字化技术推动会计审计数字化转型,实现内外部赋能;会计信息化发展规划(2021-2025 年)中强调要通过大数据手段实现会计数据与相关数据的整合分析;国务院国资委中央企业加快建设世界一流财务管理体系的指导意见中指出构建业财融合、维度全覆盖的指标分析体系。痛点分析企业在管理财务业务主要遇到以下三点痛点:4.智慧党建数据应用分析平台落地党建数据应用平台构建:多样化的应用场合、多终端的使用形式。大屏数据可视化,满足国资委对外接待参观 对内展示的不同应用场合,为国有企业党组织、管理层、各职能用户在各类使用场合提供多种终端使用形式。价值总结通过智慧党建数据应用分析平台落地,搭建横向到边、纵向到底的智慧党建数据应用分析平台,帮助我们的客户实现以下价值:2829帆软行业场景建设白皮书国资央企落地步骤1.数据资产化梳理基于企业财务系统与相关业务系统建设现状与未来规划,集合内外部文件,梳理现有数据资产。2.数据主题化构建基于 1 6 N 的数字化财务分析体系,对指标进行模块划分,构建主题式的财务分析框架。方案阐释建设目标构建一体化的数字化财务分析平台,以支撑战略、支持决策、服务业务和防控风险为主要目标,横向整合各财务系统、连接各业务系统,实现财务数据全面覆盖,纵向贯通各财务明细报表与各级成员单位,实现穿透式数据监测蓝图规划横向到边、纵向到底,1 6 N横向到边、纵向到底的财务数据分析体系深入分析财务工作,构建国资数字化财务分析平台。3031帆软行业场景建设白皮书国资央企价值总结通过国资数字化财务分析解决方案落地,搭建横向到边、纵向到底的数字财务分析平台,帮助我们的客户实现以下价值:场景六:国资数字化资产分析解决方案SCENE SIX背景分析政策导向政策驱动的资产数字化转型背景:财政部关于印发国有资产报告编报工作暂行办法的通知指出要实现企业国有资产监督全覆盖,以国有资产保值增值、防止流失为目标,高度重视国有资产管理;国务院办公厅关于加强和改进企业国有资产监督防止国有资产流失的意见指出国有资产报告编制要实现全口径、全覆盖,全面、科学反映各级各类国有资产管理情况。综上所述,当前国有企业资产管理以国有资产保值增值为目标,赋能国有资产管理转型升级。3.数据场景化落地对各主题式的财务指标模块进行场景化的应用落地,将传统的“挂图指挥”转变为数字化“上屏作战”。4.数字财务分析平台落地数字财务分析平台落地:多样化的应用场合、多终端的使用形式。大屏数据可视化,满足国资委对外接待参观 对内展示的不同应用场合,为财务管理层、各职能用户在各类使用场合提供多种终端使用形式。3233帆软行业场景建设白皮书国资央企落地步骤1.分析指标梳理基于企业资产系统与相关业务系统建设现状与未来规划,集合内外部文件,梳理现有数据资产,搭建周期全贯通、数据全融合、类型全覆盖的数字化资产分析指标。痛点分析企业进行资产数字化管理主要遇到以下四个痛点:方案阐释蓝图规划以国有资产保值增值为目标,赋能国有资产管理转型升级。搭建资产周期全贯通、资产数据全融合、资产类型全覆盖的动态管理与数据闭环分析平台。3435帆软行业场景建设白皮书国资央企价值总结通过国资数字化资产分析解决方案落地,搭建数据全融合、类型全覆盖、周期全贯通的数字化资产分析平台,帮助我们的客户实现以下价值:场景七:国资 3D 应用场景解读方案SCENE SEVEN背景分析痛点分析企业进行 3D 仿真类型的数字化管理主要遇到以下四个痛点:业财实税很难一致实际系统里面业务数据,财务等数据,跟真实世界里面的信息的实际的业务数据对不上,尤其是实际的经营情况往往滞后,甚至有偏差错误。建设思路不清晰企业在进行 3D 仿真业务的建设时整体的思路不清晰,到底先做什么,后做什么,在什么环境下,或者满足什么条件可以进行 3D 仿真业务的建设。3D 仿真成本高在做 3D 仿真的过程中,我们不清楚的成本到底是多少,往往是居高不下,核心的成本高业务切入不明确做好 3D 仿真之后不知道怎么和业务结合,从哪里切入最终只能作为一个展示内容。2.数据主题化构建基于 1 7 N 的数字化资产分析体系,对指标进行模块划分,构建主题式的财务分析框架。3.数据场景化落地对各主题式的资产指标模块进行场景化的应用落地,实现风险重点提示,家底直观呈现,核心资产一览,将传统的“挂图指挥”转变为数字化“上屏作战”。3637帆软行业场景建设白皮书国资央企场景展示展示智慧工厂下的具体场景页面以及相关指标。主要有行政大楼、研发中心、生产车间、食堂四个主题。涵盖各系统业务数据及线下管理数据,实现数据的统一管理。提升制造业的智能化水平,建立具有适应性、资源效率智慧工厂。场景亮点业务亮点包含从整体布局到细分楼宇最后是设备特写从宏观的厂区到微观的设备实现智能化的工厂管理。功能亮点主要是对于产品功能的描写方便用户选择对应的功能。010203整体布局细分楼宇设备特写010305020406大屏画布多分页设计组件交互分页跳转自定义模型组件监控预警方案阐释蓝图规划典型场景(以智慧工厂为例)目前帆软国资 3D 仿真场景库中有智慧工厂、智慧车间、智慧仓储园区、智慧风电等数十种 3D 场景覆盖多个行业以及应用场景。场景概述提供实时监控、数据分析和决策支持,优化工厂生产过程,提高生产效率、质量和安全性,实现智能化的工厂管理和优化,以推动工业智能制造的发展。3D拓扑涵盖各系统业务数据及线下管理数据,实现数据的统一管理。提升制造业的智能化水平,建立具有适应性、资源效率智慧工厂。3839帆软行业场景建设白皮书国资央企设计思路的偏差缺乏基于用户的角度去设计没有考虑展示介质的影响现在的行业设计体系大多是面向个人、消费者的 to C 的理论体系,更多是解决单个人员的操作问题,消费者行为,缺乏面向国资企业的 to B 的交互设计。在设计过程中的用户对象不同,设计的逻辑会有很大差异,平时的设计缺乏基于用户的角度去设计,是集团的领导使用还是一线员工使用,风格交互大有不同。平时的设计没有考虑到设计出来展示的介质的差异以及附近的光源因素的影响。到底是在等离子显示器还是在投影仪上?是在室内还是室外展示?是在大厅还是在报告厅?这些都没有考虑全面。方案阐释设计理论设计理论是应用科学的思想和方法创造出性能先进、结构合理的产品,其研究重点是方便信息传递和分布资源集成利用以提高设计竞争力。价值总结业财实税一致搭建智慧工厂、智慧园区等 3D 业务管理平台,将模型数据和业务数据相结合,保证一致性和真实性,提高管理的时效性,实现业务可视化,资产完全掌控。清晰的建设路径结合帆软众多的数据模型搭建经验,提供标准化、流程化的建设方案,帮助企业理清建设思路,提供相关的建议,降低企业的试错成本,保障数字化建设的成果。低成本高成效区别于市面专业的工业仿真建模,通过帆软搭建的 3D 模型轻量化,低成本,实现类似的管理效果。业务数据相结合提供包括监控预警、结合物联网等技术实现设备状态的在线监测,发现异常触发警告,一键推送,及时响应。通过国资 3D 应用场景解读方案,搭建数据全融合、类型全覆盖、业务全贯通模型全可控的 3D 数据分析平台,帮助我们的客户实现以下价值:场景八:国资标准设计方案SCENE EIGHT行业缺乏设计标准目前市面上大数据分析行业缺乏相关的应用设计标准,没有参考依据,每次进行设计都会有不同的观点和看法。背景分析痛点分析企业进行资产数字化管理主要遇到以下四个痛点:4041帆软行业场景建设白皮书国资央企实施指南实施指南是在理论、设计指南和组件库的基础上,对如何应用以上知识建设相应的平台进行指导和说明,包括了软硬件的选择、环境建设等。价值总结通过国资标准设计方案,搭建数据全融合、类型全覆盖、周期全贯通的数字化资产分析平台,帮助我们的客户实现以下价值:提供设计标准提供一套大数据分析应用行业的设计标准,为后续的项目以及客户提供更具价值性、参考性的设计依据,提升设计工作效率。满足企业的设计需求通过搭建 to B 的设计标准体系,更加适配客户的设计需求以及交互体验,提高用户的使用感受。适配不同场景以及终端结合不同的场地、光源、屏幕种类以及屏幕寸尺的要求,设计出定制的标准化方案,避免因外界因素影响导致的观感差异。掌握业务主动,控制交付边界对于项目人员在项目初期可以确定设计的标准模板,避免后期不断的需求变更,造成项目交付周期延长,节省成本。设计指南设计指南包括样式指南、内容指南和模式指南,对大部分设计元素进行规范,如颜色搭配、排版、阴影、文本规范、数据格式、页面布局等进行描述和定义。设计组件组件是可重用的构建模块,每个组件都满足特定的交互或UI需求,组件被创建出来以提升设计师和开发工程师的协作效率,同时可以保持用户体验的一致性。4243帆软行业场景建设白皮书制造行业制造行业MANUFACTURING INDUSTRY制造行业数据应用现状“十四五”数字经济发展规划中提到:“数字经济发展速度之快、辐射范围之广、影响程度之深前所未有,正推动生产方式、生活方式和治理方式深刻变革,成为重组全球要素资源、重塑全球经济结构、改变全球竞争格局的关键力量。”据统计,截止2021年中国数字经济规模已经达到45.5万亿元,占国内生产总值比重高达39.8%。数字经济正在高速增长,已成为带动经济发展的重要引擎。而制造业是国民经济的主体、立国之本与强国之基,以数字经济发展拉动制造业增长,加速数字产业与制造业的相互渗透,推动制造业的数字化发展,既是加快数字经济建设的关键一环,也是促进国民经济蓬勃发展的重要举措。制造企业应充分利用数字经济发展优势,顺应时代发展走向,增强数字技术与自身业务的融合,为企业发展持续注入新动力。数据建设是指依托于企业的信息化基础设施,通过部署一系列软件,完成数据采集、数据处理、数据分析、数据呈现等过程,充分挖掘、应用数据价值,从而使企业达到并维持高效、有序的发展态势,并最终实现从传统经营模式到智能商业模式的转变。数字经济时代,制造企业应当牢牢抓住这一机遇,推进数据建设,跨越数据鸿沟。然而制造业的数据建设情况并不乐观。帆软数据应用研究院的调研数据显示,仅有 3.42%的制造企业在内部形成了良好的数据应用氛围,企业自上而下的管理都依靠数据支撑;而仍有 39.32%的制造企业表示内部只是有数据应用的初步想法,开始使用业务系统中的简单报表支持业务管理。综合来看,国内制造企业的数据建设大部分依然处于起步阶段,有64.96%的企业仅仅完成了核心业务系统的数据覆盖,只有 10.26%的企业实现了所有业务的数字化管理。制造企业的数据建设之路任重而道远。调研结果显示,规模越大的企业数据建设的成熟度越高,而规模越小的企业成熟度越低。因此,对于中小型制造企业来说,需要快速推进数据建设,缩小与业内头部企业的差距;而对于数据建设相对成熟的大型企业来说,需要紧跟前沿技术发展,持续升级优化数据部署与应用。此次调研还发现,在众多业务中,实施、完善供应链和生产的数字化管理是制造企业当下最急切的诉求。制造企业数据建设-业务系统部署情况核心业务完成部署所有业务完成部署没有业务/边缳业务完成部署25e%制造个业数据建设-业务需求急切程度供应链生产财务营销售后服务研发人力资源60P0 %0UV58!0D45帆软行业场景建设白皮书制造行业SCENE ONE传统市场型企业都是需要按照计划制定、任务拆解、执行监控、策略改进这四个步骤进行经营管理的。所处的层级不同、视角也就不同。从公司视角来看,作为公司的经营管理层就必须要结合公司大的战略目标总览监控公司整体的经营过程,并对经营结果进行复盘和把控,对于过程中出现的一些细项问题则难以面面俱到的进行精细化管理;对部门视角而言,对应部门的主管以及执行者只需要关心他们所辖部门的具体目标以及具体执行过程中出现的一些细项问题点。在经营过程中不同的视角拥有不同的关键节点。每个节点如果监管不当就很容易导致经营管理过程中出现决策失误或执行低效等问题。经过总结我们发现企业经营管理过程中经常会出现“三大问题”与“四大挑战”。背景分析以戴明环为主线的经营模式公司视角目标制定任务拆解任务执行过程跟踪结果复盘改进策略计划调整部门视角任务下发任务执行成果验收问题处理问题验收结果复盘调整反馈改进策略目标制定任务拆解结果复盘改进策略任务下发过程监控异常改善改善跟踪与复盘公司关键节点部门关键节点现状分析场景一:集团经营分析报告企业经营过程中面临的三大问题由于集团型/中大型公司具有战略目标大、组织层级多、员工人数多等特点,因此在企业经营活动过程中让企业推动战略目标的执行与目标分拆落地难度就会随之增多。企业经营过程中面临的四大挑战经营会议频繁经营监管粗放目前大部分企业针对关键经营指标的监控没有统一入口,领导看数据只能频繁切换多个系统或由下级人员进行汇总上报,大量时间耗费在报告制作环节,企业经营效率低下。每次开会总体部的人员需要到各个业务部门获取数据手动加工制作PPT。对企业来说为了保证产品能够按时交付,产能状态是企业关注的重点,相关影响因子还包含质量、设备、人员效率等,但大部分企业产能数据只能定期进行盘点汇总,在集团经营会议上进行汇报,不能明确当前的缺陷,对各个部门来说需要每月获取产能数据进行经营报告的制作,数据时效性差且人员工作低效。由于企业年度工作报告、月度总经理会议等工作需要涉及到公司/集团各个业务部门的数据,统一协调多方资源进行收集整合,各种指标数据难免会出现数据口径不一致,核算标准不统一等问题,从而使得集团、部门、员工之间的目标无法达成一致,从而无法“力出一孔”。目标对不齐企业每次召开经营分析会议后都会设立会议待办,但是议题分配到代办人后具体执行情况监督难,且员工参与度较低,执行过程与结果难以跟踪,下次会议复盘时很容易出现遗忘或执行低效,甚至是忘记复盘等情况。工作执行力不强大部分企业的经营会议仍然处于纸质记录或线下 excel,world 等文档记录的形式,针对战略任务的制定、任务的监督、待办责任人的分配等数据没有实现线上的统一拉通,作为管理者无法监控各类议程的待办情况与执行情况;对执行者来说也难以确认自己所辖的待办的任务内容与相关时间节点,要想弄清楚各类问题需要频繁线下问询管理者或其他同事,效率低下。线下数据难跟踪4647帆软行业场景建设白皮书制造行业项目管理不细致没有形成管理闭环对于一些重点项目的跟进监督,其项目管理难度非常高,即使上了项目管理系统,部分实验子节点也无法详细记录,因此普遍采用线下 excel 传递项目进度日报/周报,针对项目进度监管难,发现问题为时已晚。会议上提出的议题与问题全部记录在线下文档或笔记本上,后续的复盘动作几乎没有,问题复盘全凭个人记忆与领导问询,没有按照 PDCA 管理闭环思路进行复盘与后期深化,针对重点内容与本月遗留的问题没有统一的汇总页面,下次会议还会出现新的问题,执行效率低下。构建集团/公司集中管理的数据仓库将各部门的之间的数据进行集中汇总集中治理的方式,通过集中取数整体汇总的方法对底层数据进行梳理,使各部门的指标口径得到拉通和统一,实现任务目标的一致性,各部门工作开展有的放矢。企业的经营管理环节是综合性较高、涉及知识面较广,且周期较长的管理体系。企业能够立足于瞬息万变的市场环境中除了拥有优秀的团队,过硬的技术,正确的决策以外还需要关注的就是企业日常的经营决策过程。通过构建企业经营活动整体的 PDCA 闭环管理模式,通过计划拆解,责任到人,会后复盘,持续改善四个步骤保证每次会议必决,决后必办。采用会议报告线上化的形式召开经营分析例会,实现会议数据线上化、会议记录线上化、执行进度线上化的管理目标,解决复盘难、监督难、沟通难的问题。一个企业的经营管理环节是综合性较高、涉及知识面较广,且周期较长的管理体系。企业能够立足于瞬息万变的市场环境中除了拥有优秀的团队,过硬的技术,正确的决策以外还需要关注的就是企业日常的经营决策过程。南下深圳学华为、远渡重洋学稻盛和夫固然是一种很好的方式,但对大部分企业来说,更有效的学习方式还是活学活用经典的管理理论、方法和案例,沉下心来,躬身自省,用放大镜发现和正视企业的缺点和不足,设定改善目标,自己跟自己比,每年每月甚至每日都有改善,都在进步,螺旋式循环上升,永无止境。企业经营活动中的 PDCA 管理体系解决思路三大问题解决思路管理者压力输出PDCA 循环理论绩效激励寻找增长点日常工作指导实时反馈监控结果提升管理按时交付提升质量提升利润Plan 计划Action 处理PDCA重大战略任务关键经营指标月度工作总结下月重点工作Do 执行Check 检查生产管理质量管理财务管理进度管理经营会议报告业务数据采集人员分析填报构建集团经营分析报告解决企业经营业务痛点构建集团经营分析报告实现数据定期抽取更新、用以代替企业以往汇报使用的经营分析报告,实现经营会议报告自动化,管理者可以随时查看当前最新的经营管理会议报告与相关数据。搭建不同业务主题分析看板,通过监控生产、质量、设备、人力等多个业务条线的整体数据,由各部门负责人定期填报结果分析与下步决策,可以实现信息透明,高层随时可控。构建项目进度多维风险管理策略,结合邮件、推送等多种预警机制提醒可以实现项目进度的全链路监控。构建下月工作重心看板,针对重点工作、上月问题、本月遗留等内容进行会议复盘,实现 PDCA 闭环管理。数据可视异常可知问题可控原因可溯高效经营综合管理:战略|运营|预警|改善本月总结本月 KPI上月问题整体经营概览人才负债人才利润人才流量人事管理模块售后质量过程质量发货交付质量客诉模块整体产能生产工序设备状态生产分析模块整体进度加工进度设计进度项目进度模块市场分析应收账款库存结构经营分析模块重点工作重点关注本月遗留下月工作重心ERPMES通过 ETL 的方式打通企业业务系统,整合数据OAPMSEHRQMS人工填报数据关联数据清洗数据打通数据整合四大挑战解决思路4849帆软行业场景建设白皮书制造行业经营分析模块生产分析模块下月工作重心数据流程底层系统报表页面借助经营会议报告完善企业经营管理模式,助力企业的效益增长问题处理得心应手应对挑战游刃有余实现了经营会议线上化综合管理水平显著提升细化项目管理进度监控形成了 PDCA 管理闭环经营模式可使得经营会议的汇报前置准备工作时效得到缩减,解决了以往开会前总体部需要到处收集各部门的业务数据制作汇报 PPT 的复杂工作,为管理者提供一站式数据监控平台;目标拉通口径一致通过集中取数整体汇总的方法对底层数据进行梳理,统一了任务目标,各部门工作开展有的放矢。重点工作责任到人通过重点工作层层拆解,在报告中可以责任到人,并设立时间节点,定期复盘,督促人员按时执行线下数据线上统一通过搭建的集中数据仓库结合填报功能,摒弃了以往纸质或线下excel 记录会议内容的形式,实现了会议信息线上化通过各部门的填报数据让高层领导能够明确目前的核心结论与下一步的工作计划,结合图表数据改变了以往结论全靠拍脑袋的管理模式,使得管理决策更客观,为管理者提供了强力的管理抓手;实现了项目运转节点与运转状态的细化监控,结合自动预警机制实现了对项目节点异常的预警监控。同时针对项目各阶段的耗时情况可以进行耗时拆解,明确个项目阶段的耗时占比,保证了重点项目的如期交付;将经营报告结构进行优化,从回顾本月的经营指标发现异常问题分析原因总结经验制定下月重点工作,整体形成 PDCA闭环管理,有助于提升管理效率和管理质量。场景价值通过搭建一整套集团经营分析报告实现集团经营会议的线上化,结合企业日常关心的多个业务模块实现企业的经营分析总览,在会议上可以按照本月总结、上月回顾、问题复盘的顺序开展会议议程。整体情况盘点结束后接下来就可以按照不同的业务板块进行单一业务部门的轮流复盘,每个业务板块都会结合填报功能便于录入总结性描述与下阶段决策的内容填报,保证经营会议的高效进行。高层领导只需关注一些总结性的描述以及下阶段的动作是否合理即可完成对应部门的复盘工作。对于部分异常数据管理者可以通过结合警戒线对比的方式进行细化监控,实现问题精准定位,定点复盘。会议最后则会进入到下月工作重心模块进行整个会议议题与待办的总结,并结合填报模块实现会上分配待办任务与责任人,保证每次会议形成管理闭环。集团整体经营分析报告总览整体经营概览场景演绎数字化经营分析本月总结本月 KPI上月问题整体经营概览人才负债人才利润人才流量人事管理模块售后质量过程质量发货交付质量客诉模块整体产能生产工序设备状态生产分析模块整体进度加工进度设计进度项目进度模块市场分析应收账款库存结构经营分析模块重点工作重点关注本月遗留下月工作重心010203040506075051帆软行业场景建设白皮书制造行业解决思路为解决以上问题,就要实现生产过程精益化管理。通过数据驱动,实现工厂准时生产、全员积极参与改善,最终使得企业经营成果保持高效增长。如何实现生产过程精益化管理?帆软生产领域专家给出了精益生产管控方案,企业可以参考使用。该方案通过精益管理控制塔总揽全局,生产管控中心、质量管控中心、持续改进管控中心、成本管控中心、设备管控中心、8S 管控中心六大模块支撑管理控制塔,逐个解决生产管理中的痛点问题。生产管控中心:通过采集工时数据,对接生产管控系统等,细化生产计划、细化工时管理体系。质量管控中心:通过建立质量管理系统采集关键质控点数据,定位质量频发问题来源,提升质量管控分析水平。成本管控中心:关联财务成本费用和产品原材料,进行产品成本对比分析,定位成本改善点,促进成本改善。精益生产管理控制塔:企业战略管理,关注集团目标顶层设计和规划,及时监控过程、及时复盘总结、尽早纠偏。持续改进管控中心:通过移动设备填写改进内容、车间看板透明优秀填报人员,形成良性竞争机制,促进持续改善。设备管控中心:通过设备管控看板透明设备状态、及时推送设备异常信息;分析设备效率、提高设备管理能力。8S 管控中心:透明 8S 评比数据,透明奖惩情况,从而调动人员积极性,实现 8S 良性评比。场景二:生产制造-精益生产管控平台SCENE TWO生产制造企业经营过程中,随着经营时间的增长、企业发展规模逐渐增大,使得经营成果逐渐放缓,甚至会出现后退现象。究其原因,传统生产制造企业多是采用定期汇报的方式管控日常事务,这样会导致关键目标进度不透明、复盘效率低,管理者没法及时关注关键指标和关键任务的执行情况。总结来,传统生产制造企业面临的管理问题主要有以下几类:业务背景生产计划、工时管理粗放:生产计划、工时统计只管控到周或月,不够细化。导致计划执行出现偏差时不能及时发现,工作效率无法准确衡量。质量可提升的方向不明确:问题台账统计都保存在线下,缺乏完整的线上数据支撑,无法满足各种维度的观察分析,导致定位质量问题困难。持续改进推进受阻:提案数量、奖励信息没有电子化,不能及时透明展示,没法追踪到具体责任部门,导致工厂车间内部不能形成有效的竞争机制。设备管控不及时:设备效率信息没有相应的统计和分析;设备状态以及维护保养缺乏及时的提示预警,造成设备利用率低,影响生产效率。成本管控无从入手:缺少针对成本异常的原因分析,无法定位影响成本的关键问题点,从而不知道该如何下手优化成本管理。8S 管控流于形式:8S 检查评价结果和评价人关联很大,没有及时透明,失去评比竞赛的意义,从而导致 8S 管理流于形式。5253帆软行业场景建设白皮书制造行业生产管控中心生产管控中心通过车间生产监控、订单及生产进度监控、工时管理监管 3 大模块进行生产管理。质量管控中心通过不良率、采购、产线等维度进行质量问题分析,最终促进产品质量管理。质量管控中心持续改进管控中心通过移动端填报提交案例、个人自主查询看板、车间透明看板,实现提案闭环管理,激励大家都为组织改善做贡献。持续改进管控中心企业战略管理,关注集团顶目标层设计和规划,其中包括订单管理、生产监控、人员设备、智慧工厂等重点监控模块,可下钻跳转到六大管控中心。具体解决方案架构如下:综合管理:战略|运营|预警|改善数据关联数据关联数据关联数据关联生产系统生产质量管理系统生产成本管理系统设备管理系统其他业务系统扩展应用企业精益生产管控平台准时生产(JIT)现场管理数据中心可视化管理高效自动化精益制造系统统一平台生产体系设备管控8S 管理质量体系合理化建议(持续改进)生产计划分析标准成本设备状态监控现场环境评分质量持续改善建议排名生产交付分析人工成本分析设备保养计划人员能力学习合格率分析建议改善状态生产延期预警成本效率分析设备维修推送现场检查评分异常原因分析全员参与度生产报工分析成本差异分析设备效率分析安全风险监控质量异常监控建议数量生产产能分析材料成本分析设备维护提醒8S 赛马场不良率人均建议数量生产成本分析成本预算监控设备 OEE质量成本分析奖励查询生产库存分析质量改善分析精益营销精益研发精益文化精益采购精益物流用户管理打印导出定时上报移动报表权限控制预警推送通过 ETL 的方式打通企业业务系统,整合数据成本管控方案内容精益生产管理控制塔5455帆软行业场景建设白皮书制造行业以上方案点对点解决了生产管理中遇到的问题,实现了生产过程精益化管理。通过数据驱动,实现工厂准时生产、全员积极参与改善,最终使得企业经营成果保持高效增长状态。和传统管理方式相比,精益生产管理模式能够帮助生产企业突破发展瓶颈,尤其具有长期效应。当企业经营时长到达一定时间点后,精益生产管理模式下的经营效果将会远远高于传统管理模式下的经营效果,经营成果会持续保持在目标计划以上。目前,已有相当一部分生产制造企业成立专门的精益生产团队,将工业数据利用起来,为企业搭建精益化生产管理体系,且效果明显,使得企业经营成果持续上升。企业经营成果企业经营时间精益趋势常规经营精益管理问题效应现状计划趋势实际趋势方案效果8S 管控中心通过车间看板透明8S 评比结果、奖励机制、执行情况;透明园区 HSE 执行情况,关注园区隐患,保障工厂车间安全。8S 管控中心设备管控中心通过设备状态监控、设备效率分析,提高设备管理人员的管理能力,同时通过移动设备填报设备点检信息,监督设备点检人员工作。设备管控中心持续改进管控中心通过移动端填报提交案例、个人自主查询看板、车间透明看板,实现提案闭环管理,激励大家都为组织改善做贡献。成本管控中心5657帆软行业场景建设白皮书制造行业基于企业在供应链管理中的痛点问题,帆软行业化顾问针对性地提出“供应链控制塔整体解决方案”。其旨在谋求企业供应链整体最佳化,利益最大化。本方案从集团管理和供应链业务两个视角进行分析,打造两个中心、三个模块的控制塔综合管理平台。基于供应链管理三大核心业务流程,并行多线程管理。从理论、技术、方法、工具四个层面支撑平台落地。当供应链管理人员发现数据出现异常时,可以通过下钻分析、联动分析查看数据,分析原因并解决问题。让管理者“有数可依,有据可循”!详细方案架构图如下:管理落地打造两个中心、三个模块控制塔综合管理平台信息流实物流资金流一个控制塔平台数据互联互通信息实时可视业务可管可控两个管理中心,同时从集团管理视角和供应链业务视角管理从理论、技术、方法、工具四个层面支撑平台落地基于供应链管理三大核心业务流程,并行多线程管理控制塔数字化集团控制管理中心底层支撑供应网络布局图电子采购平台采购控制塔核心指标卡财务共享中心数据仓库建模库存控制塔财务资金视图供应链控制理论数据分析工具销售控制塔供应链控制塔中心数据互联 信息可视 业务可控采购管理库存管理销售管理管理看板库存分析客户管理财务付款库存成本价格管理计划有序提升周转价格信用采购驾驶舱出入库分析客户授信管理应付账款分析库存金额占用销售价格分析及时交付合理贮存客户满意综合管理看板库位趋势预警物流跟踪管理采购成本分析出库金额分析定价计算器解决思路供应链是将供应商、制造商、分销商以及最终用户连成一个整体的功能网链,涉及企业从采购到生产再到销售的整个过程。良好的供应链管理能使企业增加营收、提高利润率和资产效率、增强抵抗风险的能力、提高响应能力等等。但市场的情况变化莫测,有丰富机遇的同时也有着不小的风险:供应链中的企业往往不能及时、准确地掌握有用的信息,决策像是开“盲盒”。同时供应链管理者也面临着巨大的挑战,既要在客户需要的时间和地点为其提供所需的产品,又要不断优化供应链的运营进而实现降本增效的目标!经过资深行业专家的深入研究后发现,虽然目前国内大多数制造业供应链信息系统各异,但都面临同样的一些痛点问题:上述痛点对企业供应链整体效率及效益都产生了不小的影响。当下如何有效地解决供应链管理过程中的痛点问题成为了重中之重!1.供应链信息跨系统无法协同共享:传统方式管理效率低下,没有统一的管理信息平台,缺乏对特定人员的管理。2.业务人员流程没有完全线上化、信息化:部分业务仍然在现在使用表格处理。SCENE THREE业务背景3.各个环节没有实时记录:供应链流程关节点多、流程长,需要做整体的实时监控。4.库存管理比较初级无法前置反馈协调:缺乏库存趋势分析,没有建立采购联动。5.缺乏销售物流的有效监督:大部分企业不关心销售物流的监督,间接增加了风险。场景三:精益供应链-供应链控制塔5859帆软行业场景建设白皮书制造行业供应链控制塔信息中心1.采购中心分析供应链供应商,包括地理位置累计交易额度,融资情况等;监控采购流程节点,按照流程分别监控每个节点的情况;实时监控采购平台、订单,跟踪订单完成时长,督促效率提升;分析采购成交金额和合同签订金额以及降本金额,掌握供应链财务信息。2.库存中心整个集团的仓库分布情况,通过地图色彩渐变和数据轮播可视化体现;仓储 HSE 安全管控,从责任人到具体安全细节均可查看;仓库实际容积情况,容器装置运行情况,以及预计产量和仓库容积对比均可分析。3.销售中心聚焦核心产品的销售额、销量和利润以及年度总体情况;从销量、价格、新产品市场分析等角度分析产品的综合市场表现;分析下游渠道在全国分布情况,以及门店数量、分布、集中度,整合市场数据。总体建设目标如下:横向实现供应链的信息流、实物流、资金流三链同时管理供应链控制塔核心纵向搭建控制塔的三级管理双向管理资金流结果报告查询实物流并行分析信息流监控监管监管支撑汇总灵活多变进度透明行为可视数据互联业务设计供应链控制塔建设目标数字化集团控制管理中心由集团控制管理中心直接定位供应链控制塔的三个核心平台;从集团角度摘取关键指标,分别从采购、生产、物流、营销、客户打造全供应链关键指标监控;从集团财务角度摘取供应链关键指标,从资产到应收应付款项的风险波动做到全面展示监控。方案内容两个中心6061帆软行业场景建设白皮书制造行业(采购方式分析)(采购平台分析)采购缺件分析:核对采购计划,针对缺件、在途未到进行统计,方便对采购计划的执行情况完成统计。采购成本分析:基于采购成本的分析可以合理减少不必要的成本支出让产品定价方面有更好的优势付款分析:分析付款的 DPO 方便掌握平均付现期,尽量不拖欠供应商账期,减少滞纳金。同时合理利用账期,保证企业健康的现金流。采购方式分析:企业的采购实际过程中针对不同物资有不同的采购方式,按照企业实际管理需求分类分析采购方式以保证其各种方式占比合理性和健康性。采购平台分析:针对企业对外采购时借助的不同第三方采购平台分别进行金额占比分析;同时针对不同平台覆盖密度、经济规模等指标分析,尽可能在平台形成采购价格优惠优势。合同订单分析:通过对采购合同订单各时期的价格、数量分析,使企业相关部门能够明确掌握商品订货的情况,同时监控到采购货品的实际价值金额。(合同订单分析)(付款分析)(采购成本分析)(采购缺件分析)采购入库管理(采购计划上报)(采购计划管理)(供应商分析)(供应商分析)制定和管理企业采购计划,为企业提供及时准确的采购计划和执行路线。上报:一个计划对应一张申请记录,也可按照标准格式导入查询:可按姓名/日期等条件,查询计划明细管理:从计划数量、立项数量、立项完成进度、计划招标情况等执行节点数据进行综合管理供应链采购采购计划管理企业的采购寻源就是找到资源,就是找到合格的产品,包括符合资质的供应商和新产品的价格,管理主要应用两方面。供应商分析:分析符合公司要求的供应商,进行历史采购行为的综合评价。商品价格分析:分析符合公司要求商品的价位与同种(或类似)产品相比孰高孰低,从时间维度分析其差异是否构成重大影响。采购核心管理6263帆软行业场景建设白皮书制造行业销售价格分析:通过产品定价计算器,标准产品现场出报价,非标产品估算参考,并计算对应利润率。让销售业务员合理控制产品利润,同时规避询盘相关的问题。客户授信管理:分产品线、业务类型设置,对企业欠款风险提供有效的控制方法。销售物流管理:通过建立物流路线,网点分布,到货情况分析等对目前销售物流情况整体管控,为客户提供迅速有效的供货、配送及其他服务,提高客户满意度。(销售价格分析)(销售物流管理)(客户授信管理)供应链销售基于方案架构及建设目标,利用帆软 FineReport搭建的供应链控制塔综合管理平台成功落地,有效解决了企业在供应链管理过程中的痛点问题,具体表现如下:1.集成关键业务节点信息:通过接入采购、合同、仓储、物流、等核心信息相关的系统,集成所有供应链相关业务系统数据,实现供应链数据的统一存储、统一展示、统一分析。2.实现端到端跟踪可视:供应链控制塔应当以身份(订单、物料等)为核心,实现对其位置、状态、计划与实际发生时间及相关责任人在链路不同环节的可视化。3.提升供应链的主动性:供应链控制塔提升管理主动性的关键在于实现关键指标的阈值监控分析,基于历史消耗数据可以引导供应,实现控制塔对于各个环节的前置性业务协调,实现对于全链路资源的合理分配和控制。4.协同共享信息:在订单维度等客户需要的维度进行业务流程跟踪、关键信息展示,实现备品备件全链路的信息可视、责任到人、决策有据。方案价值集成关键业务节点信息提升供应链的主动性实现端到端跟踪可视协同共享信息方案价值库存现存管理库存金额分析:对库存中货物进行金额分析,找出除了战略或者集中采购外的其他占用大额资金的库存,合理去库存,提高资金周转。库存趋势分析:针对库存趋势做整体分析,对于有着明显周期性的货品可以提前在价格较低时做战略采购,来获得更高的产品利润。库存库位管理:利用库位看板,整体通过颜色即可看出目前库位属性,点击对应库位可查看对应货物详细信息。方便库管人员统计库位整体信息,合理安排货物排放,提高空库利用率。库存货架管理:利用库存货架看板,达到库存管理的目视化和标准化,并设置相应警戒线,如果单一货架的物料过多,则自动发出警报,提醒相关人员进行整改,方便物料装卸和整体优化。(库存库位管理)(库存货架管理)(库存金额分析)(库存趋势分析)出库管理物品出库管理:针对每天出库的产品,出库的仓库做日报统计。方便详细查询产品出库的情况。出库金额分析:同时分析不同产品对销售额贡献度,以及去库存的金额,和目前出库的毛利,通过库存价值调整采购计划和生产计划。出库趋势分析:针对受趋势变动影响或者对季节敏感的产品进行出库趋势分析,实现提前规划生产计划、反馈采购计划。(物品出库管理)(出库金额分析)(出库趋势分析)供应链库存6465帆软行业场景建设白皮书金融行业疫情褪去,国内消费市场加快复苏回暖,据国家统计局发布数据,2023 年上半年社会消费品零售总额同比增长 8.2%,最终消费支出对经济增长贡献率达 77.2%,比去年全年明显回升,是三大需求中拉动经济增长的最主要因素。在国际环境复杂严峻的条件下,取得这样的成绩实属不易。但同时,在疫情后,消费环境也已经发生根本性转变,当下对消费零售企业而言,宏观经济环境依然充满着若干不确定性:帆软注意到了消费品与零售企业如上所述的诸多数据痛点及业务痛点,与众多客户携手做了许多探索与尝试,共同探索出了许多消费零售行业数据应用场景的最佳实践。以下是其中四个典型场景,更多场景期待与您的进一步交流和共创。互联网时代,市场容量变大但同时竞争愈发激烈,同时人口红利结构调整、消费者获取信息渠道众多,消费者的购买决策愈加“理性”疫情 电商的双重冲击,传统线下门店经销模式已经难以带动企业的有效增长,线下增长乏力线上购物市场覆盖面持续扩大,但同时不同领域下竞品扩增,公域流量获客成本逐年增高在众多的不确定性下,数字化转型对消费品与零售企业而言成为最大的确定性,对企业发展的速度与质量更具现实意义。以大数据,云计算,物联网,人工智能等新技术所推动的数字化转型正在迅速地改变着我们所处的时代。然而在这样的背景下,目前许多消费品与零售企业的数据处理和使用水平却依然处于较低水平,仍然过度依赖传统的Excel 工具进行数据处理和分析。但实际上,传统数据分析处理技术的效能正在逐渐降低,甚至给企业带来诸多不利影响:各业务线经营分析效率及数据透明度低,难以抓住增长主线和降本要素渠道数据与经营数据各为孤岛,分析时效性差、衡量规则不统一,难以精细化渠道管理,从渠道“量变”走向精益“质变”对市场及消费者的洞察缺乏方法,难以有效透视终端人货场,对距离消费者最近的场景进行精准管理与赋能产业供应链数据协同度低,难以解决“牛鞭效益”影响,供应链成本及效率难平衡消费零售行业背景及数据应用现状CONSUMER RETAIL消费零售CONSUMER RETAIL6667帆软行业场景建设白皮书金融行业解决方案框架在数据底层,通过 RPA API 的方式,实现全自动的数据抓取,能够覆盖包括电商平台数据、业务系统数据、行业数据在内的全域电商数据,释放大量人工整理数据的精力,为各个场景的分析提供了高精准度、广范围和细粒度的数据支撑。对于电商企业的数据需求,我们从数据到应用的框架出发,拆解得到如下三个层面:1.首先在数据底层,我们需要建立健全的数据基础架构,包括数据采集、存储和处理等方面。确保数据的准确性、完整性和及时性。整合各类数据源,包括电商平台数据、用户行为数据等,以支持全面的数据分析。2.其次在指标中层,我们需要将不同平台的指标映射到统一的标准指标,确保它们具有相同的定义和计算方式。并建立相应的指标体系,选择合适的指标进行跟踪和监测,例如销售额、订单转化率、用户活跃度等。确保指标准确、可比较和可衡量。3.最后在业务顶层,整合和标准化后的指标数据可以在数据仪表板和报告中进行展示和分析。通过数据仪表板,可以直观地查看不同平台的指标趋势和关联性,帮助电商基于数据分析结果,深入理解业务运营状况,并制定相应的业务决策和优化策略。帆软结合以往落地客户的最佳实践,针对客户需求,拆解出从数据源到指标体系、最终到数据应用级别的产品功能框架:数据源数据抽取转换数据仓库数据集市复合分析展现数据抽取数据转换数据加载数据质量管理电商平台数据业务系统数据行业数据小程序数据填报数据.ODS(操作数据存储)EDW(数据仓库)关系型数据库多维数据库销售分析渠道分析会员分析活动分析推广分析库存分析生产分析转化分析传统复杂报表BI分析元数据管理/主数据管理数据融合的最终形态就是数仓构建管理驾驶舱大屏可视化图 1-1 E 数通电商精细化运营解决方案框架SCENE ONE场景一:E 数通电商精细化运营解决方案问题背景随着互联网技术的不断发展和普及,电商行业在过去几十年中取得了巨大的发展和变革。从供小于求的“以商品为主”阶段,到享受时代红利的“以流量为主”阶段,再到重视消费者体验的“精细化运营”阶段,电商市场正在进入以消费者为中心精细化运营时代,这要求电商企业从存量市场中挖掘潜力,从增量市场中寻找机会。电商行业的数据驱动目标是利用数据来指导和支持业务决策,以实现提升营销效果、优化运营效率、提升用户体验、发现商机和创新等目标。但随着电商行业的数字化发展,电商行业的数据驱动中有三个特别明显的问题:面对电商行业中的各种困境和挑战,寻找切实可行的解决方案成为了企业前进的关键。只有通过合理的策略和有效的措施,才能解决问题,实现数据驱动电商精细化运营的目标,推动业务的持续增长和发展。电商数据获取难电商平台众多,每个平台的数据获取接口各不相同,这导致了企业在获取数据时面临困难。缺乏统一的数据接口和集成方案,使得企业需要花费大量的时间和精力去从各个平台手动导出数据,这不仅效率低下,还容易出现数据遗漏和不准确的情况。数据加工整合难电商数据分散在各个平台、系统和部门中,没有统一的储存地方和标准化处理方式。这导致了数据加工整合的困难,需要耗费大量的时间和资源来进行数据清洗、转换和整合,以形成可用于分析和决策的统一数据集。数据业务分析难电商数据分析需要与实际业务场景相结合,以赋能企业在决策和运营中发挥数据的价值。然而,许多企业在这方面还存在不足,缺乏有效的数据分析场景和工具,无法将数据转化为实际的业务洞察和行动计划。6869帆软行业场景建设白皮书金融行业市场趋势指标体系行业趋势生意参谋京东商智飞瓜其他地域分布卖家数父行业卖家数占比有交易卖家数父行业有交易卖家数占比行业构成交易指数交易增长幅度指数支付金额较父行业占比指数支付子订单数较父行业占比市场排行商品排行店铺排行排名商品名称所属店铺交易指数交易增长幅度支付转化指数排名店铺名称交易指数交易增长幅度支付转化率关键词分析行业趋势热词排行搜索人气搜索热度点击人气点击热度点击率交易指数支付转化率搜索词/主题词/长尾词/品牌词/核心词/修饰词/导航词热度排名搜索人气点击人气点击率支付转化率竞争分析竞店对比竞品对比交易指数流量指数搜索人气收藏人气加购人气热销商品榜流量商品榜交易指数流量指数搜索人气收藏人气加购人气引流关键词-访客数成交关键词-访客数用户画像属性画像消费偏好职业地域性别年龄搜索人气支付转化率品类偏好交易指数属性偏好下单时段支付金额分布支付频次分布UV价值客单价支付转化率支付件数商品收藏次数商品收藏买家数平均浏览时长商品浏览量跳失率浏览量访客数支付买家数支付金额加购人数UV价值淘宝客佣金钻石展位消耗直通车消耗新访客数老访客数UV价值客单价支付转化率支付件数支付买家数支付金额加购人数点击次数曝光量详情页跳出率成交转化率成交金额商品关注度热搜品类热搜词商品热度交易指数点击率业务分析淘系京东抖音其他竞争洞察客群洞察市场监控平台业务模块数据处理多平台数据入库 标准化数据关联 全渠道数据分析访问人气浏览热度收藏人气收藏热度加购人气加购热度另外,对于有一定分析基础的企业用户,还可以通过自助分析创新工具,为企业和组织个性化打造分析思路,在不同场景下,通过数据分析和展现,快速发现问题并推进解决。在业务顶层,主要是将底层的原始数据和中层的整合指标与业务目标进行对接,从而帮助企业实现数据驱动的业务增长。E 数通提供电商精细化运营全场景包,通过标准化的报告,将关键指标和绩效结果呈现给决策者和相关团队,以支持业务决策和优化。图 1-4 E 数通业务顶层功能框架市场大盘分析市场关键词品牌定位分析竞品分析竞店分析品牌竞争分析市场行业变化市场竞争1.市场机会2.电商运营平台运营分析商品运营分析店铺运营分析全平台运营驾驶舱各平台运营驾驶舱商品运营总览爆品/新品分析商品价格带分析/商品品类分析全域店铺运营总览各店铺运营分析站内推广投放2.分平台投放推广分析1.全域流量概览1.全平台推广投放总览站外推广投放直播专题 2.自播直播分析3.达人直播分析4.平台直播效果分析1.全域直播总览活动大促专题2.活动对比分析3.大促竞品竞店分析4.大促商品分析1.大促业绩总览2.产品评论分析1.会员新老客总览分析1.心智种草营销分析客户体验3.业财一体私域营销1.私域运营总览分析运营驾驶舱战略运营总览驾驶舱BU/品牌运营驾驶舱流量专题2.平台流量分析运营结果专专题题洞洞察察分分析析4.后端支撑电商小工具客服服务供应链支撑目标管理商品主数据管理库存预警供应商/进销存分析投诉赔付退货客服分析目标推算全网价格监控竞争/竞品目录维护主播排班表等企划分析库存结构总览采购分析出入库时效分析财务经营总驾驶舱BU/品牌财务驾驶舱商品利润分析平台利润分析链接利润分析业业财财驾驾驶驶舱舱利利润润概概览览店铺利润分析成本分析费用分析电商财务对账财财务务工工具具全链路数据运营,全流程风险控制,全周期决策支撑 价值导向,深度融合 高效协同,急速反应,稳定支撑人力资源仓储物流定价测算服务满意度分析舆情分析社媒热点分析物流管理费用寻找增量方向,定位机会对于从各平台获取的全域数据,进一步进行数据清洗和加工,对不同平台的含义相同但命名方式不同的字段进行关联整合,消除不同平台之间的指标差异,建立一个统一的指标体系,并构建通用的,及各个场景下的业务数据分析包,以确保数据的准确性、一致性、可用性。在电商企业内,不同层级的用户,视角及关注点均不相同,决策层及管理层大多分析维度由宏观至明细,定位经营异常;操作层用户多关注明细数据,进行实际业务整改所有用户都需要在特定场景下进行特定的数据分析。针对分析场景化,在通用场景的粗粒度指标外,需要固化不同的分析场景下的指标体系,支撑特定场景下的数据分析。图 1-2 E 数通数据底层功能框架平台数据店铺数据商品数据订单数据用户数据营销数据售后数据其他数据数据分类覆盖全平台数据每天数据自动抓取,不需要人工自动清洗汇总数据自定义店铺运营目标财务成本目标人力成本目标主播排期计划自定义流量自定义商品分类电商平台业务系统行业数据RPA&APIAPI&数据库API&数据库手工填报自定义数据集新品追踪大促活动 标准数据集店铺商品内容服务 其他图 1-3 E 数通指标中层功能框架数据驱动数据驱动业务数据驱动流程数据驱动产品数据驱动决策DM层DW层ADS_BI自助数据集订单数据店铺维度商品维度售后维度库存维度天猫抖音京东小红书淘宝.电商平台ERPOAOMSWMS.业务系统数据源分类数据汇总数据服务中心平台销售运营全平台运营分析单平台运营分析推广投放运营全平台推广分析淘系平台推广分析京东平台推广分析抖音平台推广分析推广拉新分析直播运营直播运营总览直播效果分析直播达人分析自播分析商品分析商品运营总览商品品类分析爆品/新品分析商品价格带分析供应链分析商品库存预警商品滞销分析供应商分析采购分析库存监控会员运营用户复购分析会员整体监控会员拉新分析会员人群分类客服分析客服考核指标客服服务表现市场分析市场大盘分析品牌定位分析品牌竞争分析市场关键词分析爆品波士顿分析指标体系销售额成交均价销量市场占有率增长率通话时长投诉量通话数量接通率售后单量利润/成本/费用会员数新增会员数复购会员数会员价值会员类别客户增长数采购量采购金额采购价格成本价订单数入库量出库量品类目标完成毛利额/毛利率品类增长/品类贡献单品增长/单品销量新品SKU/新品占比销售目标达成销售量pv/uv新客数客单价流量流量占比转化率推广费用/营销费用费用占比ROI收藏加购成本销售额 销售目标销售达成率/增长率毛利率订单数客单价退货数量数据应用电商财务对账利润/成本/费用分析活动分析活动效果监控历史活动总览活动对比分析大促竞品竞店分析店铺销售运营店铺运营总览销售目标达成支付转化率购买人数/访客数客单价投放成本加购加购转化率商品规划企业销售分析消费行为分析市场竞争分析产品综合得分衡量商品提醒,匹配供应能力品类等级供应匹配供应等级初始系数以销售预测为核心的计划制定计划管理历史分析历史趋势品类差异促销因素活动日历促销弹性非促因素流量变化产能供应供应商管理基本概况关键预警全方面考核供应商全貌供应商画像质量追溯投诉/退货不良品数字辅助,全流程监控采购环节采购管理补货模型执行监督及时性分析诚信度分析绩效评价配合力度综合得分采购定价采购行为监控采购成本分析采购付款分析采购质量监控仓配管理执行纠偏进度监控异常识别库存利用出库入库库存分析配送物流运力分析环节效率库存盘点呆滞物料轨迹监可视温度监控奠基仓配一体化全链监控利润总额毛利其他利润营业税金及附加三项费用减值损失投资收益其他营业外收入营业外支出主营收入主营成本其他收入其他成本管理费用销售费用财务费用原料价差原料量差制造费用产量差采购价运输费售价销量期初库存生产成本营业利润营业外利润客户分析生产过程供应商维度拆解对应分析主题及痛点描述问题表象 某品类更适合那个电商平台?商品那个平台销售最好?各品类效益贡献情况?重点商品/新品表现情况 店铺的销售目标是否达成?流量是否异常?是否存在库存缺货?定位转化是否存在问题?平台销售目标是否达成?平台推广那个渠道效果最好?重点单品的表现是否存在下滑?整体目标是否达成?各平台目标是否达成?店铺目标是否达成?重点品类,单品目标是否达成?销售,同比下滑平台维度商品全平台品类单品单平台店铺全平台经营总览平台经营总览店铺经营总览商品经营总览7071帆软行业场景建设白皮书金融行业时间/年代业务转型的程度为了在当今的竞争环境中立于不败之地,以消费者为中心的理念对任何零售企业都是至关重要的传统手工的品类管理1980/90年代:零售商为消费者策划、挑选并定价每一件产品单品之间是独立考虑的忽视商品之间复杂的相互依赖因素信息化的品类管理2000/10年代:在零售领域开始广泛地应用先进技术(ERP系统、CRM系统、SAP系统等)失败的系统实施,让业务人员淹没在报表的海洋中,数据无法真正发挥分析的价值数字化的品类管理(当前主要阶段)近些年:以获取不同集成数据点的数据洞察为标志的数字化革新,如POS、客户、促销、门店、市场和供应商数据等。半自动化的商品数据分析(BI 外部数据)以消费者为中心的品类管理品类规划&采购经理必须更有批判性和创造性,在决策过程中包更需要关注消费者的购买偏好遵循以消费者为中心,对消费者行为的即时洞察,实时优化选品,为商品管理源源不断地注入动力利用智能化的分析手段,并集成到可简化的业务流程中 !如今的消费者,有更丰富的商品选择,更敏感的价格,更广泛的信息来源,对商品和品牌更少的忠诚度但在目前的零售连锁企业的商品管理实际运作过程中,存在以下挑战:品类规划未贴合实际业务情况:品类管理难以贯穿从“集团-区域-门店”,商品池规划到集团维度,未根据区域 门店特性进行结构区分商品结构划分不清晰:商品结构管理规则不一致,采购、财务都背负商品考核指标,但各部门协同度不足(采购关注库存周转、滞销率;财务关注毛利率、资源投入),未从采购、财务、供应链的角度综合考虑,无法形成规模效应门店陈列管理缺乏方法论:门店货架管理秩序、利用率低,管理手段初级且与工具存在提升空间,排列布局软件的功能有待升级选品缺乏方法论:针对市场新品、爆品以及线下门店消费者购买缺货商品,缺乏及时的商品推荐信息源,选品规则有待固化价值总结帆软 E 数通作为电商数据分析的平台,能够提供以下能力:全面 数据汇总和整合:整合全面的数据源,包括电商平台数据、业务系统数据、广告数据、用户行为数据等。为用户提供全局的数据视角,以了解整个业务运营情况。标准 数据储存和标准化处理:统一储存、整理数据,确保全维度的数据准确;标准化 定制化底层数仓模型,将多平台、多维度数据标转化整理,满足数据分析需求。直观 实时场景数据监控:提供电商场景包,通过可视化的方式,进行各个场景的数据洞察、监控、复盘;帮助用户理解和利用电商数据,实现精细和智能的运营管理。领先 前沿工具和功能:满足企业不断变化的数据分析需求,创新的算法和模型能力,以及智能化的数据处理和预测功能,使企业能够做出更准确和具有竞争力的决策。场景二:零售商品管理解决方案SCENE TWO品类规划&采购经理必须更有批判性和创造性,在决策过程中更需要关注消费者的购买偏好遵循以消费者为中心,对消费者行为的即时洞察,实时优化选品,为商品管理源源不断地注入动力利用智能化的分析手段,并集成到可简化的业务流程中如今的消费者,有更丰富的商品选择,更敏感的价格,更广泛的信息来源,对商品和品牌的忠诚度变的更少,对零售企业商品管理提出更高要求:问题背景7273帆软行业场景建设白皮书金融行业实际落地过程从品类规划、购买需求和销售业绩三步走:基于企业、消费者、市场多维度剖析、制定“品类规划策略”基于品类绩效表现,制定“新品进入计划”建立商品营运数字化追踪体系,围绕商品六大异常建立数据问题&异常处理机制针对销售业绩表现闭环跟踪的SKU管理S3最大化满足消费者需求的CNU优化承接企业零售战略的品类规划S1S2市场洞察品类角色品类策略商品品类财务计划年度经营目标渠道品类 销售计划渠道/门店策略渠道/门店销售目标SKU属性CNU策略CNU策组合优化门店布局商品池数量商品等级选品优化重点SKU计划商品生命周期管理货架排面管理门店排列市场洞察品类角色(品类 全国/门店)CNU 的角色(品类内 门店)商品选品等级(单品 门店)132经营指标:标杆品类,利润品类销售品类,补充品类消费者行为:目标品类,必备品类小众品类,偶发品类外部环境:明星品类,主导品类潜力品类,长尾品类综合角色(品类占比)黑钻(5-10%)黄金(60-70%)白银(1 5-20%)青铜(1 0-15%)丰富CNU培养CNU必备CNU补充CNU需要丰富的商品品种,为消费者提供多种多样的选择预期有较大市场增长率和成长空间,消费者渗透率有待提高必须存在的,反映了消费者必要需求的需要丰富CNU宽度而存在的,满足消费者一站式购齐的需求销售额贡献客群价值低价值客群低销售贡献S4低价值客群高销售贡献S2高价值客群低销售贡献S3高价值客群高销售贡献S1客群CC重要程度CC01CC02CC03CC04CC.低价值客群商品池数量少G4低价值客群商品池数量多G2高价值客群商品池数量少G3高价值客群商品池数量多G1SKU等级门店等级SKU数客群价值注:CNU:消费者需求单元,从消费者购买决策出发,功能或者用途高度聚类的一系列SKUSKU:商品单品,细化到品牌、商品名称、包装规格,具有唯一性CC:消费者群体,Customer Cluster1)品类规划基于企业的商品品类管理链路,优化并建立端到端的品类分析过程1273456定义品类角色有哪些?企业的顾客是谁?如何满足顾客的需求?顾客在企业购买什么品类?企业的顾客在哪里消费?品类是否需要汰换更新?门店品类经营收益如何?定义标准化的品类角色,从企业自身经营、消费者、市场这三个视角进行多维综合分析。综合分析品类角色,即考虑消费者需求,又考虑内部经营的需求,同时不忽略市场发展需要。优先考虑标杆品类,进行数据验证和测试。利用供应商或市场调研获得的外部数据分析市场趋势。确定目标消费者,分析主要消费者群体购买的商品品类。分析影响消费者购买决策的因素(基本信息、消费偏好、消费力分析)优先考虑高价值消费者,进行数据验证和测试。优先从内部数据视角进行门店评估,其次才是供应商或市场调研获得的外部数据。确定门店的商圈定位和目标消费者,分析门店主要消费者群体购买的商品品类 分析影响门店销售额(商品结构)和市场竞争性的因素 优先考虑标杆门店,进行数据验证和测试。根据目标消费者的优先级和门店分群确定的数据集合,按照品类角色定义规则计算品类级别的指标,确定各个品类的角色。品类角色将会直接影响该品类的策略。优先考虑标杆品类和标杆门店,进行数据验证和测试。按照品类角色,同时根据年度经营目标,营销预算和供应链资源,确定各个品类策略,例如:门店空间管理策略、商品组合策略、商品属性偏好等。品类策略会影响消费需求,同时也指导SKU角色和优化选品的迭代。在品类回顾过程中使用部门间统一的评判标准,进行品类评分 设计通用的品类评判标准,可实现跨部门跨品类的绩效横向比较。评判品类绩效的标准需要综合考虑运营指标,也要考虑商品管理费用和库存周转等运营指标 在系统中维护和设定,周期性的品类回顾计划,系统支持自动完成品类回顾和品类绩效评价。按年度/季度/月度的品类回顾频率对品类进行评估,进行品类汰换更新。制定品类角色和管理原则消费客群细分定位门店分群识别品类角色制定品类策略品类回顾和绩效评价品类的优化迭代诊断项目项目内容简介业务现状分析优化方向品类规划商品结构划分门店陈列管理选品与商品目录IT支持商品主数据品类数据仅用于商规部,未向其他需求部门共享商品规划不分总部和地区,根据商品池的需求与历史商品数据做做规划品类决策数据在相关部门(如供应链、财务)的共享程度与数据应用程度存在提升空间商品池规划到集团维度,未根据区域 门店特性进行结构区分1、业态组合与资源集约的整合运营能力商品的销售、毛利贡献无法准确定位商品池规划是采购负责,无制式化的选品逻辑商品结构管理规则不一致,采购、财务、供应链的角度综合考虑,无法形成规模效应门店的货架排列与商品陈列依赖人工进行检查,排列布局软件仅有部分功能,无法支持陈列全线上管理门店货架管理秩序、利用率低,管理手段初级且与工具存在提升空间,排列布局软件的功能有待升级无法获取门店现场的商品缺货信息选品规则未固化在系统中且理解因人而异针对市场新品、爆品以及线下门店消费者购买缺货商品,缺乏及时的商品推荐信息源选品规则有待固化商品标签不全面且未向相关环节共享需提高规范标签信息、提高供应链、门店等相关组织的标签获取与应用程度数据结构与权限分配无法有效支撑业务决策部分商品主数据管理流程不统一且流程多部分商品主数据管理流程存在规范与精简的空间部分商品主数据的管理权责需更明确与统一2、资源共享与规则定制的平台运营能力3、深度融合到技术赋能的智慧运营模式4、从消费者触达到会员忠诚的高渗透能力5、自上而下规划到标准化方案落地的高效管理能力6、从计划到交付的端到端精准运营能力7、从执行到分析的迭代优化能力解决方案框架针对以上挑战,需要从以下方向寻求优化:业态组合与资源集约的整合运营能力资源共享与规则定制的平台运营能力深度融合到技术赋能的智慧运营模式从消费者触达到会员忠诚的高渗透能力结合终端零售行业的现状,企业亟需提升品类规划和商品管理的数字化管理能力资源整合优化延伸智慧运营品类规划与商品管理S1S2S3承接经营战略的品类规划终端全业态整合的零售品类规划依据品类细分的差异化品类规划策略跨全局集成的数字化体系管理平台最大化满足消费者购买需求分级授权业务管理流程多视角的品类角色定位与品类策略实施闭环跟踪商品的销售业绩符合本地特性的精细化商品管理可追溯的闭环商品生命周期管理1 业态组合与资源集约的整合运营能力2 资源共享与规则定制的平台运营能力4 从消费者触达到会员忠诚的高渗透能力5 自上而下规划到标准化方案落地的高效管理能力6 从计划到交付的端到端精准运营能力7 从执行到分析的迭代优化能力3 深度融合到技术赋能的智慧运营模式自上而下规划到标准化方案落地的高效管理能力从计划到交付的端到端精准运营能力从执行到分析的迭代优化能力7475帆软行业场景建设白皮书金融行业SCENE THREE场景三:零售门店管理解决方案问题背景在全国各大门店不断营业,各种营销活动遍地开花的环境下,谁能更早的抓住机遇率先脱颖而出变得至关重要。如何在爆发性消费的洪流中,实现业务场景的赋能则变得至关重要。对大消费行业的多数企业而言,门店营收是业绩的源头,门店的管理水平直接影响了企业的业绩,一套科学的门店管理方法,能够帮助企业从源头把控企业业绩质量,提升企业的盈利水平。但是当前企业的门店管理方法还不够成熟,普遍存在以下问题:门店经营水平差异大门店选址决定门店经营业绩的下限,而门店店长决定门店经营业绩的上限,一个门店由不同的店长经营业绩相差巨大优秀门店管理经验无沉淀优秀门店店长管理门店经验无沉淀,一旦门店店长离职会对门店销售业绩造成长时间较大回落,影响门店乃至企公司销售额门店管理无指导,经验化经营全凭店长经验,凭感觉补货,还会出现凭经验导致库存积压,上新无数据经验指导当前季节什么样的新品更受欢迎,无法提高顾客新鲜感优秀门店店长难找,难培养零售行业门店店长难找,一个优秀的门店店长更难找,培养一个优秀门店店长成本高,周期长,企业的机会成本高门店数据反馈不及时门店需要及时数据反馈重点商品是否缺货,高库存商品,无动销商品,负库存商品,是否仓有柜无,保证重点商品及时补货,高库存商品及时出清。2)CNU 绩效回顾和优化通过消费需求单元优化迭代路径来对消费需求单元进行绩效评价与优化3)商品营运数字化追踪体系基于商品生命周期的管理规则,优化 SKU 端到端的管理过程低速增长率区间 中速增长率区间 高速增长率区间 低速增长区间的需求单元进行SKU优化后,需求单元的销售额增长率应该有一定的增幅(可能比例较小),销售量因此持续增长,围绕0%的销售额增长曲线呈小波浪型增长 若低增速区间的需求单元销售呈下降趋势,则表明新进的新品在需求单元内存在蚕食效应,或该需求单元的需求在消退。消除蚕食效应可通过上新来挖掘新需求,通过末位SKU分析汰换低效SKU,当需求单元销售量低且增速为负时可考虑削减低效需求单元。使需求单元的销售量回归正位,并逐步提升中速增长型需求单元占比相对较少,需重点关注,主要分三种类型:上个周期处于高速增长区域:需求单元处于正常的需求丰富过程中,其销售额增速放缓,SKU的上新速度可随之放缓。上个回顾周期处于中速增长区域:需求单元增速相对稳定,可保持SKU上新速度 上个回顾周期处于低速增长区域:需求单元结构优化绩效明细,呈加速增长模式,可加快SKU上新速度高速增长型需求单元占比相对较少,需重点培养,上新计划的新品数量需向此区间倾斜,主要分三种类型:位于高销量区间:增速与销量双高,绩效极佳,可考虑培养门店心智,同时优化毛利指标。位于中销量区间:可适当预测其增速趋势,据此采取高速/中速的上新速度 位于低销量区间:需求单元绩效增幅空间大,存在可持续优化的空间,可适当上新并观望其下个区间仍处于高速增长,还是中速增长新品引入试销评估营运追踪更新汰换品类SKU缺位分析外部市场商机洞察新品计划总部商品规划策略指导确定试销标准与评估指标试销商品清单商品试销标准确定试销商品过程追踪商品运营策略调整试销结果评估新品转正新品推广新品定位营运异常追踪周期性消费者需求评估优化选品建议末位SKU识别SKU淘汰清单SKU淘汰商品清仓与状态调整A新品引入A新品引入 品类SKU缺位分析:从价格段、功能组合等维度分析当前品类结构能否满足消费者核心需求单元组合 外部市场商机洞察:分析市场消费趋势,结合行业热点、新品上新表现,洞察市场潜在商机 新品计划:结合企业内部经营情况,从目标客群定位、渠道结构分析、品类绩效评估、商品 试销标准与评估指标:商品试销期核心评估指标及标准制定;确定试销清单:基于SKU策略提供部分试销清单,同时市场洞察将提供有潜力的新品数据,并对试销新品进行初始定位 商品运营策略调整:根据新品试销期销售表现,及时调整新品运营策略,促进新品销售达成 新品定位:基于VPE评估体系,结合新品上市表 营运异常追踪:围绕滞销、高库存、负库存、负毛利、缺货和异常状态六大商品异常状态设置异常追踪体系,及时预警,降低损失 周期性消费者需求评估:围绕销售贡献和客群价值分析当前商品消费需求单元能否满足消费需求,过程中不断优化迭代需求单元组合,提升用户忠诚度 末位SKU识别:基于品类的商品选品等使用SKU多维综合分析识别SKU的末位名与识别 SKU淘汰清单:基于品类的新品计划与品成功引入数据确定SKU淘汰的数量,除免责条件后选择末位SKU列入淘汰清价值总结基于零售行业现有商品品类管理链路,优化并建立端到端的商品数字分析体系,优化零售商品池结构,满足消费者需求,提升商品周转。基于商品生命周期的管理规则,优化 SKU 端到端的管理过程,解决零售企业“选品难、不准确”的问题。7677帆软行业场景建设白皮书金融行业上述门店数据运营管理体系遵循 PDCA 循环理论。关键绩效指标说明集团经营分析核心 KPI 指标:集团经营指标监控透明商品指标:商品异常情况查看,问题商品的追根溯源评价指标:效率分析,基于员工,面积、SKU数量,客流角度分析营运指标:对核心 KPI 进行解释,防止 KPI 数据出现偏差;如集团销售额可能由于新店业务扩展导致,所以引入老店销售额指标分析模块分析模块分析模块分析模块销售额毛利率毛利额缺货率断货率无动销 SKU 数人效坪效老店销售额晚市销售占比自助收银消费占比客流量客单价指标完成率库存金额高库存 SKU 数损耗率品效来客效会员消费占比总部经营 KPI各业务单元 KPI数据粒度P(计划)指对于门店运营指标的制定,通过将集团目标进行拆解,分配到各个区域再到每个门店,保证门店完成计划起点管控;D(执行)对应上述集团运营大屏,主要完成两个方面内容:一是对各区域门店营销情况进行监控,全方位掌握集团业绩完成情况,实时监控集团下属门店的运营指标,点、线、面定位集团运营问题。二是业绩激励指标传递到执行层,作为全集团动力输出体系,提高全集团数据化经营思维,提高全集团数据化管理水平;C(检查)对应门店数据运营管理,该模块核心是指导门店店长进行日常管理,包括:门店运营日报、门店赛马场、门店异常追踪及门店异常推送。1)门店运营日报:核心是全方位对每日经营情况进行复盘,加强对运营过程的监督,严格按照制定的销售计划执行,及时发现问题。2)门店赛马场:门店角度分解赛马成绩,不仅让负责人通过成绩感受压力。同时将排名指标进行拆解,让负责人知道成绩短板,并进行针对性的改正,驱动各负责人对更高目标的追求。解决方案针对上述问题问题,结合过程中的分析思路,如何用信息化手段来提升企业对门店的管理质量呢?我们提出如下解决方案:信息透明压力下放集团管理层业绩监控空中巡店区域层问题定位数据导航横向激励门店层面向用户源数据ODS 层DW 层DM 层底层架构设计集团区域业绩排名区域销售业绩排名品项销售业绩排名商品异常监控业务单元绩效监控畅销品销售监控新品销售跟进门店业绩分析门店赛马场监控畅销品推荐新品推荐门店品项分析门店商品异常监控临店商品监控新品数据录入目标数据录入对标店数据录入门店基础数据数据应用业务指导 数据决策固化业务经验实时追踪业务业绩日常工作指导完善业务管理寻找新的业务集团移动驾驶舱门店移动驾驶舱数据补录移动端移动 APP用户接入自动推送问题追溯体系构建归因穿透控大盘抓各业务单元的第一 KPI 达成精细诊断指标层层拆解找到根因销售金额上月销售月指标完成率年指标完成率运营分析销售金额上月销售月指标完成率年指标完成率运营分析销售金额上月销售月指标完成率年指标完成率运营分析销售金额上月销售月指标完成率年指标完成率运营分析新开店数关闭店数整改店数渠道能力渠道规模单店效率效率指标 对应数量坪效店铺面积品效SKU 数人效员工数量高库存 SKU 数折扣率销量(占比)缺断货 sku 数已知损耗存销比无动销 sku 数未知损耗售罄率商品能力库存结构毛利能力商品 KPI 指标新增会员平均复购次数物单价月增长趋势新老会员复购连带率流失会员折扣率会员群体会员规模复购率客单价7879帆软行业场景建设白皮书金融行业4)门店异常追踪:针对门店六大异常问题:负库存、负毛利、缺货、高库存、无动销、异常状态,对门店问题进行定位,通过数据化手段提高店长的管理能力。门店异常分析分析内容说明保证异常问题可追踪,问题解决可闭环。以缺货分析为例,通过大类缺货 SKU 数钻取到缺货单品明细定位问题,通过点击单品明细,钻取到临店库存查看,如临店库存较高且销售额较低,可进行调拨环节销售压力。门店异常定位临店库存查看数据粒度分析模块分析指标负毛利分析负库存分析缺货次数缺货量现有天数可售天数缺货品项数折扣率促销 SKU 数高库存 SKU 数缺断货分析无动销分析库存量异常品项数无动销 SKU 数负库存 SKU 数同比数据价值总结区域经理提升效率,关注核心指标,发现经营改善点,及时定位管理问题和薄弱环节,为提升业务绩效提供建议,赋能终端门店。门店店长会看数据,有效监控门店异常,通过与其他门店对比寻找差异,寻找业绩增长点和本店异常,进行PDCA闭环整顿,为快速决策提供有效依据。公司高层做减负,及时掌握公司运营核心动态抓重点,驱动中层管理看数据、用数据、解读数据。3)门店实况:提供实时销售相关指标,根据业务实际应用,归纳梳理时刻关注的指标项,为店长/品类经理等角色的日常工作提供数据依据。门店赛马场体系分析目标1.门店进入赛马场后会与对标店、区域平均值及标杆店进行对比,核心比较业绩指标,会员运营及商品运营情况,进行查缺补漏;2.赛马场排名与门店店长绩效情况进行绑定,提高门店店长管理积极性,提高门店运营水平。痛点问题及解决方法1.门店业绩查看存在滞后性:通过门店运营日报及门店实况分析实时定位运营情况,及时整改,快速复盘;2.门店店长缺乏积极性:通过赛马场的建立,构建健康的竞争机制。门店经营分析门店赛马监控数据粒度分析模块分析指标对比内容时间区域销售额目标达成率毛利率客流量本门店对标门店标杆门店会员品类客单价会员数新增会员数同比数据区域平均外部门店分析目标区域经营分析整体分析的第二步,是检查各区域或各分子公司关键 KPI 的达成情况,分析框架与集团整体分析内容类似,领导可通过集团层钻取而来,并对区域门店业绩进行考核,实现问题的追根溯源及压力下放。集团经营总览分析区域经营分析门店经营分析数据粒度8081帆软行业场景建设白皮书金融行业新品上市阶段 市场表现无法 及时追踪新品研发过程无系统支撑,无流程审核,无进度查看新品研发过程无系统支撑,无流程审核,无进度查看商品新品促销情况无实时监控无法流程把控新品 各个环节执行情况各网点陈列执行 监督不力新品市场销售表现 无全盘追踪新品舆情无监控新品开发过程中,数据不透明,无法及时协调市场部,采购部,生产中心,产品中心资源新品开发过程中,数据不透明,无法及时协调市场部,采购部,生产中心,产品中心资源新品创建,新品研发立项,新产品配方,新品临床等过程无监控无追踪新品创建,新品研发立项,新产品配方,新品临床等过程无监控无追踪新品整体问题新品研发前新品研发中新品上市后业务流程问题剖析缺乏闭环管理机制新品研发中数据不透明 各部门协调难 研发进度追踪难新品研发中数据不透明 各部门协调难 研发进度追踪难新品上市阶段市场表现 无法及时追踪(1)新品研发前,市场调研分析工作不足,缺少多维度、体系化数据支撑。主要体现在三个方面:行业消费者画像、商品画像及市场方向把控不清晰。(2)新品研发中,数据不透明,各部门协调难,研发进度也很难跟踪。主要是由于研发过程很少由系统跟踪,流程审核周期长导致的;另一方面,新品研发过程中,需要及时协调市场部、采购部、财务部、生产中心等资源,往往存在数据不透明的情况。(3)新品上市阶段,产品的市场表现不及时。主要体现在促销、陈列、销量、舆情等关键环节。(4)未打通新品从立项研发上市的信息流及管理流,形成新品的闭环管理。解决方案基于上述新品运营存在的问题,核心要打通新品运营的各节点,实现新品的全流程管控。下图展示了新品上市的基本流程,核心分为三个环节:规范新品运营的整体流程公司高层区域经理门店店长集团层缺少对于与区域及门店的管理抓手:主要是由于数据的失效性差,整体分析落地不成体系,并且关键指标没有责任到人导致的与公司高层一致,缺少对于自己区域门店的管理抓手,往往只能通过巡店发现门店经营问题优秀门店店长难找,难培养,一旦离职,区域经理很难快速寻找优秀门店店长,导致业绩下降门店店长管理无指导,经验化:门店选址决定门店经营业绩的下限,而门店店长决定门店经营业绩的上限,一个门店由不同的店长经营业绩相差巨大门店店长管理无指导,数据经验化:经营全凭店长经验,凭感觉补货,还会出现凭经验导致库存积压,上新无数据经验指导当前季节什么样的新品更受欢迎,无法提高顾客新鲜感做减负,及时掌握公司运营核心动态抓重点,业绩谁做得好谁做的不好驱动中层管理看数据、用数据、解读数据提升效率,关注核心指标,发现经营改善点关键运营绩效管理分析,及时定位管理问题和薄弱环节,为提升业务绩效提供建议,赋能终端门店。会看数据,进行异常监控,对终端业务执行过程中的效率进行监控对于经营数据进行多维度分析,通过与其他门店对比寻找差异,寻找业绩增长点及时锁定异常,并进行 PDCA 闭环整顿,为快速决策提供有效依据。自上而下释放管理压力自下而上提升经营业绩管理痛点管理目标门店管理核心针对企业不同的层级(公司高层、中层、执行层)实现不同的价值输出场景四:新品运营管理解决方案SCENE FOUR问题痛点新品是快消企业的生命线,新品的成功推出对于快消企业来说,是保持企业市场竞争力活力与抢占市场的关 键,一旦新品上市在市场领域获得领先的地位,竞争层面就会比对手领先一筹,成为市场上的领跑者。但是 当前消费市场变化迅速,如何最大限度上保障快消企业新品成功上市?目前,许多大型实体业态虽然仍具备增长潜力,但已经存在可预见的增长瓶颈,转型势在必行。对于传统行业而言,只有创新才不至于在快速变化的市场中掉队,新锐品牌更是如此。新品的成功推出对于企业来说,是保持企业市场竞争力活力与抢占市场的关键,一旦新品上市在市场领域获得领先的地位,竞争层面就会比对手领先一筹,成为市场上的领跑者。但往往零售企业在进行新品运营时存在如下问题:8283帆软行业场景建设白皮书金融行业基于上述运营框架中的三个环节,梳理出相应业务流程及分析模块:业务分析模块梳理研发前研发中上市市场监控业务流业务流业务流新品申请新品创建申请确认立项审批通过商品画像竞品画像消费者画像分析流程分析流程分析流程设计研发核算生产环节生产工艺原料品质临床成本/毛利Bom开版/改版审批包材信息测试价格测算信息确认产品配方审批新品上市监控市场活动新品舆情陈列监控上市表现1.新品研发前新产品需要基于市场环境设计开发,成功的新产品一定是依赖于市场需求分析,了解当前市场变化,分析在这一变化中消费者的需求变化,才能真正推出符合消费者需求的新产品,有需求才有市场,新产品才能获得成功。在当前消费者追求个性化和定制化,以追求体验为导向的市场背景下,需要从消费者画像,竞品分析,产品趋势等全方位维度上找到新品的目标客群,市场规模,畅销元素,来确定新品的市场定位。消费者画像产品趋势竞品分析基本本信信息息 年龄龄/学学历历/职职业业/收收入入/等等级级 购购买买力力/生生活活方方式式消消费费力力 客客单单价价/件件单单价价/连连带带率率 消消费费笔笔数数/消消费费金金额额消消费费偏偏好好 价价格格段段偏偏好好/品品类类偏偏好好 性性别别偏偏好好/渠渠道道偏偏好好定位目标客群产产品品趋趋势势分分析析 类类别别/口口味味/系系列列/含含量量/包包装装/价价格格区区间间分析产品定位行行业业大大盘盘 行行业业增增长长与与趋趋势势 品品类类份份额额品品类类规规模模 品品类类结结构构对对比比 口口味味销销售售对对比比单单品品类类分分析析 价价格格区区间间 词词云云属属性性分分析析畅畅销销款款排排行行 T To op p 2 20 0 L La as st t 1 1 0 0洞察市场规模新品市场调研分析框架(1)新品立项:需要进行详细的市场调研,并与研发进行意见汇总,得出研发结论;(2)新品研发环节:需要结合财务及生产工艺流程确定产品的原料解析、工艺解析、产品解析及对应的成本,并结合市场部意见确定后续的上新计划,最终核算整体目标;(3)新品上市环节:需要实时进行上市跟踪及活动推广,保证新品的正常销售及爆款打造。市场调研市场分析总结研发意见汇总新品研发核算目标上市跟踪营销策略调整上市方案市场考察:行业分析,市场上架产品分析,数据采集,信息分析等 1.原料/营养解析 1.基本成本核算:生产 促销 1.新品销售情况跟进 1.销售目标调整 1.市场推广企划 2.工艺解析 2.毛利润率核算:营销 生产 2.销售问题反馈 2.活动策划调整 2.广告媒介组合 3.基本成本核算及建议售价 3.影响因素核算:会员促销 现执行优惠 3.新品供应情况跟进 3.促销方式规划 4.是否量化,量化生产最大产能 4.价格制定:执行销售价格 4.新品活动任务达成情况跟进 4.具体执行方式:话术/人员安排等 5.单日供应,最高及最小要求 5.规划新品销售任务及指标 5.新品市场覆盖情况 6.总结新品上市工作,积累经验 5.上市企划成本核算:物料及宣传费等 6.制作标准或店面制作标准 7.口感解析及产品解析新品立项新品立项新品研发结论市场部门研发部门运营部门生产小组财务营运部门新品上市销售研发新品新品上新计划8485帆软行业场景建设白皮书金融行业2.新品研发立项:新品创建通过后,申请人需填写新品开发立项申请,包括项目名称、立项商品详情(选择自己创建的新品)、预计中试时间、预计实验时间、是否采购等信息,填写完成后,由高层审批,通过后完成新品研发立项。新品开发立项申请3.新品配方审批:新品立项申请通过后,申请人需要填写所需的物料清单、配方单位、配方状态等信息,并上传供应商清单、生产工艺附件、成品标准等附件,提交后相应生产审核人、研发审核人、产品审核人及品控审核人全部审批透过后,方可进入新品临床申请阶段。新品配方审批1.新品申请:申请人完成新品创建申请,对于新品的基础信息进行维护,包括产品名称、编码、规格、容量及包装信息等。新品研发具体流程包括2.新品研发中新品研发环节往往最缺乏数据支撑,对于新品的立项及研发环节缺少相应归档,一些好的想法没有进行合理沉淀。基于上述问题,我们通过简道云将新品研发的各个环节流程化,将研发生产试销等环节打通,监控产品的研发进度,同时也可协调产品部、生产部、采购部、财务部资源,尽快完成临床及生产上市。我们以某快消客户实际落地的行业消费者画像为例,可通过消费者的性别、年龄、地域消费偏好、购买频次、职业、消费习惯等维度,结合行业商品画像找出当前的市场空白或市场热销元素来进行市场定位。需要注意的是,在进行新品的立项过程中,市场外部数据是必不可少的,可寻找相应咨询公司进行购买,线上数据可通过 RPA 等手段抓取。在新品研发过程中,如何保证新品高速快速研发成功?(1)通过简道云建立从研发到生产上市的 新品研发流程,监控研发进度。(2)协调产品部,生产部,采购部资源尽快完成 新品临床以及生产上市。新品研发流程新品开发流程新品申请新品可行性分析新品创建申请新品试销预估新品成本测算新品配方审批新品临床申请产品名称产品配方 工艺流程 包装设计渠道 门店 需求数量产品包材信息录入 BOM 信息录入原料品质标准 生产工艺审批新品研发立项申请包装容量规格编码新品创建申请8687帆软行业场景建设白皮书金融行业6.新品试销预估:统计各个渠道,门店新品的销售预估,并交由成本中心,利润中心等审核,完成新品立项研发的全部流程,进行新品归档,等待产品上市。目前新品申请立项的整体流程已成功在多家快消企业落地,尤其在新锐品行业,申请流程月度的访问量可达上千次。新品试销预估1)市场活动对于整个市场活动,我们通常关注这样两个问题:活动对于新品推广是否起到了积极作用?活动整体的投入产出比情况如何?基于这两个问题,我们通常会通过前后对比法及总量法,监控活动前后的销售情况对比及整体活动的 ROI 转化来评估活动的有效性。2)陈列情况对于快消企业而言,商品在终端的陈列很大程度影响了整体的销售,对于新品而言更是如此。需要保证新品摆放的生动性、价签是否缺失等关键因素。3)上市表现上市表现是对新品当前推广情况的最直观体现。通常我们会关注出货量、销售额、销售目标达成率等关键指标。对于表现好的品类需继续保持,对于表现差的品类,则考虑调整相应营销策略,监控调整前后的销售对比情况。3.新品上市新产品的开发以及上市是一项有风险的活动。据统计,每年有超过 80%的新品都会惨遭失败,新品的开发和上市耗费了企业大量的人力物力财力,新品的失败对于零售企业来说无疑是一次重创。保证新品上市阶段产品上市的成功率,快迅速定位新品上市中存在的风险,进行新品上市监控则成为重中之重,通常我们会从四个方面进行分析:4.新品临床申请:新品物料信息已经确认,需要填写预计出售时间,制定相应临床计划,保证新品上新的正常进行。新品临床申请5.新品成本预算:新品成本测算,测算产品的详情以及每吨总成本,交由采购,生产中心,市场,财务审核,后续需要结合相应成本制定产品标准售价,保证产品毛利及市场竞争力。新品成本测算8889帆软行业场景建设白皮书金融行业新品转正预设新品评估指标根据新品与门店匹配程度进行新品推广试销期达成指标(单店/月)当期对标指标新品引进-新品评估购买频次4是否有蚕食效应有:番茄味薯片品类目标是否达到否利润率8.1%销售量份额12%最小购买频次3.5综合利润率和销量无显著下滑品类利润率8%品类平均销售份额8%转正销售情况(单店/月)目标(单店/月)新品成功率考核销售额销售额3.23.5销售量销售量65007000利润率利润率8.1%8%库存周转天数库存周转天数3030但整体销售表现又由于渠道不同,关注重点也会发生相应的变化。对于线下渠道的销售,整体贡献来源于终端业务员的业绩情况,所以对于业务员的考核要设立相应的激励机制,对于新品设定相应的销售目标。如新品销量、新品销售占比、新品有效商店、新品商店铺货情况等。4)舆情监控:市场舆情走向对于新品的销售起了至关重要的作用,当前互联网时代,信息传播的效率迅速,任何不良的舆论信息如果处理不当都可能造成不可弥补的后果。通常对于舆情的监控通过全网遍历,结合新品关键词筛选出网络上高点击率的相关文章及评论,市场部对于不良信息进行及时的跟进和处理。价值总结对于整体的新品运营工作来讲,我们不应只关注新品上新后的市场表现,也要关注新品的市场调研及研发环节。最终实现三个效果:(1)建立新品机会洞察体系:建立新品开发前全方位市场分析体系,洞悉市场机会,分析目标群体,找到新品定位。(2)打造新品研发追踪体系:通过简道云平台快速落地新品研发相关流程,将每一次的新品立项内容进行归档沉淀,保障新品资源可协调,研发进度可追踪,提高新品开发效率。(3)提高对于上市新品把控:新品上市阶段,通过对新品上市相关指标及时追踪,洞悉各市场渠道新品表现情况,把握上市关键动作表现,提高新品上市成功率。金融行业FINANCIAL INDUSTRY9091帆软行业场景建设白皮书金融行业场景一:银行经营管理分析平台SCENE ONE业务背景随着我国经济进入“新常态”发展阶段,受经济增速减缓、利率市场化加速推进、互联网金融快速发展、金融监管趋严等影响,银行业面临的经营压力与日俱增,对经营管理提出了更高的要求。同时,在“数字化经济时代”大背景下,各商业银行都在加快布局大数据、人工智能、区块链、5G 等新技术应用,为业务和管理数字化转型提供新模式和新动能,全面搭建数字化决策大脑,从而实现数据驱动、数据赋能以及数字化经营和转型。而在新形势下,作为企业内部管理核心工具的管理会计,必须积极探索适配数字经济的新模式,尽快财务管理的转型升级,赋能商业数字化转型。而在银行行业的经营管理过程中,几大痛点也逐步呈现。一是业绩评价“难”。系统业务数据分散,包括分行考核数据库独立,存在总分行数据差异。数据未经整合,很难从各个业务主题与维度展现运营活动的管理数据。无法得出统一的价值视图对各机构进行准确的价值管理。二是经营诊断“弱”。分析体系不完整。业务人员分析数据基础条件差,分析意识薄弱。导致难以帮助管理层解析全行价值链条,无法多角度定位企业经营弱点。三是战略执行“虚”。战略任务的落地过程没有进行全链路的信息透明和跟踪监控。任务发布下去后,基层是否按照要求执行,执行方向是否出现偏差,很难及时管控。最后则是决策支撑“慢”。分析类型单一,仍以表格的形式为主。导致管理层阅读理解难度高。难以为领导的管理决策支持提供有力支撑。而针对这些痛点,帆软大金融事业部结合多年银行行业沉淀经验,共同打造银行经营管理分析平台,以支撑企业经营发展需求。解决方案针对银行业经营四大痛点,经营管理分析平台采用以价值驱动型银行经营管理分析平台建设思路,依次通过绩效数据整合、经营分析体系构建和分析应用构建的建设路径,完成平台搭建。第一步绩效数据整合落地实施,通过梳理全行核心资产、制定数据标准管理体系并建设指标共享平台的方式,达到价值衡量客观,业绩计算准确的整体要求。痛点解决思路平台建设架构战略执行“虚”决策支撑“慢”分析体系可视化将统一价值视图场景化落地为数据分析应用页面,洞察分析战略执行每一个环节。分析平台构建针对不同角色的分析诉求,分别构建行长数据大屏 PC 端分析平台,让决策支撑找重点快,依数据足。分析应用构建应用层行长数字大屏业务自助分析平台移动端工作台业绩评价“难”统一指标口径通过统一指标口径,建设标准指标共享平台,达到价值衡量客观,业绩计算准确的要求。绩效数据整合指标层统一指标库管会数据集市数据仓库分行绩效考核平台经营诊断“弱”统一价值视图构建以价值为本,构建统一价值视图,协助业务人员完善经营分析体系,提升经营诊断能力。经营分析体系分析层客户经营机构营销产品区域/事业部/分行公司/零售/同业客群条线渠道建设两大业务/三大客群网银/手机/远程/社区客户分层员工公司/零售/民营/其他客户经理/产品经理监管规模同业效益风险定价7 大视角6 大维度9293帆软行业场景建设白皮书金融行业梳理全行核心数据资产,整合经营业绩指标 整合财务大数据平台、数据仓库、分行考核平台数据,实现全行数据层级上的三源合一。制定企业级的数据标准管理体系,提升数据文化 依据数据治理工作指引,实现对不同类型指标的标准化定义。建设标准指标共享平台,服务行内各级用户 搭建全行统一的业绩价值指标库,提升向各层级用户分享数据的能力。定价利率指标收益率指标FTP 类指标成本率指标客户客户总数活跃客户有效客户新增客户月活占比规模交易笔数存(贷)日均发生额存(贷)余额存款规模占金融机构比重效益利润类指标支出类指标收入类指标资产类效益指标负债类效益指标异动重点公司客户分级其他核心客群客户数重点零售客户分级战略宏观信息市场占有率机构信息战略发展指标效益利润类指标支出类指标收入类指标资产类效益指标负债类效益指标第二步经营分析体系构建,着重于商业银行价值链条解读和统一价值视图构建。从商业银行价值链条来看,客户是价值的最终来源。商业银行通过金融产品研发、产品多渠道销售和客户经理的服务来分享客户价值,推动客户价值沿着价值链传导至业务条线、经营机构,并汇总至全行。如何在价值创造的四大场景中,用数字化结果深化“以客户为中心”的服务理念,是商业银行价值管理的重中之重。而统一价值视图的落地则紧扣全行三大战略,围绕四大主题,聚焦五大专区,覆盖六大维度,建立统一的业绩分析评价体系,实现对全类别、全渠道价值创造的自动化核算。带动全行层面对企业价值创造的思考和对数字资产变现的实践。最后则是经营管理分析应用的构建。通过可视化分析体系,将统一价值视图场景化落地为具体的数据分析应用页面,洞察分析战略执行每一个环节。同时秉承经营管理数字化的理念,通过构建行长数字大屏、业务自助分析平台、移动端工作台的数据应用,快速实现决策支持可视化、业务分析高效化和数据洞察方便化。统一价值视图紧扣全行三大战略,围绕四大主题,聚焦五大专区,覆盖六大维度,建立统一的业绩分析评价体系,实现对全类别、全渠道价值创造的自动化核算。带动全行层面对企业价值创造的思考和对数字资产变现的实践。三大战略五大专区六大维度四大主题民企战略轻资本机构提效率客户分层实时民生综合服务业绩单元科技金融优结构产品促协同客群条线控风险渠道员工全行概览重点专区门户总体概览重点专区实时数据业绩单元战略转型重点区域分行概览每日头寸产品概览大客户播报概览存款监测年报跨区域地产客户有效客户监测季报战略客户功劳薄异动监测旬报提效率经营机构客户概览每日客户优结构促协同客群发展机构画像机构对标灵活对标灵活查询二级分行社区网点对公客户零售客户对公客户零售客户民企客户重点产品功劳薄跨境业务分行与信用卡协同客群部门产品条线社区网点两大业务三大客群客群部门产品部门同业对标9495帆软行业场景建设白皮书金融行业 决策支持平台业务分析利器数据洞察助手应用定位经营管理数字化 应用场景以数据地图、仪表盘、数据表格等相结合的展现形式,打造集业绩价值看板和督导功能为一体的数字产品。客观展示全行最重要、最核心、最全面的价值数据。支持分析人员利用分析工具开展全维度、多视角自助分析,满足客户营销全场景的数字化展示,为管理人员制定“以客户为中心”的差异化营销策略提供数据支撑。移动端作为 PC 端的延伸,满足用户随时随地查看数据的需求。并且用户可以针对问题数据,一键执行督导操作,完成经营管理闭环。实现管理于拇指之间,决策于千里之外的效果。决策支持可视化行长数字大屏业务自助分析平台移动端工作台业务分析高效化数据洞察方便化应用名称 行领导行领导根据发展制定策略随时随地指挥作战应用角色业务部门针对问题研究战术场景价值银行经营管理分析平台定位于赋能银行价值驱动型管理会计转型,并为企业对应四方面的经营改善:一是业绩评价。银行经营分析平台作为综合性数据工具,能够从多个数据源汇聚信息,提供实时和历史数据分析,帮助企业全面了解业务运营和绩效表现。通过准确的数据和客观的视角,企业能够更好地评估自身价值,精确衡量业绩,从而做出明智决策,优化业务策略,实现长期成功。二是战略洞察。该平台整合和分析来自各个业务部门的数据,为银行提供全面的洞察力和决策支持。通过深入挖掘客户行为、交易模式、产品偏好等数据,银行可以更好地理解客户需求和市场趋势,从而定制更有效的产品和服务。同时,监测战略执行方面,该平台可以追踪业务绩效指标,及时发现问题并进行调整,确保银行战略的成功实施和长期发展。三是经营诊断。平台通过整合和分析海量的数据,帮助银行识别经营中存在的问题和挑战。通过深入剖析客户交易数据、风险指标、运营成本等关键指标,该平台能够发现潜在的经营问题,并迅速识别出管理方面的短板。通过这种数据驱动的经营诊断,银行可以采取有针对性的改进措施,提高业务效率和盈利能力,从而在竞争激烈的金融市场中保持竞争优势。四是决策支撑。该平台能够对已实施决策的执行效果进行评价和反馈,通过比较预期结果和实际成效,为决策层提供有价值的反馈信息,帮助不断优化战略和决策,确保银行持续创新和适应市场变化。在不断变化的金融环境下,银行经营分析平台的决策支持功能将成为银行在竞争中保持优势和取得成功的重要利器。场景二:证券移动战情室SCENE TWO业务背景随着移动互联网浪潮的不断推进,移动互联网 4.0 逐步迈向打造以用户为导向的大财富数据场景应用管理中心。而在当前证券业移动经营管理中,仍存在三大核心问题。一是移动数据应用顶层设计弱。移动数字化是一项“一把手”工程,大多数证券公司在进行移动应用落地实践时,仍出现“头疼医头、脚疼医脚”的点状应对的现状。移动屏幕小,而财富业务繁杂、数据多,进一步加剧报表冗余、应用层级过深的问题。二是分支机构管理缺少抓手。经纪业务当前仍是券商基础业务及主要盈利来源之一,分支机构作为经纪相关业务的主要承载主体,数量多、位置分散、业务覆盖面广、服务客户结构多元、从业人员多且流动性高以及管理链条较长,难以进行充分有效的管理。三是数据应用场景缺少闭环。券商的数据基础建设整体处于起步阶段,数据积累相对成熟,而数据分析和应用仍较为薄弱,传统的数据管理应用思维已无法满足新时代的业务发展需求,如何打造自身“数据管理闭环”,提升数据场景化应用是数字化转型的重点课题。解决方案针对以上问题,证券移动战情室通过构建“1 5 N”模式,为证券企业打造打造大财富移动数据应用中心,移动数据应用中心,让数据尽在“掌”握。督导月报绩效排名任务达成压力下放三屏抓业绩利润分析收入分析收入明细一屏看效益分公司查询营业部查询分支机构PK关键指标排名四屏找机构总屏揽全局个人中心分公司业绩对标营业部业绩跟踪五屏追进展财富业务机构业务信用及场内期权投顾业务团队管理二屏管业务 1 5 N 打造大财富移动数据应用中心 N小屏 纵向到底:明细数据穿透,问题根因追踪,数据管理闭环一屏总览,洞悉业绩差距,不断强化能力矩阵分屏横向到边9697帆软行业场景建设白皮书金融行业1 总屏数据揽全局,核心聚焦企业关键指标,并依次构建零售风险雷达、绩效能力矩阵和消息集成中心。零售风险雷达对绩效考核指标设置阈值进行异常、预警、正常三大风险等级分类,联动六大业务板块,一屏总览零售经营风险。绩效能力矩阵则围绕月报考核体系做矩阵拆解,随时随地获取绩效目标达成进展。例如:总部零售:任务完成进度 VS 业绩目标和分支机构:任务完成进度 VS 组内任务完成均值等绩效内容。消息集成中心在前两者基础上,集成企业通讯工具(如企业微信、钉钉、飞书等)消息推送模块,时刻掌握业务数据预警信息、日常经营管理移动数据报告等,进一步支撑企业经营。5分屏 横向到边,关注效益、业务、业绩、机构和业绩进展五大主题,结合主题分析链路,实现 N小屏 纵向到底:明细数据穿透,问题根因追踪,数据管理闭环。以业务管理主题为例,首页针对零售业务重要指标实现总览,囊括财富、机构、信用及衍生品、投顾和团队管理五大主题,A股市场份额-剔除北向机构、当年新增十万零售核心客户数、考核时点资产、理财产品保有量等200 项关键零售业绩指标,通过一屏三滑零售核心业绩考核指标完成进度明细,异常指标跳转对应业务模块分析,进一步多视角多维度业务问题追溯,为移动数据决策保驾护航。零售业务重要指标一览核心指标:A股市场份额-剔除北向机构、当年新增十万零售核心客户数、考核时点资产、理财产品保有量等200 项关键零售业绩指标场景价值:一屏三滑零售核心业绩考核指标完成进度明细,异常指标跳转对应业务模块分析,进一步多视角多维度业务问题追溯,为移动数据决策保驾护航财富业务(指标60 )交易分析、客户分析、资产分析、产品销售分析信用及衍生品业务(指标30 )市场份额、信用客户、衍生品机构业务(指标40 )机构概览、同业业务、综合金融团队管理(指标30 )人员结构、人效分析、业绩分析投顾业务(指标40 )客户分析、收入分析、订单销售、后端付费场景价值通过1 5 N模式,为一体化移动零售数据应用管理中心,横向整合零售条线各业务系统,实现关键业务数据全面覆盖,而纵向贯通零售各业务与分支机构,实现穿透式数据管理闭环,从以下四个方面共同助力企业经营:一是支撑战略:基于战略目标全局视角进行的顶层设计,及时监控各项战略指标达成情况。并支持 IM 集成、模块可拓展;二是辅助决策:全覆盖、多维度的数据分析体系,支撑业绩目标达成,让管理层决策有数据可依;三是服务业务:三个组织层级,一套顶层设计。统一数据规范,融入业务过程,赋能业务运行;四是管理闭环:数据可视化到可视管理化,保障决策执行可落地可跟踪的数据管理闭环。场景三:保险业保单失效管理场景SCENE THREE业务背景随着保险企业的进一步经营深化,保单失效管理各级存在的问题也在不断凸显。从整体来看续期业务中,保单的失效率续期业务中的重要指标之一,纳入了分公司和中支机构日常管理和综合考核中,成为续期业务的关键考核指标,如何降低失效率是续期管理的重点,也是难点。虽然续期管理部门已形成了一定的分析方法和解决思路,但大多都流于表面,不够深入和系统化,导致失效率问题在实际改进中,主观能动性有所欠缺,效果不明显。同时由于保单失效,并没有通知客户或者客户并不清楚失效的实际含义,导致客户投诉,给公司造成风险。对于寿险分公司来说,奖惩机制不完善,有限的行为追踪手段,后期粗放的管理方式,很难监控到中间的过程值,管理层看到的更多是月初的计划目标值和月末的实际达成值。而对于寿险中支公司来说,没有很好地起到承上启下的作用。对失效率这个指标的重视程度不够,对业务员的行为追踪不够到位,随着时间推移,失效率指标逐步变成了“靠天吃饭”;而对于业务员来说,部分业务员由于既要收取续期保费,又要拓展新单,且续期保费可提取的佣金又少,故而优先级较低。业务员无法随时查看任务完成情况,容易遗忘。解决方案从整体的解决路径上来看,分为业务和系统两侧。在业务方面侧重于规范业务流程并不断完善管理制度,而在系统侧将业务流程固化系统中,包括业务员失效保单处理、分中支机构资料抽审和审核以及分中支机构进行数据汇总统计自助分析等。业务流程、制度完善系统建设制度保障系统支撑业务目标分公司业务流程分公司管理制度分、中支公司数据统计自助分析业务员失效保单处理分、中支公司资料审核业务系统9899帆软行业场景建设白皮书金融行业 分、中支公司 失效清单处理进度跟踪业务侧规范失效管理流程中建立业务员管理和寿险分、中支公司管理形成制度保障。如业务员管理中形成早会及培训会宣导,提升业务人员的整体素质,同时建立监督制度,在提升业务人员主动性的同时,也要掌握每一个业务人员的动作。加强内部管理,完善监督机制。而在系统侧则打造保单失效管理平台,分别给业务员、寿险分、中支公司等有利的业务开展的系统支撑,帮助其开展业务,完成管理动作。在业务员失效清单处理中,首先是业务员任务实际完成情况,之后可钻取到具体的需回访的保单清单,进而对客户的情况进行填报,也可通过直接查询保单号的形式进行回访记录的填报。通过填报校验的方式,防止业务员漏填、错填,频繁返工,保障失效保单录入情况的完整性和规范性,减少客户投诉风险。当监测业务员完成相应动作执行后,分、中支公司通过业务员回访客户的实际情况进行审核,对不合格的回访记录进行回退,督促其再次联系回访补充内容。在一定程度上震慑业务员的违规行为,从而减少客户投诉风险。针对员工表现,每月月末对于不规定进行失效回访处理的业务员按照分公司的管理细则进行处罚,并且需多次对业务进行宣导确保失效管理流程落地。最后是分中支公司执行力跟踪。分公司和中支机构可以通过每日访问日报实时的观察业务人员点击续期相关报表的情况,通过报表的点击量等过程指标即可发现追踪的力度,了解各个渠道业务员的平台关注情况,从而可间接的体现出业务员的执行力,以便有效的督促续期业务的顺利开展。通过回访完成情况跟踪,日常监控失效保单的执行情况,可每天或者定期对各机构续期的结果指标进行汇总,如完成率指标,对于完成进度较差的机构和业务员要及时进行督促和帮扶。最后,针对分公司的业务自主分析诉求,各个层次人员将问题数字化,将数据沉淀到数据库中,便于业务人员通过 BI 自助分析工具随时更新和取用分析,按照机构,失效原因,时间等维度进行灵活分析,例如通过 RFM 分析等方法确定客户的优质情况,优先跟进重要客户,在维系现有客户的同时,推荐其另外的优质保险产品。利用这些可调用的信息,可以复用给运营的其他业务部门,给全司提供一个简单、快捷、全面的内容展示。并且通过这些数据沉淀,能够进一步的反馈给总公司,给总公司制定续期的整体政策提供信息。应用场景业务员中支、分公司中支、分公司回访过程、结果跟踪业务自助分析动作执行管理分析每月 1 号系统自动分配失效处理清单每月 15 号-25 号中支公司失效回访资料审核每月 25 号-30 号分公司失效回访资料抽审每月最后一个工作日分公司对失效结果按照奖惩制度进行扣罚并公示每月 2 号-20 号业务员(坐席中心)失效保单处理业务自助分析业务人员通过 FineBI 分析工具随时更新和取用数据,按照机构,失效原因,时间等维度进行灵活分析,例如通过 RFM 分析等方法确定客户的优质情况,优先跟进重要客户。通过这些数据沉淀,给总公司制定续期的整体政策提供信息。场景价值通过保险业保险失效管理场景建设,将从三方面为企业带来经营价值。一是任务复盘调整更合理。失效管理平台基本实现了失效后的全流程管理,倒逼业务人员在失效前对客户进行续期服务(提供失效确认书或服务质量评价表),使失效管理可追踪,可量化,失效保单处理率可达 99%。二是风险管控闭环。构建公司失效问题长效管控机制,强化系统预警、监测、定位问题能力,对存在严重“虚假”问题的机构、团队和个人实施精准打击,实现风险管控闭环;三是业务问题自助分析。以问题为导向,面向全司各级机构用户,能够以直观快速的方式,了解业务品质和失效原因,支持层层下钻,数据地图和探索性分析。100101帆软行业场景建设白皮书金融行业场景四:租赁业全面风险管理平台SCENE FOUR业务背景传统租赁机构风险管理体系第一要义是“严控风险”和“损失最小化”,但随着近年监管趋严,及宏观经济的变化,租赁业的整体经营风险在逐步加大,市场上每一次爆雷事件几乎都有融资租赁公司陷入其中,风险管理的复杂程度大大提高,租赁公司风险管理能力亟待全面升级,由“被动控制风险”向“主动经营风险”转型。目前,众多租赁公司正通过内部控制、风险报告、止损设置等举措管理租后风险预警监测,而在未来,基于对风险的精准计量和把控,有的放矢地进行业务扩展和产品创新,创造超越市场平均水平的收益,将成为租赁行业新的业态。而企业风险管理不是一个点或者一段的事情,风险管理是一个自始至终全过程的,所以我们在面对资产管理时应该用全面的视角看待问题;整个资产安全管理体系,贯穿租前、租中、租后全流程。租前从宏观经济、市场特征、监管政策、区域风险、产业周期等维度丰富租前风险管理能力。租中构建租中多维风险管理策略,贯穿公司级、部门级、项目粒度,实现全链路监控。租后借助合理的风险运营、物权管理手段进行资产保全、完成租金回收,进而规避资产损失。解决方案租赁业全面风险平台从架构上对接业务系统(业务、CRM、财务、人力)系统和设计填报系统,构建数据仓库及自助数据集,形成底层数据供应层。中间应用层建设租赁经营分析报表及租前、租中、租后的全面风险管理体系。上层终端显示提供PC、移动端支持,覆盖全场景。物权管理项目立项项目审查尽职调查项目审批电子签章设备租赁、收取租赁按期支付租金安装验收购买设备/厂商合作租赁投资收益租赁期满获取租赁物所有权出售设备融资发起申请通过资产服务租金回收业务流转基本过程承租人融资租赁公司设备厂商资金方终端展示应用层数据层业务系统企业级管控PC 端移动端数据大屏双模 IT-MODEL 1 固定、可靠、计划驱动的数据展示和分析双模 IT-MODEL 2 敏捷、自助、应对不确定场景的探索式数据分析面向风险管理各环节的基础数据分析应用自助 OLAP 分析工作台数据仓库租前自助数据集FineDataLink 流批一体的数据集成平台:实时数据同步引擎、离线数据处理引擎独立门户系统集成手工填报录入手工填报录入租前市场分析资产业务包绩效业务包人力业务包实时数据同步预警推送嵌入式集成用户管理单点登录报表管理单模板 URL 访问权限管理智能运维OAIOT 异构数据处理风控业务包ETL 和 ELT 数据开发CRM舆情资讯自定义消息提醒财务业务包数据安全和恢复财务租赁系统任务运维监控管理数据服务人力监管报送简道云上下云舆情监控行业对标拨备覆盖不良分析逾期分析集中度延展期流动性租金回收资产保全物权管理风险评级征信查询.租前102103帆软行业场景建设白皮书金融行业在租前建立租前风暴监测中心,为风险管理部、资产管理部、营业管理部等相关业务人员提供风险投资看板,直观监控当前各个区域市场风险投资情况,为整体或局部区域投放策略及行业投放策略进行数据支持。通过对风险事件资讯数据进行类别划分,设定风暴指数关联客户管理系统,并通过区域舆情和行业舆情两大视角进行风险监控,对突发事件进行区域预警、行业预警、客户预警,并通知到对应一线业务经理。租中则以建立风险策略控制为主。在以往租中风险管理中,客户和项目风险数据分散、粗放式管理,风险业务人员手工整理各项风险日报,风险策略滞后。结合实际租赁风险管理业务流程,搭建风险数据层级监控体系看板,从逾期、不良、集中度、延展期等多视角防范流动性风险。拨备覆盖检测看板重点关注核心指标,如拨备覆盖率、计提拨备、五级分类等,追踪数据变化趋势,并且根据企业实际情况设置阈值,可以及时 预警风控部门及对应高管。针对异常数据联动分析,查询业务数据明细。逾期、不良层级分析重点追溯异常逾期来源。公司级分析看板联动部门、区域、业务品种、代理商等多维度,追踪各个维度下近 12 月逾期及逾期率变化趋势。针对部门/区域大规模逾期,下钻到逾期明细表单。针对借款人逾期还款的情况、偿还能力等进行分析,以便采取适当的催收措施来减少坏账率并有效回收账款。从集团客户、单一客户融资集中度跟踪债务的分布集中情况,联合市场舆情、客户还款情况、经营情况等,及时洞察潜在风险并采取更为积极的风险管理措施,例如制定适当的催收策略、调整还款提醒频率等,以降低潜在逾期损失。密切监控延展期项目整体结构和调整频次,关联前台业务部门定期复盘,保障 资产管理(资产保全)部 租金的按期顺利回收,从而促进租赁机构资金的健康运转。对于风控部门而言,也可以有效防范流动性风险并阻止资产质量进一步恶化。针对租后的资产管理,则主要分为租赁债权管理和租赁物物权管理与综合服务。租赁债权管理通过承租人经营信息获取、还款情况分析及风险评估等,制定租后客户运营策略。其中,通过分析系统实时汇报承租人支付租金的情况,尤其是租金日的支付情况。对于按期还款、资质良好的客户主动跟进业务机会,推动业务发展。对于逾期支付租金的情况每月系统自动生成报告,结合业务部门配合进行催收,降低企业逾期损失。对于租金超过 3 个月未支付租金的承租人,系统生成专项报告并推送相关人,考虑是否按照合同规定收回设备并制定资产保全策略。而租后综合服务对于租赁公司和租赁客户来说都是非常重要的。租赁公司通过提供优质的租后综合服务,可以增强客户的信任感和忠诚度,提升公司的声誉和竞争力;租赁客户则可以获得更加全面、便捷、优质的服务,从而更好地满足自身的需求,提升自身的生产效率和竞争力。相关业务人员通过综合服务看板,可以整体监控公司当前设备服务状况,如报修到场、进场到达、平均整备时长等,不断优化提升租后资产服务水平。机械租赁结束之后需要退场,通过 24H 退场看板跟踪,提高退场及时率,能够缩短设备周转周期,提高设备租赁效率,从而进一步盘活设备资产。租后分析报告则通过对不同供应商不同性质的设备故障情况做结构分析、top10 型号故障率排名及设备报修相关事项分析等,追根溯源找到现存设备管理的相关优化方向,从而提高设备综合利用效率,节省成本。场景价值租赁全风管理平台的落地,帮助租赁企业快速实现从“埋头找数据”到”抬头看策略”的经营深化。租前从以往的宏观趋势性分析相对不足,租前投放风控策略单一,前瞻性管理略显缺乏到如今数据驱动,客户风险关联,有效提升项目签约质量,降低租后风险。而租中则从缺乏租中整体风险监控,客户关联风险弱,无法有效满足高速发展的业务需要转变为风险数据层级监控体系搭建,逾期、不良、集中度、延展期等多视角防范流动性风险。最后租后则通过数据驱动,债权、物权管理动作细化,过程留痕,并及时进行风险预警推送,进一步支撑业务发展。一体化数据应用平台安全、实时、准确、稳定、全面、易用一体化数据应用平台落地建设数据应用集合与终端全覆盖的一体化平台风险数据资产化落地风险管理效率提升风险业务全链路跟踪结合业务需要,构建落地与之匹配的风险指标体系,明确数据标准,确保数据准确性和指标体系系统落地。基于数据仓库底层的自动化数据供应,风险统计与管理实现一次开发,长期复用,实时更新的效率提升。基于企业风险管理理念与业务流程,租后、租中、租后全业务流程跟踪,形成公司、部门、团队、明细四层纵深穿透,实现风险管理全域管理跟踪。104105帆软行业场景建设白皮书医药行业医药行业PHARMACEUTICALS INDUSTRY医药行业数据应用现状中华人民共和国国民经济和社会发展第十四个五年规划和 2035 年远景目标纲要提出,“迎接数字时代,激活数据要素潜能,推进网络强国建设,加快建设数字经济、数字社会、数字政府,以数字化转型整体驱动生产方式、生活方式和治理方式变革。”随着数字化时代的到来,医药行业的规模变得更加庞大,复杂性也更高。移动互联网、物联网 IOT、人工智能、医生线上互动等新技术、新模式的出现,使得各环节无论是在医药研发、还是医药生产供应体系、亦或是整个商业流通过程(流向数据),数据量和数据复杂性均呈现井喷式的增长。然而在这样的背景下,目前许多医药企业的数据处理和使用水平却依然处于较低水平,仍然过度依赖传统的 Excel 工具进行数据处理和分析。但实际上,传统数据分析处理技术的效能正在逐渐降低,甚至给企业带来诸多不利影响:帆软注意到了医药企业如上所述的诸多数据痛点,在医药健康领域之中与众多客户携手做了许多探索与尝试,共同探索出了许多医药数据应用场景的最佳实践。以下是我们总结出的几个典型场景案例。1)数据收集和处理成本高、周期长许多医药企业在获取数据时,需要到各个系统之中导出系统表,在归集到 EXCEL 对数据进行加工处理,最终制作成汇报 PPT。这种方式的人工成本高、操作繁琐、出错率高、出报告周期长,向领导汇报时引用的数据时效性差,导致数据分析结论的商业价值大打折扣。2)容易形成数据孤岛效应许多医药企业并没有建立统一管理企业数据资产的平台(数据仓库/数据中台),导致企业数据散落在各个系统之中,形成一个个孤岛,难以综合利用分析。3)对数据安全、数据管理造成挑战采用传统数据分析模式意味着对数据权限、数据安全的管控里较弱;公司的数据难以形成文件级、指标级的权限管控体系,而且通过 EXCEL 文件的形式传播泄密成本低,这些对数据安全、数据管理造成了不小的挑战。4)容易造成数据资产价值流失医药许多数据散落在系统之中,并没有流动起来发挥其应有的数据价值,久而久之这些沉默的数据资产慢慢地就开始贬值、造成数据价值流失。106107帆软行业场景建设白皮书医药行业我国的医改政策正在逐渐推行落地,目的在提升医疗服务水平,这是整个大行业的趋势所向,这使得中国市场药品生命周期形态随之转变。医改政策中有三个特别明显的趋势:场景一:SFE 销售效能提升解决方案SCENE ONE背景分析问题背景对于医保政策来说,无论是集中采购、带量采购、还是通过谈判纳入创新药、医保目录动态更新等等政策,整体大趋势都是在要降药价,压缩药企的利润空间;对于医药政策来说,创新药优先评审、新药加快审批流程等等一系列政策的出台,无不展示着我国鼓励创新的态度;对于医疗政策来说,提升医疗服务是主旋律。典型政策有分级诊疗、医师多点执业等等。这些政策趋势直接影响到中国市场药品生命周期形态,我们从图 1-1 中可以明显看到,原先医药行业的周期曲线已经从原先的稳步上升的曲线转变为类似抛物线的形状,渠道拓宽和准入加速短时间内大幅提升了新药的销售额,但过了一定时间后,压缩的利润空间和新药的准入压力又会拉低药品的销售。医保:降低费用集采控费、支付改革,通过谈判纳入创新药、医保目录动态更新医药:鼓励创新优先评审、加快审批流程、鼓励本土创新、通过真实世界研究支持注册医疗:提升服务分级诊疗、医师多点执业、互联网医院、医政医管中国市场药品生命周期形态转变上市后年份年累计销售额降价和渠道拓宽准入加快准入压力图 1-1 医药行业政策趋势众多医药企业在新的竞争格局下都在探索转型、寻求新的增长模型。在这一过程中,医药企业面临着众多的挑战和机会,主要来自市场、团队、客户三方面,当然这也要求这我们在这三方面建立有效合理的营销目标:(1)对于市场侧,我们要保证我们的市场战略是准确合理的(2)对于团队侧,我们要保证我们的团队效率是持续高效的,当然其中的实现需要基于实时的数据给与我们动作的指导和优化(3)对于客户侧,我们要保证我们的拜访互动能带来高效转换的,是能够成功影响医生观念的。解决方案框架首先在事前阶段,我们需要清晰定位“市场有多大、客户在哪里”,才能相应指定相关营销战略;洞察清楚营销方向后,需要指定清楚营销计划,即“资源怎么分、指标怎么定”。其次在事中阶段,需要牢牢掌握过程进度和情况,要试试掌握销售进度和销售行为情况,并实时调整动作,因此需要定期复盘销售情况和代表行为。最后在事后阶段,SFE 部门/HR 部门需要通过奖金数据和销售数据相结合,分析当前奖金政策的合理性,验证激励效果,为下一阶段的战略调整提供数据支撑。对于医药营销组织的业务分析需求,我们从整个营销业务流程出发,不难拆解得到如下方向:以上三个阶段形成医药营销组织事前事中事后的管理闭环。图 1-2 医药营销组织的目标与挑战市场策略准确合理可落地如何基于市场数据,竞品情报等信息,有效定位核心竞争领域和差异化方向,形成有效打开市场,巩固市场或者扩大市场的有效策路。团队效率基于数据实时优化如何基于市场数据,竞品情报等信息,有效定位核心竞争领域和差异化方向,形成有效打开市场,巩固市场或者扩大市场的有效策路。医生观念高效互动持续迭代如何基于市场数据,竞品情报等信息,有效定位核心竞争领域和差异化方向,形成有效打开市场,巩固市场或者扩大市场的有效策路。108109帆软行业场景建设白皮书医药行业数据应用销售数据洞察应用业务策略调整平台自助创新分析工具数据驱动数据驱动业务数据驱动流程数据驱动产品数据驱动决策ERPCRM流向.数据源业务系统巿场医生竞品.三方采买RPA API抓取DM层DW层ADS_BI自助数据集医生服务营销平台线下流向店铺维度.多渠道数据指标体系销售金额行为评分达咸率增长率同期金额客户数潜力数销售收入利润总额毛利额期间费用业绩得分同比增减指标达成覆盖客户数拜访次数学术能力人均医生潜力人均目标医生数拜访KPI达成率拜访覆盖率医院客户数医院等级拜访次数休眠/活跃医院数流失/开发医院数开发进度统计销售总金额纯销金额销售指标指标达成增长贡献率目标医院数产出医院数销售额纯销金额销售任务完成进度同比增减环比变动拜访次数协访次数拜访达标率协访达标率达标人数人均医生潜力人均学术能力平均纯销金额目标医院数医院覆盖数医院覆盖率医院流失数医院新增数医院活跃数医院休眠数医院单产实发预算差额实际奖金分布销售额利润销售贡献比营销效能综合数据服务中心销售业绩趋势行为综合评分行为绩效分布销售业绩区域业绩分布区域达成对比区域波士顿分析业绩达成明细拜访行为概览拜访客户分布拜访次数排名拜访/协访Top代表拜访明细销售行为等级医院分布拜访医院Top医院经营趋势医院开发统计终端运营日度DDI报告月度经营分析SFE过程管控产品业绩分析区域业绩分析组织业绩分析SFE业绩分析拜访情况分析协访情况分析行为有效性分析组织效能KPISFE拜访行为医院终端经营开发计划达成医院活跃情况医院覆盖分析SFE终端开发奖金-预算对比奖金-分布分析奖金-业绩分析奖金-利润分析奖金激励图 1-2 医药营销组织的目标与挑战图 1-3 SFE 销售效能提升解决方案框架销售效能提升聚焦客户优化组织支持战略市场有多大=客户在哪里资源怎么分指标怎么定销售工作做的怎么样奖金激励是否有效问题与改善方向业绩是否匹配行为区域内目标终端有哪些?覆盖了多少?贡献结构如何?不同区域待开发的终端是哪些?针对不同区域、不同终端的行为策略怎么定?具体到各级销售人员以及其所负责客户的纯销达成?哪些吊车尾代表需要进一步做业绩追踪?主营产品整体的市场潜力有多大?各区域市场分配了多少人员和费用?整体销售情况完成如何?会议、拜访、协访的计划执行情况如何?奖金发放是否控制在预算内?市场开发进度如何?销售任务进度如何?终端贡献如何分布?行为有效/低效的情况如何?行为指标执行是否达标?区域市场有何特点,对应品种的潜力如何?代表队伍的能力结构组成如何?分板块/产品销售情况完成如何?具体到每个组织和个人的行为得分如何?若超预算,原因是什么?各区域的同比变动及趋势?各区域市场开发的深度如何?产品覆盖广度多大?区域潜力和代表能力是否匹配?地区的销售完成排名?行为得分中及格与未及格的代表数量占比结构如何?产品、大区、区域、岗位的奖金数额分布是否合理?资源(奖金)投入是否符合公司战略布局到重点产品、区域?奖金政策发布后是否能有效激励各岗位员工积极性帆软结合以往落地客户的最佳实践,针对以上业务分析需求,拆解出从数据源到指标体系、最终到数据应用级别的解决方案框架:通过销售数据洞察应用,建立横跨事前事中事后、涉及销售层级组织、多元角色、多个分析对象的完整分析体系。.决策分析模块销售驾驶舱&SFESFE2122232417181920销售业绩追踪团队效率分析市场竞争分析业绩考核模块进程审批模块过程监控模块主数据模块表单填报模块代理商考核表代理商考核驾驶舱销售团队考核表销售考核驾驶舱11121314入院商机漏斗市场活动审批拜访申请审批团队拜访日程仪表惠1516医院进销存监控经销商进销存监控12医院主数据医生主数据代理商主数据竞品主数据4536药店主数据店员主数据7销售费据上报终端销量上报市场活动申请9810拜访日程管理决策层部门营销管理层一线代表市场有多大客户在哪里资源怎么分指标怎么定销售工作做的怎么样业绩是否匹配行为SFE过程管控SFE业绩分析奖金发放合理性奖金政策效果评估SFE拜访行为SFE终端开发奖金激励奖金激励是否有效市场洞察市场行业变化营销效能综合销售业绩销售行为终端运营市场竞争市场/产品经理市场容量分析区域市场分析同业公司对比区域竞对分析区域竞品分析目标客户分析CXO/BU headRSM/DSMSales TeamHR/SFE奖金分布分析奖金-预算对比奖金-利润分析奖金-业绩分析销售效能奖金激励市场洞察销售效能专题提升销售业绩趋势行为综合评分行为绩效分布日度DDI报告月度经营分析产品业绩分析区域业绩分析组织业绩分析拜访情况分析协访情况分析行为有效性分析组织效能KPI医院终端经营开发计划达成医院活跃情况医院覆盖分析奖金-预算对比奖金-分布分析奖金-业绩分析奖金-利润分析区域业绩分布区域达成对比区域波士顿分析业绩达成明细拜访行为概览拜访客户分布拜访次数排名拜访/协访Top代表拜访明细等级医院分布拜访医院Top医院经营趋势医院开发统计图 1-4 销售数据洞察应用方案框架图 1-5 零代码业务策略调整平台对于上述洞察出的有效结论,营销组织可以通过零代码的形式进行业务应用的快速开发,实现业务方向的敏捷调整。最后,对于有一定分析基础的企业用户,还可以通过自助分析创新工具,为营销组织加速整个洞察的分析链路,快速推进解决问题。110111帆软行业场景建设白皮书医药行业图 1-6 自助创新分析全链路图 1-7 SFE 销售效能提升解决方案价值总结关键指标变化诊断问题现状,识别差距该变动的影响程度?快速计算数据解释YTD累计产品销量达成1百分位排名54%当前数据点的关键影响者?符合平均水平平均月度-人员姓名:解安珊132.5%(聚合)69.38(万)2022-08业务波动实时数据变化数据分析推进解决外部环境改变eg:销售指标完成率,交货及时率、活动ROI。终端客户流失率、客户投诉率.月环比增长/下降幅度影响程度?对比同期,是否存在相同趋势?对年度累计达成是否影响?制定解决方案采取哪些改善措施?生产因素:优化排产计划.供应链因素:忧化网点布局.商品因素:优化品类结构.销售因素:优化铺货策略.预警推送,监控执行核心指标监控生产因素:设备综合效率.供应链:平均在途时间.商品因素:库存周转率.销售因素:客单价.求和、平均、中位数、最大值、最小值、标准差、方差快速计算占比、排名、同期、环期、累计、所有值汇总、维度百分比多维关联分析主键关联、左右合并、上下合并、其他表添加列OLAP分析钻取、联动、切片、旋转、跳转数据解释,让每个环节的分析更快一步图表可视化柱形图、条形图、饼图、折线图、面积图组合图仪表盘、漏斗图、KPI指标卡、地图.拆解问题,假设验证从哪些维度剖析变化?定位核心问题核心影响因素有哪些?生产因素:产能、原材料供应供应链因素:供货能力,库存现货率商品因素:到货及时率,库存周转率销售因素:偶发性囤货情况分析.占比分析,饼图环图分析核心分布分析。箱型图、散点图识别异常数据分布转化分析,漏斗图识别关键转化率节点流向分析。桑基图观察关键品类流向外部机遇与挑战eg:疫情影响、官方政策发布、市场环境变化.1T2345人员姓名:却琛丽130.4%T人员姓名:向岚影121.3%T人员姓名:毯康179.6%T所国小组:广州一组时序对比裱据字段 时间(年月)对比时间对比详情年同比112.7%TTT T价值总结(1)可以帮助医药企业克服数据孤岛效应,通过一体化归集整合营销数据,盘活数据资产;(2)医药企业可以通过综合应用数据分析方法,有效构建洞察模型,实现销售趋势的有效洞见;(3)对于识别到的方向趋势,医药企业可以通过零代码形式敏捷修改营销业务营销,实现快速纠偏调整;、(4)通过自助分析 BI 工具,能够帮助企业业务加速创新洞察链路,激发组织创新活力。通过整套的 SFE 销售效能提升方案,众多医药企业可以获得对应四方面的收益:一体化归集方案整合营销数据业务策略调整平台快速落地策略调整自助创新分析工具激发组织创新潜力销售数据洞察应用有效构建洞察模型整合多源数据,让业务分析师和数据工程师可以从统一数据平台中进行工作。解决困扰药企营销数据分析的基础问题。有效识别策略执行动作和最终结果之间的关系,通过快速的低代码应用搭建,为营销环节各团队行动的的业务调整提供工具,把策略落实成行动。为业务团队打造能够快速洞察业务波动,追根究因并快速响应解决非分析平台。实现多变业务问题的分析、解释、预警、追踪。基于市场数据、竞品情报、销售结果、行为数据、终端数据等信息,有效定位核心竞争领域和差异化方向,形成有效提升销售效能的策略。应收账款是什么市场销量&营收PFST行业政策赊销政策经济下行疫情影响技术同质在公司正常业务过程中,因销售产与和提供服务而应向买方收取的款取,包括购买者或接受服务的客户应缴纳的税款,以及各种运输费用和代买方预付的包装费用等杂项费用。产生促进影响查看图表中2013-07到2022-06期间的中国中国Industrial Enterprise:Account Receivable数据来源:CEIC DATA最大值一年五年十年工业企业应收税款July 1,2013July 1,2022选择获收此救据面积图22.5k20k17.5k15k12.5k10k7.5k2013 2014 2015 2016 2017 2018 2019 2020 2021 2022场景二:应收帐款动态监管SCENE TWO医药行业这几年经历了两票制改革、集中采购、带量采购等政策的冲击和影响,已经极大地缩减了利润空间。在这种情况下,众多企业选择了赊销的形式意图打开销量,帮助企业实现促销增收。背景分析问题背景图 2-1 医药行业应收账款背景介绍尽管赊销是一种有效的促销手段,但它给企业带来的副作用往往也不能忽视,最明显的赊销产生了大量的应收账款,如果不加以管控,极易产生应收账款规模过大、周转速度慢、坏账率高的现象,从而对企业现金流发生影响,严重甚至会影响企业的正常经营。因此医药企业必须对应收账款进行严格监管,来保证自身经营的健康。图 2-2 医药行业应收账款带来弊端应收账款规模过大签订赊销订单应收账款入账催收制度入账&冲减应收账款应收账款管理报告发起赊销订单付款财务开票依赖于赊销模式获取市场增长,但对赊销订单的风险没有有效机制控制对赊销客户的信用管理机制不健全,存在销售人员为获取销售额增长对不良信用客户仍采取赊销销售的情况否应收账款是否按时支付是商业公司商务部门财务部门公司高管应收账款回款速度慢缺少应收账款动态跟踪,监管手段仍停留在账目记录、对账、催促销售人员收款上忽视应收账款的账龄分析,对不同账龄周期的账目没有很好形成差异化管理坏账率高缺乏催收机制指导催收人员及时有效地控制逾期风险和坏账风险应收审计和坏账准备计提工作缺乏定期执行和风险前置总结应账款情况112113帆软行业场景建设白皮书医药行业解决方案框架对于应收账款规模大的问题,我们可以拆解一下公式,应收账款的规模=赊销的客户数*赊销订单平均单价。因此需要从客户数量和订单的价格两方面入手。在管控赊销的客户数量方面,医药企业需要建立一套信用管理机制,只有信用好、可靠的客户我们才给开放赊销;在管控赊销的订单价格方面,医药企业通过建立赊销分级审批制度,对于赊销价格特别大的订单必须高层审批才能通过。应收账款动态监管分析架构分析主题公司级定位问题解决问题发现问题组织级(子公司)业务员级客户级数据仓库组织业务员客户订单账龄应收账款逾期账款坏账计提.数据中心数据关联数据清洗数据打通数据整合ERP财务系统CRM简道云应收账款相关系统应收账款总体监控通过ETL的方式打通企业业务系统,整合数据应收账龄分析组织应收分析逾期账款分析重点客户分析应收账龄分析业务员应收分析逾期账款分析重点客户分析应收账龄分析客户应收分析逾期账款分析重点客户分析应收账款总体监控应收账款总体监控客户账龄分析客户订单明细图 2-3 医药行业应收账款痛点解决路径图 2-4 医药行业应收账款动态监管分析架构问题分析核心应用客户信用管理机制赊销审批应收账款动态监管应收账款食收管理关键目标基于公司信用管理政第和客户信用资料,合理评审客户信用等级,并制定相应的赊悄政策建立赊销分级审批制度,例如针对金额超过A万元的由财务部门公司高管审批,低于B万元的由销售经理审批针对销售组织,客户的应收账款规模,账龄,迪期等情况建立动态分析益管机制,对坏账做好周期性计提准备工作针对客户账款到期、逾期情况。建立催收流程和定期提醒机制,提高账款收回效率和可能性应收账款规模过大依赖于赊销模式获取市场增长,但对赊销订单的风险没有有效机制控制对赊销客户的信用管理机制不健全,存在销售人员为获取销售额增长对不良信用客户仍采取赊销销售的情况应收账款回款速度慢缺少应收账款动态跟踪,监管手段仍停留在账目记录、对账、催促销售人员收款上忽视应收账款的账龄分析,对不同账龄周期的账目没有很好形成差异化管理坏账率高缺乏催收机制指导催收人员及时有效地控制逾期风险和坏账风险对于应收账款回款速度慢的问题,最关键的是下游企业应收账龄这一动态要素,医药企业要实现动态监管并配以相应的催收执行动作。对于坏账率高的问题,我们重点关注不动销和长账龄两类明显特征。其中不动销是指下游企业有应收的赊销订单,但近期很久没有新的销售订单;长账龄是指下游企业应收账款的欠款时间过长。综合来看,医药企业应当建立体系化的应收账款动态监管机制,并配以强有力的催收管理和执行机制,实现察打一体,来完成监管和催收。从问题解决路径到整体方案架构设计的细化,我们从“发现问题-定位问题-解决问题”的链路出发,进行框架搭建。价值总结整体方案的价值,可以拆分事前、事中、事后三个阶段来阐述。在事前阶段,医药企业建立客户信用管理机制和赊销审批分级制度之后,能够规避与信用风险高、逾期可能性大企业的合作,从而从源头控制应收账款规模扩大和坏账风险。在事中阶段,医药企业可以通过应收账款动态监管的落地方案,支撑公司、各级组织和业务员能及时掌握应收账款风险现状,从不同账龄、客户类型、逾期账款的金额规模和占比来衡量风险等级,重点催收高风险的客户和订单,能够极大提高账款的回收效率。在事后阶段,对于识别到的长账龄、逾期、风险客户等已产生较高风险的客户和订单,医药企业可以基于业务预警分级规则建立推送机制和相关考核指标,有效地提高业务员催收作业主动性和效率,及时降低公司地潜在损失。发现问题环节,需要我们具备全面、动态、体系化的监控诊断功能,建议企业可以通过建立多层级(示例:公司级、组织级、业务员级)的应收账款全面的分析体系来实现,分析的内容需覆盖全面,可涉及账龄、组织、逾期、客户等分析维度。定位问题环节,在发现问题之后,医药企业还需要能追根溯源,找到问题的原因。简单来说,也就是是需要公司级的分析看板能下钻到组织级,组织级下钻到业务员级,业务员能下钻到客户级的明细。这样,能够帮助企业定位问题单元、找到问题原因。解决问题环节,公司的各个层级角色需要有各项不同的动作。落到最细的业务员执行层,也就是需要建立催收预警提醒机制,能够让业务员基于客户属性和账龄情况合理高效催收。图 2-5 医药行业应收账款动态监管方案价值总结价值总结事前-从源头控制应收账款规模扩大和坏账风险基于信用管理机制和流程,避免与信用风险高、逾期可能性大的企业合作基于赊销多级市批机制和流程,减少收回风险大、金额占用多的订单签订事中-动态追踪应收风险、提高账款回收效率基于应收账款动态分析监管体系,支撑公司、各级组织和业务员能及时掌握应收账款风险现状从不同账龄、客户类型、逾期账款的金额规模和占比来衡全风险等级重点催收高风险的客户和订单提高效率事后-应收风险产生后,通过预警和考核降低损失对于长账龄、逾期、风险客户等已产生较高风险的客户和订单,基于业务预警分级规则建立推送机制和相关考核指布有效提高业务员催收作业主动性和效率及时降低损失客户信用管理机制赊销审批应收账款动态监管应收账款食收管理应收账款规模过大依赖于赊销模式获取市场增长,但对赊销订单的风险没有有效机制控制对赊销客户的信用管理机制不健全,存在销售人员为获取销售额增长对不良信用客户仍采取赊销销售的情况应收账款回款速度慢缺少应收账款动态跟踪,监管手段仍停留在账目记录、对账、催促销售人员收款上忽视应收账款的账龄分析,对不同账龄周期的账目没有很好形成差异化管理坏账率高缺乏催收机制指导催收人员及时有效地控制逾期风险和坏账风险应收审计和坏账准备计提工作缺乏定期执行和风险前置114115帆软行业场景建设白皮书医药行业场景三:医药零售移动工作台SCENE THREE近些年来,医药零售行业的规模化、集中化趋势越发明显。2021 年 10 月 28 日,商务部在关于“十四五”时期促进药品流通行业高质量发展的指导意见 提出,“到2025年,培育形成5-10家超过500亿的专业化、多元化药品零售连锁企业,药品零售百强企业年销售额占药品零售市场总额 65%以上,药品零售连锁率要接近 70%。”同时,随着药品集采制度常态化、医保谈判药品“双通道”管理、门诊统筹医保服务接入药店等一系列政策的落地,医院处方加速外流,医药零售行业迎来新的增量市场。2022 年 8 家线下药店上市公司共实现营收 1000 亿元,多家连锁药店加速线下门店扩张,头部 3 家连锁药店已进入“万店时代”。随着数字化转型的浪潮袭来,医药零售行业逐步进入精准定位、精准服务的新纪元。不管是连锁药店还是中小单体药店都在勤练内功,期望能通过精细化运营不断提升效率、降低管理成本、提升服务品质。医药零售移动数字化是实现精细化运营的一大法宝。据第三方机构调研,在中国每天通过移动端进行办公协作的用户占受调查用户的 70%,医药零售行业从业者出差办公平均比例也是达到了 50%。但是随着使用的深入,医药零售行业从业者已经不再仅满足于手机端的“看数据“,更多地向”协同办公、辅助决策、驱动业务“方向拓展。问题背景新兴渠道带来的外部竞争处方外流后药品网上销售竞争?第三终端/商超/连锁便利店压力?行业龙头资本化医药零售行业的头部药店多数已经或在PE资本支持下准备上市药店监管规范化新版GSP、药店分级分类、开店资质、医保资质注册制营改增、两票制改革经营成本不断升高税务带来的人力成本提升地产带来的门店租金提升专业化要求带来的注册药师成本提升控费带来的上游议价压力行业领先药店=特殊药品资源 专业药事服务 规模成本优势 合规经营优势 数智化运营及洞察体系2020年中国零售药店CR10(含税销售额口径)提升至25.2%,远低于日本同期70.72%的集中度“到2025年,培育形成5-10家超过500亿的专业化、多元化药品零售连锁企业,药品零售百强企业年销售额占药品零售市场总额65%以上,药品零售连锁率要接近70%。”2021年10月28日,商务部关于“十四五”时期促进药品流通行业高质量发展的指导意见集中度提升仿制药一致性评价,“4 7”带量采购,医院药店统一医保支付价等政策为药店带来的议价压力图 3-1 医药零售行业发展趋势为满足医药零售行业从业者的业务需求,帆软软件数字健康事业部设计了整套医药零售移动工作台解决方案。整套方案采用”移动 1 1“的设计,分为两个功能板块。面向集团公司总部/分部/区域/事业部领导,我们设计医药零售高层战情室工作台,通过对财务管报、经营核心指标、解决方案框架图 3-2 医药零售行业需求痛点时代浪潮3.16亿移动办公成为中国人的日常数据来源:QuestMobile,2022据第三方机构调研,在中国每天通过移动端进行办公协作的用户占受调查用户的70%,远超欧美用户的40%。在日常业务中,由于OA系统已经深入企业生态,人们已逐渐习惯通过OA系统交流与协作,仅钉钉、企业微信、飞书三家移动办公巨头的日活用户就已达到2.8亿。出差途中,手机上查看公司全局经营分析看板,针对异常指标相关团队沟通跟进企业微信推送昨日经营异常的门店报告,点开通知定位问题,相关店长并给出指导建议手机上查看经营日报,对区域经理给到的异常和指导进行综合分析,进行盘货、补货的业务动作现实需求业务痛点数据一小时昨日经营分析日报更新BI平台8:00区域经理8:40总经理8:20门店店长9:00协同办公类App月活跃用户数(MAU)仅企业微信、钉钉、飞书计算,已超3.16亿50%医药零售行业从业者出差办公平均比例移动互联网浪潮的发展以及及时获取业务变化的需求使得零售行业不再仅满足于手机端的“看数据”。移动互联网下的使用习惯:工作与生活没有明确的界限,因此更看重信息沟通的及时性如何突破时空限制,助力决策如何细化业务粒度,精细运营管理者工作强度很高,每天的电讯、微信、邮件处理工作之外还要四处奔波开会,如何利用碎片化时间给到管理者以决策辅助销售人员的分析视角不一样,运营粒度不一样。运营越粗糙,对经营带来的损失就越大,需要填补业务人员的精细运营需求集成IM软件,驱动业务发展移动互联网时代,需要即开即用的分析应用来让用户随时获取能够指导业务动作的信息图 3-3 医药零售移动工作台方案框架监管层高层战情室门店工作台总部领导辅助决策分部领导事业部领导片区经理门店店长异常预警重点关注门店督导业务运营市场情报营运指标平行对比商品分析异常预警门店运营经营诊断商品管理异常监控门店PK管理协同消息订阅核心指标财务管报主题分析门店盈亏市场情报监事会董事会总经理看到经营实现的财务结果,看到业务运行中的潜在问题使能一线不止让线看,要让一线做什么门店盈亏情况、商品&业务主题分析、市场情报分析、异常预警多模块的分析,助力管理层掌握集团全貌、并能发现业务运行中的潜在问题。面向门店店长,我们设计医药零售门店小掌柜工作台,通过对门店经营情况诊断、门店运营&商品管理主题分析、门店 PK、管理协同、异常监控的主题功能模块,使能一线,让门店店长明白自己要干什么,接下来需要怎么干。117医疗行业116帆软行业场景建设白皮书价值总结通过构建医药零售”移动 1 1“工作台,解决医药零售行业从高管到门店店长的多元分析需求,突破时空限制助力企业高效分析决策;并可与企业通讯工具 IM 软件集成,驱动业务发展;最终实现数据驱动业务,助力医药零售企业实现精细化运营的业务目标。移动1 1 高层战情室:看到经营实现的财务结果,看到业务运行中的潜在问题门店工作台:不止能看到问题有什么,还知道解决问题门店该做什么辅助决策、赋能线的医药零售战情室突破时空限制,助力高效决策让企业的决策者充分运用起工作中的碎片化时间进行数据分析与决策,提供强大易用的工具突破各种复杂办公环境下时空限制。细化业务粒度,实现精细运营千人千面的移动门户让管理更精细;多维联动让异常指标的分析更深入;实时数据做预警和订阅让业务异常掌握更及时。集成IM软件,驱动业务发展与IM软件移动端集成,缩短使用路径,给用户带来即用、易用、好用的使用体验图 3-4 医药零售移动工作台价值总结医疗卫生MEDICAL HYGIENE118帆软行业场景建设白皮书医疗卫生行业发展历经四阶段,整体建设水平落后于美国等发达国家。中国医疗信息化自 20 世纪 80 年代以来先后经历管理信息化、临 床信息化、集成平台化、区域医疗互联互通四个阶段,使中国 HIT(Health Information Technology,医疗信息化)从早期的单机单用户发展至部门/全院级应用;从以人、财、物的管理为中心,开始向以患者信息为中心的临床支持和电子病历应用;从局限在医院内部,迈向区域医疗互联互 通应用尝试;从基础的业务数字化和流程线上化,逐步探索大数据、云计算、AI 等前沿技术对医疗各环节赋能。中国医疗信息化市场规模高速增长的逻辑有以下 4 点:1.短期内受政策强指引,“以评促建”之后的新一轮发展周期将开启医疗信息化内生需求较弱,因此早期推进缓慢。美国医疗信息化起源于医疗机构自发建设,由于 IT 技术不是医疗机构的根本竞争力,因此在满足人财物管理的 HIS 系统建设完成后,医疗机构对 CIS、GMIS 的后续建设和升级改造的主动性较弱,依赖政府引导:1996 年 HIPAA 法案赋予美国国家生命与健康委员会医疗标准信息标准化建设的使命,是政策面推动的开端;2004 年美国布什总统发布 13335 号总统令,明确要求 10 年内在全美实现电子病历;带奖惩机制的政策对医疗信息化的推动作用最为明显,2009 年奥巴马政府的 HITECH 法案通过“胡萝卜 大棒”的形式开启美国 HIT 强政策周期;此后还有平价医疗法案(2010 年)、MACRA 法案(2015 年)和 21 世纪医疗法案(2016 年)等重磅政策,将深化电子病历发展与支付方案改革相结合。中国医疗信息化遵循相似的发展路线,从“适当推进”到“加快发展”再到“积极全面推进”,其中带“奖惩属性”的政策起积极促进作用。自 2009 年新医改首次将医疗信息化写入政 策以来,每一个五年规划期间,国家接连颁布规范标准类、鼓励支持类等多种政策;地方政府 积极响应,出台具体措施紧密跟进。2018 年底发布的电子病历评级政策是医疗信息化“以评带 建,以评促改”的开端,后续陆续构建了智慧医疗(电子病历)、智慧服务、智慧管理、互联 互通四大评价体系,并与医院绩效考核挂钩,极大地保证 HIT 实施效果。2.老龄化社会下,日益增长的全民健康需求是医疗 IT 长线发展的根本逻辑老龄化社会将催化大量的医疗健康需求,然而我国医疗存在严重的供需矛盾。我国已正式 步入老龄化社会,截至 2021 年末,我国 65 岁及以上人口为 20056 万人,占全国人口的 14.2%;老龄人口基数大、慢性疾病患病率高,2018 年我国 65 岁以上人群患慢性疾病比例为 62.3%。根据“十四五”健康老龄化规划,“十四五”时期我国人口老龄化程度将进一步加深,78%以上的老年人至少患有一种以上慢性病。在时代趋势下,以医院为主的各类医疗机构的业务规模、管理复杂程度和医疗服务供需缺口可预见将大幅扩张,而我国医疗卫生服务体系仍存在医疗资医疗卫生行业数据应用现状MEDICAL HYGIENE源总量不足、资源分配不均、人员供给不足、协作效率低等痛点。为缓解医疗资源总量不足的问题,国家推进医疗新基建。以新建各等级医院为例,截至 2021 年底,全国三/二/一级医院数量分别达 3275/10848/12649 家,合计数同比增长 4.37%;全国医疗 卫生机构床位 944.8 万张,每千人口医疗卫生机构床位数增加至 6.70 张,而根据医疗机构设 置规划指导原则(2021-2025 年),2025 年每千人口医疗卫生机构床位数指导性目标为 7.40-7.50 张。医疗新基建将带来医疗 IT 系统新建及扩容改造等需求。医护人员供给不足、医疗效率低等院端管理与服务的压力,也可通过全业务场景的数据化 构造精细化运营管理体系来解决。医疗信息化是满足人民医疗健康需求的重要工具和手段,其价值愈发凸显,即有效帮助医疗机构实现降本增效提质,提升民众就医体验,逐步成为医疗机构未来的核心竞争力。3.技术衍生新机遇,信创催生新商机医疗卫生信息化行业逐步从过往以流程建设为主,向以患者为中心的面向诊疗过程发展,以提高医疗服务水平,并在此基础上,不断延伸出各类以患者为中心、以医生临床诊疗行为为导向的临床信息应用系统产品的需求。前沿科技赋能医疗信息化建设。根据 CHIMA 调查,物联网、大数据、AI、5G、云计算等新一代信息技术与医疗信息化建设在未来两年将实现更深层次的融合。医疗信创建设如火如荼。经过了“2 8 N”党政行业的试点阶段,目前信创建设已推广到 医疗、教育、金融等 8 大重点行业领域。医疗信息系统业务量庞杂,确保医疗信息系统安全自主可控刻不容缓,医疗信创年度招标成交金额飙升。信创硬件先行,软件随后,涉及医疗环节诸多业务流程。2015 年之前,医院所购买的系统大多基于 Win7/XP 开发,随着医疗信创的持续深化,此前基 Windows 所开发的系统有望迎来国产化更迭。4.突发公卫事件暴露行业短板,凸显医疗 IT 价值历史上两次突发公卫事件极大促进中国 HIT 进程。2003 年非典疫情暴露出我国公卫系统发展严重滞后的问题,推动包括疫情和突发公共卫生事件监测系统、突发公共卫生事件应急指挥中心与决策系统、医疗救治信息系统以及卫生监督执法信息系统在内的国家公共卫生信息系统建设。2020 年初新冠疫情爆发,暴露出我国在重大疫情防控体制机制、公共卫生体系等方面仍然存在着短板,国家出台多项政策鼓励运用信息化手段支撑疫情防控,公卫信息化、互联网医疗领域的建设及改造加速。以公卫龙头创业慧康为例,2020 年其公卫订单同比增速近 40%。疫后公卫信息化建设需求有所放缓,但完善分级诊疗、医联体/医共体、区域公卫一体化仍是政策主线,公卫 IT 市场将持续增长。119医疗行业120121帆软行业场景建设白皮书医疗行业代表场景:三级公立医院绩效考核分析平台REPRESENTATIVE SCENARIOS三级公立医院绩效考核指标体系由医疗质量、运营效率、持续发展、满意度评价等 4 个方面的指标构成。国家制定三级公立医院绩效考核指标供各地使用,同时确定部分指标作为国家监测指标。各地可以结合实际,适当补充承担政府指令性任务等部分绩效考核指标。问题背景自我发展医院在发展的过程中,不仅需要将自身的公益性展现出来,同时还需要具有极强的适应能力,从而使自身能够在时代的洪流中站稳脚步,进而使自身得到有效发展。问题追踪强化自身的绩效考核管理工作,能够针对医院的实际发展情况实施全方位的理解,针对医院在发展过程中产生的问题以及种种缺陷,实施针对性地处理,为医院的后续发展打下基础。上级考核政府主管部门对医院的绩效评价也已全面推开,改革和完善医院内部的绩效考核体系也是必然要求。促进效益帮助提升内部员工积极性,兼顾医院自身的公益性质,从而促进医院的效益得到较为高效的提升,以及自身的可持续性发展。公立医院绩效考核的必要性手工统计流程繁琐手工统计方法需要各指标项负责人首先找到信息中心人员统计数据,再分别上报给质管办,最后由质管办整理上报。不仅流程烦琐,而且效率低下,数据准确性差。如遇需求变更,无法快速响应。异常无法追踪手工统计方法缺少指标项说明、指标明细数据,导致指标值异常时无法追踪定位。规范不统一,数据难利用数据孤岛导致数据利用的割裂,无法形成统一有效的标准数据集市,重复的造数据。缺乏合理的展示形式缺乏多维度,自由组合的可视化分析模式,无法满足各层级人员对于数据的精细化分析诉求。提升管理促进医院管理质量提升。绩效考核体系科学有效地建设,使其管理工作者的管理方式更为的科学化、信息化。考核指标缺失分散各部门自我分析,缺乏相应的归集整理,无法精确控制权限,不利于数据管理的长期规划。绩效考核分析场景痛点解决方案框架自动化流程优化平台上线后,质管办可直接收集指标值,各指标负责人也可实时查看相应的指标值,整个过程无需对接其他人,大大提高了医务人员的工作效率,减轻了医务人员的工作强度。绩效考核分析场景痛点122123帆软行业场景建设白皮书医疗行业数据规范共享全院可利用平台普及医院绩效考核标准,规范指标定义,统一指标口径,便于后续指标共享和应用,避免多方操作导致指标混乱、数据不一致等问题。数指标可视化灵活可拓随时查看指标数据,了解指标趋势,提供多种图表自由组合的可视化方式查看指标,可多种维度对指标进行分析,全方位满足医院精细化管理需求。数据指标安全稳定可靠56 个指标标由平台进行统一管理,支持增删查改和各级权限管控、层层审核,确保数据安全性。决策展示终端形式绩效数据大屏平台管理PC端移动端大用登录认证用户管理系统管理权限管理智能运维数据应用数据仓库数据来源日常监控内部会议外部参观绩效驾驶舱绩效可视化管控精细化预警自动化绩效自助分析核心关注自助数据集门急诊住院手术药品指标总览绩效指标全覆盖医疗质量功能定位质量安全合理用药服务流程HIS系统PACS系统EMR病案归档财务对账.LIS系统风险预警流批一体调度实时数据对接异构数据处理数据安全和恢复基于元数据的血缘管理经营管控绩效管理.医疗质量绩效监督资源效率收支结构费用控制经济管理运营效率人员结构人才培养学科建设信用建设持续发展住院满意门诊满意医生满意护士满意满意度复盘报告定期报告风险报告绩效报告风险预警总屏揽全局绩效分屏业务系统满意度手工填报.外部平台外部数据重点风险提示运营效率持续发展满意度探索式分析数据仪表板数据分析共享功能定位质量安全合理用药收支结构费用控制人员结构满意度生命周期全贯通绩效档案绩效阶段基础信息经营数据得分情况盘点情况处置情况图 2-1 三公绩效考核平台整体架构数据集中管理平台建立报表管理门户,将分散在不同业务系统的各类指标数据集中管理,并用统一的标准进行约束,清晰地展现各指标的统计方法、数据来源、统计口径等信息。图 2-2 三公绩效考核平台技术架构异构数据处理数据管道API 数据接入数据安全和恢复流程设计/监控基于日志的实时增量数据流向前端数据流批一体调度通用层DWS业务加工表数据宽表应用层ADS功能定位分析质量安全分析合理用药分析收支结构分析费用控制分析.基础层DWD人员类财务类耗材类药品类贴源层ODS增量同步表全量同步表实时数据表基于FineDataLink的ETL离线处理引擎FVS可视化大屏FineReportPC端移动(APP/H5)FineBISpider引擎(本地/直连)数据集市(业务包)实时数据对接实时数据引擎业务系统HIS系统LIS系统PACS系统HRP系统EMR系统填报类系统.外部数据互联网医院上级数据.手工数据EXCEL.应用层数据层.数据仓库公共维度数据区(DIM)病种维度表科室维度表门诊维度表住院维度表公立医院绩效考核的 PDCA 循环圈主要指医院绩效考核管理制度的制定,确定各项目标值。完善各指标统计口径及相关数据来源。公开绩效考核结果,发现与整理整改过程中的新问题,以作为下一个绩效考核管理周期的重点工作。向考核主体发放绩效考核内容,收集各业务系统数据,线上数据完成线上填报。保证各项指标的闭环落地。透过指标数值穿透问题根因,指导医院自评,强化考核过程中的沟通、反馈与申诉。绩效考核计划阶段执行阶段检查阶段整改阶段01020403125工程建设124帆软行业场景建设白皮书图 2-3 三公绩效考核平台指标与管控整理图 2-5 三公绩效考核平台预警推送效果图 2-4 三公绩效考核平台分析展示页面图 2-6 三公绩效考核平台智能化报告分析价值总结1、在绩效考核管理制度的制定中引入 PDCA 循环圈,以保证制度的科学性、合理性。最后,注重员工的反馈,提升绩效考核效能,继而营造全员参与、全员认同的绩效考核氛围。2、改变一年一次的绩效考核机制,采用月度、季度、年度的绩效考核周期,同时兼顾医院长期与短期发展目标,以短期目标实现为最小单位,以年度绩效考核为过渡阶段,形成绩效考核的周期性机制。3、医院可充分利用该平台,将医院信息系统、实验室(检验科)信息系统、影像归档和通信系统、合理用药系统、财务管理集成模块、物资精细化管理系统、办公自动化系统、医院感染管理系统等数据整合贯通,提高绩效管理效率和准确性,更好地为医院绩效管理服务。工程建设ENGINEERING CONSTRUCTION127工程建设126帆软行业场景建设白皮书126帆软行业场景建设白皮书工程建设行业数据应用现状与问题2022 年 1 月,住建部发布的“十四五”建筑业发展规划中,明确了工程建设行业发展的目标,旨在实现建筑工业化、信息化、智能化水平的大幅提升,并推动信息技术与建筑业的深度融合。因此,建筑业发展不仅着重于提升工程建设的效率和质量,同时也应该将信息技术与工程建设结合起来,以推动整个行业向着更加智能化和高效化的方向发展。在数字化蓬勃发展的时代,大部分工程建设企业依旧被传统的粗放式生产管理模式束缚,管理效率低、资源浪费大、导致建设成本高,在Gartner的分析报告中,工程建设领域的数字化仍处于非常早期的阶段,企业不能充分享受数字化红利,反而被传统数据分析处理技术效能降低所影响,甚至给企业带来一系列问题,总结如下:1)数据采集工作量大、数据生产效率低通过 EXCEL 进行各类业务数据统计、报表编制工作,工作量大,数据获取周期长,效率低且容易出错;管理人员的流动造成历史版本数据丢失,分析工作缺乏有效对比,管控工作无从下手。2)数据冗杂、重复,标准化程度低,数据孤岛明显不同的业务系统,科目、客商、核算项目等数据标准不统一,各业务系统间存在数据壁垒,数据质量参差不齐。缺乏明确、统一的数据报表的报表范围、格式、出具频率、数据来源等各项标准,报表重复建设。3)数据分析深度不足,积存数据难以发挥价值部分数据分析指标、数据分析方式不符合工程类企业发展的诉求,导致其在企业运行过程中难以发挥实际价值;需要构建以创效、盈利为核心,联动不同业务管理部门,构建适合企业发展的数据创效指标体系。4)数据应用薄弱,难以满足不断变化的业务需求不同于制造业标准化、流水线的生产方式,工程建设企业生产过程中个性化的需求多,项目专业化、个性化的数据应用需求难以满足,固化流程不适用、个性定制成本高,再加上企业业务需求变化快,导致项目基层管理者数据应用体验差。ENGINEERING CONSTRUCTION帆软注意到了工程建设企业如上所述的诸多数据痛点,在工程建设领域之中与众多客户携手做了许多探索与尝试,共同探索出了许多工程建设数据应用场景的最佳实践。以下为帆软工程建设行业整体数字化建设框架以及典型模块的解决方案。帆软数字建筑事业部基于不同的数据业务平台,从数据层打通各部门间的数据壁垒,建立数据管理制度、整合数据指标资源,形成集团层面的数据资产库;从应用层关联业务管理逻辑,形成场景化的业务应用,以综合展示平台呈现各职能日常决策场景,实现“横向到边、纵向到底”数据监管;在展示层建立贯穿各层级的战略视图,以数据辅助战略决策。最终帮助企业实现管理数字化、业务数字化、战略数字化,从根源上解决企业的数字化转型问题。应用展现数据层业务平台应用层数据大屏驾驶舱战略监控管理支撑业务运营高管职能管理业务板块项目一线报表中心决策类绩效类运营类公示上报类自助分析自助数据集数据分析共享故事仪表盘 数据集市(业务包)战略数字化战略决策商业战略职能战略战略管控战略协同三重一大重大事项市场经营市场开发技质安环体系建设(技术、质量)控制管理(风险、QC)监督检查(问题、事故)改进管理(评审、通报)投标管理人力资源招聘培训合同管理强决策合同审核合同签订履约管理合同监督结项管理法务管理薪级薪档证照管理人效管理财务管理发票管理收入管理应收应付费用管理科研管理科研项目知识产权科研投入科研成果客户信息投标资源商务合约数据归集数据资产数据服务智能服务大数据服务实时数据同步数据存储数据转换数据加载风险预警RPA智能推送数据计算数据服务内部经营 外部市场动态与时俱进,定时更新迭代提运营快速相应,动态掌握业务情况设置监管因素,及时监测风险促管理整合管理数据,强化精益管理减少重复工作,深化洞察分析独立门户单点登录接口服务统一权限数据建模BI服务交互分析离线数据同步定时任务调度合同管理策划管理产值管理收入管理成本管理风险管理供应商管理签证索赔生产管理进度管理物资管理设备管理智慧工地计划管理质量管理分包劳务安全管理重大项目重大干部大额资金业务数字化管理数字化数据平台实时数据处理BIM平台合同管理系统科研管理系统计划预算系统财务管理系统人力资源系统数据仓库数据模型数据指标主题数据域数字化价值落地系统支撑用户团队管理团队开发团队运维团队组织支撑图 1 企业数字化总体框架解决方案关键业务场景129工程建设128帆软行业场景建设白皮书业务场景一:营销管理解决方案SCENE ONE问题背景随着工程建设行业的管理水平的提升,市场项目承接难度水涨船高,条件变得更加严格。市场营销部门普遍面临着以下难题:市场投标过程中,缺乏对竞争对手和客户等外部信息的获取与管理,导致投标策略缺乏历史信息参考。企业营销关键过程“标前、标中、标后”的管理不规范。市场业务人员查找投标所需的关键材料如证书、业绩、奖项资质等困难,获取效率低且无法保证全面性。缺乏对整个项目进行阶段性监控和关键环节分析,导致问题无法及时预警和暴露。同时,营销实战经验难以积累和复用。解决思路图 2 营销管理数字化解决方案框架营销决策分析项目营销漏斗项目跟踪分析标前标中分析标后复盘分析投标保证金闭环营销成果分析功能模块看板/分析营销流程管理投标业绩库支撑提效跟踪管理个人工作台项目信息维护企业情况分析企业资质一级建造师招标备案CA锁企业获奖优质工程优秀项日经理项目开标情况项目中标情况项日竣工情况业绩汇总分析项目跟踪记录项目放弃登记标中管理招标文件评审保证金/费用申请标书评审与投标标后管理投标结果与原因分析中标通知书上传投标保证金退还标前管理投标准备竞争对手参与情况现场调查资格预审外部市场环境客户资源客户资源与市场占有分析信息收集表竞争对手竞争对比分析对手信息库对手画像信息收集表合作伙伴信息收集表资源管理表客户信息库客户拜访记录客户画像项目资源竞争联营获奖情况分析项目情况分析结构特点社会特点工程类型从整个营销业务流程出发,拆解分为外部市场环境应用、营销流程管理应用、投标业绩库应用、市场决策分析应用四个方面。通过外部市场环境应用,收集竞争对手、客户信息,并进行分析,帮助业务人员更深入地了解市场环境,制定更有针对性的投标策略,增加中标率。通过营销流程管理应用对营销关键过程 标前、标中、标后 的规范化管理,实现项目投标和执行全过程的高效、有序和优质管理。图 4 营销流程管理图 3 客户资源与市场占有分析与客户画像营销流程管理-跟踪管理标前管理数据流程报表管理正在跟进的市场项目,择优跟进,定期进行项目跟踪复盘,以免延误商机项目跟踪记录主动放弃记录其他信息工程信息项目信息营销流程管理-标前管理标前管理数据流程报表招标信息录入风险识别招标要求录入问题项目放弃项目调查资格预审投标准备调查任务申请调查执行记录竞争对手绑定竞争对手识别投标资源录入投标资源营销流程管理-标中管理标中管理数据流程报表策划分工投标启动会会议记录任务建立现场信息录入会议记录投标信息录入评标结果反馈标书过程检查会招标文件评审标书评审现场勘查澄清答疑商务标策划技术标策划项目经理选用营销流程管理-标后管理标后管理数据流程报表投标复盘投标结果录入失标原因录入合同文件评审合同交底保证金回收录入投标保证金退还131工程建设130帆软行业场景建设白皮书通过投标业绩库应用,帮助企业更好地整合资源、提高投标标书准备的效率,解决营销资源互通效率低的问题。图 5 投标业绩库市场决策分析应用,可以帮助企业领导加强对市场战略执行情况、项目跟进过程情况、部门业绩目标完成情况等关键业务内容的管控,结合数据的反馈定期监管,保证目标有效达成。图 6 营销决策分析部分驾驶舱展示业务场景二:工程管理解决方案SCENE TWO问题背景国内大部分工程建设企业普遍在该业务模块面临的问题,总结如下:项目进度难把控:企业缺乏工程进度的有效的监管方式,大部分项目进度统计不及时,导致信息反馈较为滞后,在过程之间,管理层无法及时的获取项目的形象进度与产值进度完成情况,无法进行有效的监管。风险管控不到位:一些企业在工程风险管控方面不够重视,对潜在风险缺乏及时预警和应对措施,可能造成项目的损失。图 7 产值进度管理闭环通过数据分析平台实时反馈项目的进度数据,进行实际产值和计划之间的对比,及时发现产值数据问题,并对异常的项目进行下钻,定位问题项目,为管理人员提供进度问题的管理抓手,从而实现项目进度管理水平的提升。解决思路进度管理133工程建设132帆软行业场景建设白皮书通过数据分析平台实时反馈项目的进度数据,进行实际产值和计划之间的对比,及时发现产值数据问题,并对异常的项目进行下钻,定位问题项目,为管理人员提供进度问题的管理抓手,从而实现项目进度管理水平的提升。从实际业务管理需求出发,形成集团统一的风控标准,下级单位对风险信息逐级上报、汇总,上级单位对风险化解情况进行监控,实现风险前置预警以及风险发生后的闭环管理。风险管控管理图 8 风险管控框架图 9 风险监控与风险分析驾驶舱风险信息报送、化解情况报送汇总审核、确认上报风险项目监控、风险事项督办下发风险管理制度、重大风险项目监控项目部填报业务风险信息明确项目风险等级设置风险化解目标风险化解情况填报分/子公司审核项目风险数据汇总公司风险情况监督项目风险化解上报风险化解情况集团公司明确风险管控指标设置风险管理等级分析集团风险情况督办重大风险项目风险信息上报汇总风险化解情况监控项目风险明细信息项目风险化解目标项目风险化解详情风险项目汇总清单三大风险项目清单集团风险化解汇总业务场景三:物资管理解决方案SCENE THREE问题背景目前大部分企业的管理方式和管理颗粒度难以满足物资精细化管理的需求,普遍存在着以下问题:物资计划管理薄弱,影响生产进度或成本控制现场物资管理牵涉角色众多,内外部协同难度高实物管理颗粒度较粗,无法掌握真实消耗进度物资分析反馈响应慢,过程纠偏动作切入难解决思路该模块方案分为计划管理、现场管理两个关键模块,其中现场管理包含物资的进退场、库存盘点、废旧物资鉴定等模块:应用计划管理模块,可进行物资计划管理,结合进度计划,实现生产、物资、成本等部门的协同配合,助力资金合理使用和调配,为后续工作提供明确目标导向。图 10 物资管理业务架构制度计划保障需用计划登记送检免检验收耗材物资周转物资临设材料甲供物资(月)设备租赁采购计划集中采购自采物资周转材租赁临设材料采购设备租赁物设进场物设退场使用管理现场管理公司层面物资制度项目内部制度交底外部单位责任备案人车进门申请和物资进场登记待检暂存合格验收不合格退货暂存入库出库废弃仓储模块(耗材、周转、临设)数据分析-物账校对:账面库存=累计入库-累计出库实物库存=盘点记录盘点计划盘点记录盘盈盘亏报告收发存分析实物库存管理*账面库存=实际库存是仓储管理追求的目标,但实际情况中往往由于信息的滞后性和操作的不规范导致两者存在一定差异*当账面库存实物库存时,可以通过报废申请冲抵当期丢失或无记录的物资分包自带物资临设材料特殊物资管理领料申请领退料管理退场登记成本自动汇集成本摊销方式确认成本产生口径拉通数据分析-实际消耗:实际消耗口径=领料-退料指定损耗率消耗物资管理*当劳务单位实现即用即领即用时即可汇总出与工程进度相匹配实际成本*当劳务单位同时登记物资去向时,即可实现真实的、精细化的物资成本分析与管理领用退还申请设备使用管理跨项目调拨项目内调拨退料申请自采物资退货*个性化差异大,建议定制自采物资调出甲供物资退货周转物资退还临设材料回收设备租赁退还使用费申请物资调拨管理检音整改基础数据工程项目信息客户基本信息供应商基本信息物资基本信息库设备基本信息库成本费用方向 仓储状态信息135工程建设134帆软行业场景建设白皮书图 11 计划管理总需用计划月需用计划月集采计划月非集采计划合同备案安排进场生产部门牵头,物资部门、技术部门协同根据项目的生产目标制定,重点关注物资的使用量,根据不同类型物资设置不同的颗粒度无需流程生产部门根据项目的月生产目标和实际生产进度制定下月需用计划,一般要求提前15-30天制度完成可参考总需用计划,但不受限,无需流程物资部门根据月需用计划和公司集采要求进行制定项目发起集采申请事标注品类、量、价,公司级判断可行性并确认供应商物资部门根据月需用计划制定,项目自行采购集采之外的物资非集采计划需要审批流程物资部门与供应商签订合同后进行结果备案合同审批和询价属于商务行为,不放在物资云中作为管理重点流程仅做行为控制用物资部门牵头,技术部门协同进场保持相对独立的同时,可与前置业务进行串联与合同不做强制关联,商务行为不做管理重点记录形式,无流程控制图 12 物资出入库记录表图 13 使用管理领料/退料申请进退场管理板块结合移动端实现物资现场管理信息便捷、实时的录入,保障了物资进场验收、检验批、库存管理、领用管理、物资盘点管理等关键业务的高效进行,还可以通过对不同模块的数据分析来进行物资消耗、应用情况的精细化管控,此外,相关数据还能迅速上传至数据管理平台,实现信息的集中管理与共享。业务场景四:商务管理解决方案SCENE FOUR问题背景目前企业所面临的商务管理管理问题从商务管控的实际环节出发主要分为以下四个方面:收入支出控制难:商务策划创效差:变更索赔收益低:工程结算偏差大:合同监管不到位;成本管理不精细;经济风险未识别。内容不规范;执行不透明;经验不共享。费用索赔失败率高;反索赔风险防范少;索赔成效未分析。过程数据未监管;结果数据未分析;结算数据错漏多。图 14 商务管理分析指标框架解决思路-组织信息项目信息客户信息供应灰商信息业务标准外部系统收入成本分析数据接口主数据标准产值报量过程结算竣工结算清单库功能分包合同结算物资合同结算设备合同结算其他合同结算支出合同结算合同分析结算分析变更分析成本分析利润分析现金流分析分析看板变更签证/索赔主合同变更/签证/索赔/罚款变更签证/索赔支出合同变更/签证/索赔/罚款总目标成本制定月目标成本制定目标成本实际成本核算成本核算主合同审批主合同信息主合同结算财务系统 收款登记付款登记收支登记支出合同信息图例-填报与导入-主合同清单分包合同清单物资合同清单设备合同清单其他合同清单支出合同审批137工程建设136帆软行业场景建设白皮书策划管理:构建策划案例库,实现优质策划共享;量化商务策划以及变更索赔创效金额。结算管理:过程结算数据自动汇总、自动校验;结合多业务条线数据实现智能预警;多维度数据分析展示结算影响因素。针对目前行业中各企业的商务管理的业务分析需求,从商务管理的分析指标框架出发,拆解得到四个板块:劳务分包费全口径成本自动归集频度:月成本口径来源于现场劳务分包预提电子单据安全生产费频度:月材料、安全分包、其他投入成本口径材料自动计算 分包自动计算 其他投入安环部填写环境保护费频度:月材料、环保分包、其他投入成本口径材料自动计算 分包自动计算 其他投入安环部填写临设费频度:月材料、临设分包、其他投入成本口径材料自动计算 分包自动计算 其他投入安环部填写管理费频度:月成本口径财务系统每月计算相关费用水电费频度:月成本口径财务系统每月计算相关费用专业分包费频度:月成本口径来源于现场专业分包预提电子单据劳务分包费频度:月成本口径来源于现场劳务分包预提电子单据废旧物资处置费成本口径根据处置申请单结果计算,扣减成本机械费频度:月大型机械、零星机械、泵车成本口径每月系统计算机械租赁费用、再加上泵车结算单数据周转租赁费频度:月租赁采购类材料成本口径每月系统计算租赁费用周转辅材费频度:月五金杂品、木方、模板成本口径每月盘库后,系统计算出当月现场所有材料使用量主要材料费频度:月钢筋、商硷、砚体、砂浆、水泥、石子、砂子成本口径每月盘库后,系统计算出当月现场所有材料消耗量图 15 成本管理成本管理:成本目标拆解,明确管理责任;成本动态管理,实时分析成本偏差;识别成本风险,构建成本预警机制;提供全流程全口径的成本自动归集功能,极大的减轻了业务人员的工作量,提高了成本统计效率,保证了数据的准确性与及时性。合约管理:构建标准化的合同签订、审核机制;对合同履约情况进行全过程监控;合同条款明细的可视化展现及分析。图 16 财务管理建设指标框架业务场景五:财务管理解决方案SCENE FIVE问题背景工程建设企业的财务管理普遍存在问题,总结如下:行业财务管理壁垒高导致集团总部对工程的财务管控乏力,对财务状况、风险信息把握滞后。不同单位、不同项目的财务管理水平参差不齐。财务内控流程不完善导致数据质量差,简单的数据多处填报、重复提供,统计口径不一致。业财风险协同性差导致业务数据与财务数据割裂,业务不配合,数据对不上的情况频发。业务管控过程中缺乏财务参与,导致风险预警机制不健全。财务历史数据沉积多导致工程项目沉积的坏账多,各类保证金的回收由于人员流动难以找到对应责任人。解决思路139工程建设138帆软行业场景建设白皮书针对目前行业中各企业的财务管理的业务分析需求,从财务管理建设的指标框架出发,拆解得到如下方向:财务职能的横向贯通,实现与生产管理的数据协同,按照财务职能运营要求,对财务职能板块的财务数据梳理,实现全链条、全业务、全体系的财务职能运营的全面管理。结合业务数据分析企业资产、利润、现金流等财务指标的变化趋势来实现业财一体的职能运营。结合多维度的财务和业务数据指标,构建盈利能力、营运能力、增长能力、偿债能力的分析模型,实现全方位的财务分析,降低了财务分析难度,提高企业抗风险能力,为管理层进行战略决策提供了数据支撑。风险管控融入到业务管控流程过程中,通过财务指标的阈值限制,实现精确、细致的风险预警。图 18 财务能力分析驾驶舱展示图 17 职能运营指标分析驾驶舱展示利润管理资金管理税务管理费用预算业务场景六:人资管理解决方案SCENE SIX问题背景人力资源管理是项目生产活动的重要基础和支撑,必不可少要从核心维度进行人力资源的精细化管理分析,逐步解决以往管理模式带来的种种问题:人资管理机制不健全,缺乏数据分析统计,企业整体人员管理不到位。缺乏标准化的绩效奖惩机制和团队薪资分配管理,导致业绩核算配出现争议,部分薪资分配不合理。缺乏对建造师以及相关人员证书的统计分析,无法及时提供相关信息给需求部门。缺乏人才调配分析,影响项目进度,人才建设不全面,缺乏人才履历分析。人员提升人员结构基本信息能力分析招聘分析离职分析流动分析薪资绩效证书管理人均产值人均利润培训次数培训类型党员人数活动次数重大新闻平均工资人效分析培训情况党群建设人员薪酬绩效流程绩效得分人数年龄学历性别应聘数招聘数入职数入职率岗位人员变动率招聘完成率离职人数离职率司龄学历职称职级工龄一级建造师二级建造师三级建造师持证项目经理证书数量证书到期时间人员履历分析建筑企业人资管理指标体系图 19 企业人资管理指标体系解决思路141工程建设140帆软行业场景建设白皮书人员管理板块:通过统计企业人员关键指标,包括岗位任务、职称人数等数据,并结合平均工资量化经营成本;分析人均产值、人均营收等数据,评估人均效能是否达标。实施人才入离职管控,钻取入职、离职详情,聚焦公司二级单位和关键岗位。同时,监控项目现场人员参与数量,及时进行人员补充,助力人力资源部门有效管理人才流动。结合人资管理结、薪、证、履这四个维度,进行关键分析模块的核心指标定位,构建人资管理整体分析指标模型:图 20 人资管理驾驶舱展示薪资管理板块:结合企业整体薪资发放情况,从时间维度、类型维度、发放人数等多维度进行统计分析,进行薪酬福利发放的原因分析,帮助企业进行精细化成本管理与运营。图 21 薪资管理驾驶舱展示证书管理板块:针对企业建造师证书等级、持证项目经理等关键人才数量,做占比分析,并且下钻可以关联到人员明细,来进行企业关键建造人才统计,方便对整体人才数量的把控,以及市场业务需求的支持与响应;结合建造师证书的数量,做到期时间监控分析,方便企业维护关键证书数量,一定程度维持施工资质水平。履历管理板块:结合不同业务岗位关键人才数量的统计,实时反馈现阶段岗位人员数量的情况,结合关键人才基本信息以及项目履历、持证情况、获奖情况以及岗位履历等情况,形成人才画像,全方位展示人才的能力,帮助单位更快速地进行不同类型、不同序列的人才选任,提供优秀的人才储备结合人才的项目履历及项目成果,帮助企业综合评估人才的专业程度以及对公司的贡献。图 22 证书管理部分驾驶舱展示图 23 履历管理分析展示143工程建设142帆软行业场景建设白皮书客户案例行业典型以上为工程建设行业重点合作客户,介绍部分客户典型案例如本小节内容。图 24 帆软工程建设领域合作客户深耕行业多年,覆盖工程施工、勘察设计、装饰装修等主要领域。工程领域合作客户场景一:中建三局三公司物资管理分析平台SCENE ONE中建三局三公司的物资管理目前存在:工作量大、效率低,一线人员需填写大量线下 Excel 报表、按上级单位要求梳理、计算各类物资指标,重复工作多;物资管理精细化程度不足,难以满足总部高要求,缺乏细化分析;集团层对各单位物资管理难监控,缺乏统一评价标准和数据分析维度。这三个主要问题,导致集团物资管理工作效率低下,成本管控不足,业务问题发现滞后,集团层难以有效监控和指导各单位的物资管理工作。为满足集团物资管理需求,帆软数字建筑事业部通过物资管理数据报表的线上化,实现复杂管理指标的自动计算、自动汇总,降低数据工作量,同时通过不同维度的物资数据汇总分析,实现多维度的、精细化的物资管理分析模式,并实现对物资管理数据的层层穿透,让公司总部对下级单位实现全面监控。通过数据发现物资管理问题,采用数据采集-数据处理、数据分析-数据展示的处理流程,从物资采购、物资消耗、物资成本、废旧物资四个方面搭建物资管理分析驾驶舱,实现集团层的统一管理。图 25 中建三局三公司物资管理解决方案解决思路物资管理数据汇总物资督办事项监控成本精细化指标填报、材料结算支付数据填报汇总审核、确认上报,完成情况反馈监控物资管理数据的填报设置物资管理标准、下发督办事项清单项目部数据填报数据汇总经理部/分公司数据汇总/查询数据分析集团公司数据维护标准统一项目基本信息维护成本管理明细物资消耗管理材料结算支付台账物资督办反馈成本精细化指标145工程建设144帆软行业场景建设白皮书图 26 中建三局三公司物资管理解决方案技术架构图 27 中建三局三公司物资管理分析界面数据采集系统公用组件整合分析物资采购分析物资消耗分析物资成本分析废旧物资分析成本精细化指标数据处理、数据分析内部数据数据展示数据管理报表自助BI分析可视化驾驶舱数据质量管理数据仓库物资采购信息物资消耗信息oDs(操作数据存储)EDW(数据仓库数据集市关系型数据库多维数据库物资成本信息外部信息材料价格用户权限单点登录页面集成图表引擎供应商信息其他外部信息线下数据填报数据抽取数据转换专业软件门户移动设备等形式发布数据加载场景二:中国十七冶数字化管控中心建设案例SCENE TWO为推进中国十七冶数字化建设进程,帆软数字建筑事业部基于十七冶系统建设现状,对标准化数据指标进行沉淀与整合,构建集团层面的数据资产库和可视化业务场景构建,实现多维度图表对数据处理和关键管理指标提炼,打造数字化管控大屏,并通过高效化数据上报通道,实现与中冶集团数字赋能中心的“中心对中心”数据通路,满足核心数据指标上报的要求。中国十七冶作为中冶集团第一批 14 家试点子企业之一,在总部开展“数字十七冶”建设宣贯培训,加快推进“数字十七冶”建设,提升建设落地应用效果,支撑公司高质量发展和提升管理效能,提升全员数字素养。但集团目前还存在着如数据标准化程度低、数据孤岛明显;数据应用不足,缺乏动态化、智能化;数据传输通道闭塞,数据采集工作开展困难等影响数字化建设进程的问题。图 28“数字十七冶”建设规划“数字十七冶”建设规划是:2022年实现项目层级 管理层级数字化,2023年实现业财一体化,2024年实现项企体化,2025年实现数字化、智能化的管控体系。实现数字化、智能化管控体系03实施业财一体化、项企一体化02立标准、搭平台,完成项目层级数字化 管理层级数字化01第三步:2025年-第二步:2023-2024年第一步:2022年$图 29 中国十七冶数字化建设解决思路与技术架构通过与已有业务管理系统的数据贯通,构建集团统一的数据仓库和数据资产沉淀,初步统一企业数据标准。关联业务逻辑,以数据大屏形式实现集团对项目部的远程监控和调度,使用直观图表支撑业务决策。搭建中心对中心的数据上报通道,实现数据管控的“横向到边、纵向到底”模式,使项目各业务管理数据在集团内部快捷高效共享。从而实现集团业务的标准化、可视化、高效化管理。保障源数据数据处理场景展示数据应用主题式数据仓库数据规范定义内部数据外部信息ETL中冶集团上报主题数据质量权责ETL开发规范项目管理系统工程指标安全质量指标人力指标环保指标企业战略主题DW(面向主题模型,明细,历史归档)DM-R(面向应用按需建模)DIM-KPI(面向业务指标,轻度汇总,维度模型)DIM(基础分类缓慢变化)经营管理企业战略远程调度业主资信情况外部市场信息其他外部信息智慧工地系统财务共享系统OA办公系统线下数据填报数据抽取数据加载载据转换组织人事项目管理财务管理成本管理综合管理财务管理资本运营结算管理风险合规企业监管主题工程项目投资项目项目信息投资总额生产信息投资进展商务信息运营回款财务信息投资拉动项目运营主题数据管理报表自助BI分析可视化驾驶舱数据管理数据服务&应用数据包Spider引擎数据大屏驾驶舱报表中心自助分析零代码需求管理多维模型抽取 实时数据应用数据资源数据标准数据质量数据安全147工程建设146帆软行业场景建设白皮书场景三:中铁建工集团数据建设项目SCENE THREE图 30 中铁建工数据应用系统建设思路由于整个中铁股份进行部门之间的横向连接,以及各子单位的纵向贯通,涉及的业务类型、数据标准、报表规则繁多,所以迫切需要一个高效数据采集、存储、处理、利用完整的数据应用体系。帆软数字建筑事业部结合各管理层级不同的业务特性,通过优化数据指标体系、规范数据传输流程和形成统一的数据填报口径,实现数据提效应用,保障数据质量和上报效率,并基于数据指标体系和企业管理经验的沉淀,逐步形成企业的数据资产体系,实现产业数字化转型,从而驱动业务增长和潜力挖掘。通过建立统一的数据共享平台、依托企业智库应用,并结合业务管理逻辑,形成多样化的数据可视化展示平台,实现业务风险监督,充分发挥数据价值。同时,打通工程施工、房地产、设计咨询三大主业的上下游产业链,使营销能够降低销售成本、提高品牌认知度、扩大销售额与市场占有率。这些措施共同推动企业实现数字产业贯通,实现更高效的数据驱动业务运营,增强企业的市场竞争力和可持续发展能力。数据采集数据应用生产沉淀积累连通数据提效应用结合各管理层级不同的业务特性,优化数据指标体系,规范数据传输流程形成统一的数据填报口径,保障数据质量和上报效率数据共享平台建立统一的数据共享平台,依托企业智库应用,结合业务管理逻辑,形成多样化的数据可视化展示平台,实现业务风险监督充分发挥数据价值企业数据资产基于数据指标体系和企业管理经验的沉淀,逐步形成企业的数据资产体系,实现产业数字化转型,有数据驱动业务增长和潜力挖掘。数字产业贯通打通工程施工、房地产、设计咨询三大主业的上下游产业链,在营销上能够降低销售成本、提高品牌认知度、扩大销售额与市场占有率。图 31 中铁建工业务规划蓝图图 32 中铁建工数据应用架构图 33a 中铁建工企业指挥驾驶舱展示决策分析体系带来的数据规范可以影响和带动数据标准化等全方面的管理提升,改变了原决策分析系统自动化程度不高,员工手工处理工作量大的情况,形成纵横向、全面的多场景、多层级数据分析体系,序时、高效、精准地服务于管理层决策。推动决策分析工作向数字化、智能化发展。帮助企业真正实现“标准化、精细化”管理。数据展示应用优秀案例、管理经验共享数据资产应用案例汇总数据传递内控管理(PC端、移动端同步建设)数据中间层底层数据填报线下报表数据数据清洗经营管理投资管理财务管理经济管理工程管理其他市场营销分析人力资源分配工程管理分析市场策略模型指标管理表业务审批表数据收集表数据查询表1个独立的数据仓库1套统一的分析口径1个独立的数据门户1套标准的管理流程指标下发表汇总确认表汇总审批表数据维护表人员能力模型经济运行模型可视化分析(PC端建设)集团参观展示大屏智慧工地项目大屏数据管理标准化指标体系线上化外部展示领导视察生产调度中心数据指挥中心经营要素中心风险预转中心财务管控中心.数据生产应用标准化建设业务反馈指标体系材料价格库人力资源表企业定额库商务策划库工程技术库投标业绩库.共方资源库企业智库决策平台数据指标定义填报口径统一构建指标体系制定应用规则数据应用成果沉淀目标监控资源检索问题追溯风险监控集团二级单位三级单位项目层原材料数据建设生产线数据决策类价值类提效类战略指标报表线上化系统数据对接资源盘点非结构化数据资源标签化原型设计工具开发会议看板移动看板管理层业务骨干业务执行者风险预警风险识别资源库数据沙盘触发调度用户权限问题维度梳理数据分层风险多数输入风控模型穿透设计规划设计数询据准备技术建设应用载体系统数据线下报表外部数据物联网数据BIM数据需求市场需求业务需求管理需求数据整合工程建设板块数据应用架构图勘察设计板块数据应用架构留房地产板块数据应用架构图其他业务板块数据应用架构图148帆软行业场景建设白皮书总结SCENE THREE在工程建设行业中,数据分析发挥着关键作用,并为行业带来了多方面的定论。目前,数据分析在工程建设行业得到广泛应用。通过收集、整理和分析项目相关的大量数据,企业能够实现更精确的项目管理、资源优化和风险控制。同时在营销管理、工程管理、财务管理、质量管理、物资管理等方面发挥着关键作用,帮助企业提高效率、降低成本,并加强决策的科学性和准确性。尽管数据分析在工程建设行业取得显著进展,但目前优质的数据分析应用平台在行业内的应用较少、覆盖面窄,数据分析系统也需要不断创新和完善,以实现更大的潜力和价值。面对这些困难与挑战,帆软数字建筑事业部会在更新完善现有解决方案的基础上对更多的业务场景进行解决方案的创新与拓展,持续在工程建设行业深耕。向着推动工程建设行业数字化时代来临的方向持续前进。图 33b 中铁建工企业指挥驾驶舱展示*数据来源:财富中国企业 500 强-2022中国企业联合会-中国制造业 500 强-2021中国企业联合会-中国服务业 500 强-2021中国电子信息产业联合会-中国软件企业百强-2020中国电子信息产业联合会-信息系统集成及服务一级资质名单-2018*帆软客户关系管理系统-统计截止 2021.08帆软合作客户概览CUSTOMER OVERVIEW帆软客户总数已突破 26000 家,中信银行、国家电网、兴业证券、天弘基金、58 同城、绿城集团、上海医药、吉利汽车、泰尔重工、顺丰速运、厦门航空,统一星巴克、蒙牛乳业、TCL、新华书店、德勤咨询、北京大学、中铁建工、云天化集团、中国铁路、国家税务局、新希望集团,复星集团等都是帆软的合作客户。财富中国企业 500 强,帆软合作 359 家。359家中企联中国制造业 500 强,帆软合作 245 家。家245家中企联中国服务业 500 强,帆软合作 186 家。186家中国一级系统集成商 275 家,151 家与帆软合作。151家中国软件企业 100 强,69 家选择帆软。69帆软深耕各个行业,帆软客户几乎已经覆盖国家统计标准(GBT4754-2017)所涉及的细分行业。罗湖区政府|空军装备研究院系统所|许继集团|中国太平洋保险(集团)股份有限公司宁波银行股份有限公司|渤海银行股份有限公司|民生人寿保险上海国资信创湖南大学|中山大学|中南大学中国飞行试验研究院|中国电力科学研究院中国人寿|中信银行|平安银行|招商银行交通银行|长江证券|国信证券|广发证券金融行业京东方|惠科|华星光电|兆易创新|富士康立讯精密|歌尔股份|华润微电子|长江存储北汽集团|比亚迪|理想汽车|上汽大通中国重汽|一汽集团|奇瑞汽车|江淮集团汽车制造上海宝钢|安阳钢铁|中国石油|中国石化新疆天业|胜利油田|浙江传化|浙江恒逸东南旅行社|锦江国际|乌镇旅游股份北京首旅集团|眉州东坡|统一星巴克休闲娱乐国家大剧院|江苏省财政厅|山东省公安厅湖北省审计厅|公安部信访局|湖南住建厅万达集团|绿城集团|新城控股|景瑞地产中南地产|大华集团|上海建工|中梁地产 地产行业中国电信|中国联通|中国移动|东方通信 大唐电信|华为|三维通信|UT 斯达康三一重机|徐工集团|金彭集团|中联重科山河智能|新兴铸管|潍柴动力|郑煤机机械设备中储粮|牧原集团|瓮福集团|天合光能禾丰牧业|安佑生物|双胞胎集团洋河酒厂|光明乳业|蒙牛乳业|燕塘乳业格力电器|晨光文具|新飞电器|才子服饰日常消费58 同城|东方融资网|同程旅游|视觉中国畅游科技|凹凸租车|到喜啦|杭州铜板街国药控股|上药控股|华润医药|江苏恒瑞迈瑞医疗|联影医疗|乐普医疗|科兴生物医药行业上海宝钢|安阳钢铁|中国石油|中国石化新疆天业|胜利油田|浙江传化|浙江恒逸中外运|天津港|上海港|中铁快运|中国邮政广州地铁|中国铁路|顺丰速运|卡行天下交通运输长久实业|卧龙控股|新疆广汇|松雷集团兴合集团|精工集团|华邦控股|复星集团永银文化|星美控股|中视金桥国际传媒上海电影股份|杭州日报报业集团文化传媒永辉集团|欧亚集团|卜蜂莲花|大连大商王府井百货|中百集团|新华书店|兴隆商业HROne|株式会社 JCBC|外企德科德勤华永会计师事务所|广州翔蓝企业管理服务咨询教育科研 电子电路石油化工政府组织电信通信环境农业互联网石油化工多元化集团零售贸易各行业客户概览PRODUCT SYSTEM
可观测性成熟度模型1可观测性成熟度模型2版权声明版权声明本白皮书版权属于稳定性保障实验室,北京爱分析科技有限公司,龙蜥社区,国网上海电力信通公司,杭州乘云数字技术有限公司,并受法律保护,转载,摘编或利.
在网计算(NACA)技术白皮书(2023 年)1在网计算(NACA)技术白皮书(2023 年)中移智库中国移动研究院2023 年 8 月在网计算(NACA)技术白皮书(2023 年)发布单位:发布单位:中移智库编编制制单位单位:中国移动研究院、华为技术有限公司、清华大学、北京大学、北京邮电大学、香港科技大学(广州)、中国科学技术大学、新华三技术有限公司、博通公司、英特尔(中国)有限公司、中兴通讯股份有限公司、苏州盛科通信股份有限公司编制人员编制人员:陆璐、孙滔、李志强、刘鹏、姚柯翰、徐世萍、牟彦、刘畅、王巧灵、厉益舟、张翠敏、吴文斐、刘斌、潘恬、徐文佺、DirkKutscher、徐宏力、王伟锋、陈艳庆、张玺、李和松、王力在网计算(NACA)技术白皮书(2023 年)人工智能和大数据等新兴科技产业正深刻影响我国经济社会发展,推动各行各业数字化转型升级。大数据处理、高性能计算以及人工智能大模型背后需要庞大的算力资源,对算力的高效稳定供给提出挑战。为推动国家新基建战略的落实和“东数西算”工程走向纵深,中国移动充分发挥中央企业“网络强国、数字中国、智慧社会”主力军作用,系统打造以 5G、算力网络、智慧中台为重点的新型信息基础设施,创新构建“连接 算力 能力”新型信息服务体系。2021 年,中国移动发布算力网络白皮书1,制定了算力网络总体发展策略,明确了核心理念、场景展望、发展路径以及技术体系,提出了“泛在协同”、“融合统一”和“一体共生”的三个发展阶段,随后发布算力网络技术白皮书2及算网一体网络架构及技术体系展望白皮书3,持续打造算力网络技术体系,推动算力网络原创技术攻关,助力我国数字经济的健康发展。在网计算是算网一体原创技术体系中的核心技术之一。面向大规模高算力需求的分布式应用,在网计算使用网络设备进行近数据计算,可以在高速转发过程完成应用数据处理,同时缩短数据传输路径,是解决分布式应用通信瓶颈问题的重要技术。在网计算是计算、网络双学科交叉融合的创新方向,赋能通用计算、智能计算以及超算等多样化业务场景,最大化提升业务计算服务能力,为用户提供高效、安全、可靠的算力增强服务,助推算力网络走向纵深,以及数字中国、东数西算等国家战略的实施。在网计算(NACA)技术白皮书(2023 年)本白皮书详细描述了在网计算产生的背景及需求以及典型应用场景,通过总结现有技术存在的问题,提出在网计算新架构,分析关键技术和挑战,并对在网计算未来发展提出倡议。本白皮书的版权归中国移动所有,未经授权,任何单位或个人不得复制或拷贝本白皮书之部分或全部内容。在网计算(NACA)技术白皮书(2023 年)1目目 录录.1 背景和需求.22 应用场景.42.1 在网计算赋能先进计算中心.42.2 在网计算加速边缘万物智联.63 在网计算(NACA)技术架构.93.1 概念与架构.93.2 NACA 核心特征.113.3 功能视图.154 关键技术及挑战.184.1 计算语义映射.184.2 计算正确性保障.194.3 计算程序网内编排.194.4 网内资源池化.205 推进展望.23参考文献.24缩略语列表.25在网计算(NACA)技术白皮书(2023 年)21 1 背景和需求背景和需求高性能计算(HPC)和人工智能(AI)等技术的发展正不断推动生物医药、航空航天、地质勘探等领域取得重大突破,随之也带来了不断激增的计算量,必须通过大规模集群算力才能充分发挥优势。例如,ChatGPT模型参数总量已经达到千亿级别,高性能计算也已经迈向百亿亿级计算时代。同时,5G、工业互联网等新技术的应用正推动现代网络向万物智联不断演进,推动生产力迈向新台阶。大规模传感器、智能终端产生的海量数据需要高效、实时、便捷、稳定地进行处理,也需要大量泛在算力的支持。在这样的需求下,分布式应用的系统性能提升却面临以下两点挑战:算力能力方面,算力能力方面,随着摩尔定律逐渐失效,单一节点算力增长速度逐渐放缓,已无法满足不同应用场景的性能诉求。多元化的算力承载和以业务为中心的融合方案是演进的必然趋势。必须以融合的视角重新审视计算体系结构和网络体系架构,对CPU/GPU/ASIC/FPGA/NPU等各种计算资源进行整合。分布式系统内部通信方面分布式系统内部通信方面,随着系统规模的不断扩大,计算节点数量已经达到数万甚至数十万,计算节点间的通信量不断增加,且通信模式更加复杂,为分布式系统设计带来巨大挑战。高性能分布式数据处理对实时性、可靠性、安全性、一致性等提出更高要求,通信已经成为成为瓶颈问题,主要来源于以下三点。一一是是网络负载均衡策略无法适应智能计算、HPC等场景下差异化流量模式;二是二是大规模分布式系统接收端面临的incast多打一问题,造成任务完成时间过长;三是三是分布式应用中普遍存在的一对多、多对一、多对多的逻辑通信模式与物理网络中点到点的通信实现不匹配,网络中存在大量冗余信息,影响系统性能。在网计算使用网络设备进行近数据计算,可以在线速处理的同时完成流量压缩,同时缩短数据传输路径,很大程度上解决了上述痛点问题。目前,在网计算技术在智能计算及超算领域已有部分研究成果和产业应用。例如基于在网计算实现分布式机器学习模型训练加速4以及基于Infiniband技术提出的Sharp技术5可以加速HPC等大规模计算密集型任务。但是在网计算当前仍面临应用场景竖井式、协议实现封闭化、编程范式不友好等挑战。基于以上考量,本白皮书提出了在网计算新架构NACA(NetworkAssisted Computing Acceleration),系统化推进在网计算设计和实现。在网计算在网计算(NACA)技术白皮书(2023 年)3NACA是一种与应用深度融合,实现网络辅助计算加速的新模式,通过重塑应用处理和开发模式,实现系统加速,提升算网资源利用率。白皮书第二章全面分析了在网计算的应用场景,第三章给出在网计算NACA的概念、技术架构以及核心特征,第四章分析了NACA关键技术和挑战,最后提出倡议,希望联合产学研持续攻关,推进在网计算技术应用和发展。在网计算(NACA)技术白皮书(2023 年)42 2 应用场景应用场景2.12.1 在网计算赋能先进计算中心在网计算赋能先进计算中心(1)高性能计算高性能计算高性能计算通过发挥规模集群算力,实现复杂任务处理,广泛应用于气象、地震、生物、材料等多个领域。高性能计算网络提供了高带宽、低延迟的互联解决方案,支持各种计算密集型和数据密集型应用的运行。自2013年起,高性能计算TOP50013性能上升速率明显变缓,依靠硬件堆叠单个超算中心计算能力面临技术瓶颈限制,难以满足超大复杂任务的计算需求。传统聚合通信过程中的计算在服务器侧完成,网络只负责转发。当采用参数服务器的方式实现数据并行时,多个工作节点在自己的数据集上进行参数训练,然后将训练结果发送到参数服务器完成参数聚合,再将结果广播给各个工作节点。在这种通信模式下,参数服务器的输入链路往往成为整个系统的性能瓶颈。随着服务器规模和计算量的不断提升,服务器数据交互的次数会显著增加,转发时延不断增大,其对网络性能的压力也越来越大。在网计算功能采用交换设备卸载参数聚合过程,可以有效地提高聚合通信的效率,降低总的任务完成时间。以典型的MPI聚合算子AllReduce为例,其通信交互复杂度为O(logN)(N表示服务器节点规模)。如图1(a)所示,传统聚合通信方式,8个节点(N=8)进行AllReduce计算总共需要3个批次的通信,复杂度为O(logN);图1(b)为采用了在网计算加速的聚合通信方式,8个节点进行AllReduce计算,由接入leaf进行第一次汇聚,由spine交换机进行第二次汇聚,总的通信批次只与网络的层次数量有关,交互复杂度变为常量O(C),C表示网络的层级数,与服务器节点规模无关,极大地减少了服务器集群间的通信交互过程,降低了HPC小字节报文场景下的网络时延,提升了计算效率。在网计算(NACA)技术白皮书(2023 年)5图1(a)端侧实现AllReduce1(b)在网计算实现AllReduce聚合通信在分布式机器学习系统中也广泛使用,随着大模型训练的发展,在网聚合操作成为在网计算的典型基础功能,能够有效提升分布式机器学习系统的应用处理效率。(2)高性能存储高性能存储分布式系统的一致性是分布式处理领域最为基础也最为重要的问题。在分布式高性能存储系统中,对于一组服务器,给定一组操作,需要使得最后服务器的执行结果达成一致。具体来说,当其中某个服务器收到客户端的一组指令时,它需要与其它服务器交流,以保证所有的服务器都是以同样的顺序收到同样的指令,从而保证所有的服务器产生一致的结果。现有的分布式数据库、分布式存储系统中,存在大量的并发读、写操作。这些操作对同一对象的并发读取或修改可能造成数据的不一致。为了保证数据的一致性,分布式锁得以广泛应用。当一个进程需要对某个对象进行读、写操作前需要首先获取对应的读、写锁,基于锁的统一管理,进程中的内容可以有序访问,文件内容的修改也可以保证全局唯一性。在网计算可以将保障分布式系统一致性的功能卸载到交换机。其一是交换机位于网络中,请求无需转发到对应的服务器,从而减少传输路径时延;其二交换机具有强大的数据包处理能力,数据包可以线速通过交换机,因而可以降低处理时延。在分布式数据库、分布式存储等场景应用在网计算,可以加速分布式系统的共识,仅需 sub-RTT 的响应时间,并有效提高端侧的吞吐量。(3)大数据流式处理大数据流式处理在各个业务领域,对于海量数据的收集和分析可以为业务提供决策依据。传统的大数据分析系统还是采用传算分离的体系结构,即端侧服务器进行数据的计在网计算(NACA)技术白皮书(2023 年)6算,Shuffle Manager 和网络在服务器间进行数据通信。(Shuffle 是 Spark11作业中对数据进行重新分区的过程,Shuffle Manager 是 Spark 中负责管理 Shuffle 过程的组件。)在网计算可以把部分算子和网络传输联合设计,提升系统效率。大数据典型编程范式 MapReduce12中,一个 Reducer 会从多个 Mapper 中拉取数据,进行规约操作。例如,词频统计应用 WordCount 需要对分散在多机的单词计数进行汇总;SQL 应用中,先分类(groupby)再汇总(sum、count)也是常见的计算模式。在在网计算体系结构中,规约操作可以在数据流经交换机时随路完成,不占用额外的计算时间和服务器资源。另外,过滤(filter)和过滤重复项(distinct)算子也可以卸载到交换机进行。比较两种体系结构,大数据算子在端侧执行时,会涉及到多次内存、磁盘数据读写(例如,外排序),而在网计算可以对数据进行流式处理,减少此类开销,提升系统效率。2.22.2 在网计算加速边缘万物智联在网计算加速边缘万物智联(1)车联网车联网车联网需要人、车、路、网、云高度协同,在网计算技术可以与车载计算平台、路侧计算设备以及边缘计算云进行深度融合,构成多级混合分布式计算系统,以协助压缩数据流量,缩短通信时延,提高处理的实时性。路侧设备的部分数据需要上传云端做处理,由于路侧设备、车辆、行人数量庞大,因此产生的数据也是海量的。利用在网计算做数据处理和聚合,可以减少传输负载,简化云端处理流程,降低时延。同时,对于车联网中需要实时数据识别、推理的业务,利用在网计算技术在路侧边缘设备做数据识别和推理,可以大大减少需要回传云端数据量。在网计算(NACA)技术白皮书(2023 年)7图2 在网计算车联网用例文献6给出了进一步的方案,基于网络推理解决方案,在转发良性流量时,提取流量特征,发现可疑流量时将立即丢弃并记录到控制平面。基于这些流量特征数据,控制平面重新训练当前模型,以从新的流量模式中学习并生成一组新规则来映射新模型的参数,然后将更新的规则插入数据平面并删除过时的规则。通过这个更新的设置,能够从新到达的流量中学习并持续消除异常流量。(2)XR扩展现实(Extended Reality,XR)是 VR、AR 和 MR 等多种技术的统称,是当前产业应用关注的热点。随着 XR 技术不断演化升级,数据流更多源异构、图像分辨率更高、应用场景更多样、用户规模更庞大,对于网络下行带宽、容量、确定性时延和可靠性均提出全新要求。在网计算技术通过网络感知业务的方式,提升网、业、端协同以及构建分布式高性能计算能力,为 XR 终端设备提供高性能计算支撑。XR 业务使用基于图像组编码时,网络设备的计算增强可根据数据包模式识别 XR 业务模型以提供增值服务,可根据数据包载荷获取业务信息以实现业务探测功能,可根据关联数据流方式实现专用承载识别及网络切片识别,提供更精准的服务保障。AR/VR 基于 5G 网络实现端云协同渲染时,需要实现边缘云和终端设备协同分配计算任务,在终端侧进行低延迟的渲染任务,在边缘云进行计算密集型的运在网计算(NACA)技术白皮书(2023 年)8算和图像渲染,并整合两者的计算结果。引入在网计算能力,通过网络设备增强并行分布式计算能力和聚合通信能力,随路卸载边缘云的计算任务,大幅提升AR/VR 渲染能力,提供更实时的用户体验。图3 基于在网计算的XR业务加速在网计算(NACA)技术白皮书(2023 年)93 3 在网计算(在网计算(NACA)技术架构技术架构3.13.1 概念与架构概念与架构在网计算使用网络设备进行近数据计算,可以在高速转发过程完成应用数据处理,缩短数据传输路径,是解决分布式应用通信瓶颈问题的重要技术。然而,在网计算当前仍面临应用场景竖井式、协议实现封闭化、编程范式不友好等挑战。应用场景竖井式方面应用场景竖井式方面,现有在网计算系统设计需要综合考虑设备能力和应用场景,不同场景下待处理的数据结构和数据类型有所不同,目前尚缺乏跨应用场景的通用系统设计。协议实现封闭化方面协议实现封闭化方面,Infiniband 体系架构中已引入 Sharp5在网计算能力,但 Infiniband 实现封闭,和开放的产业生态不兼容。编程范式不友好方编程范式不友好方面,面,目前应用程序开发和网络设备开发模式有差异,对于应用开发者门槛较高,不利于在网计算的设计和实现。针对现有问题,本白皮书本白皮书提出在网计算新架构提出在网计算新架构 NACA(Network AssistedComputing Acceleration)。在网计算在网计算 NACA 以提升在网计算通用性为目标,重构应用处理模式,构建以提升在网计算通用性为目标,重构应用处理模式,构建全新的在网计算通信库全新的在网计算通信库,围绕拓扑映射围绕拓扑映射、编程范式编程范式、计算实现计算实现、资源管理形成资源管理形成”四个统一四个统一”,实现网络辅助计算加速,提升分布式系统算能算效。,实现网络辅助计算加速,提升分布式系统算能算效。图4 在网计算(NACA)技术架构在网计算(NACA)技术白皮书(2023 年)10NACA架构核心体现在架构核心体现在“一横一纵一横一纵”。横向横向:在网计算通信库承上启下在网计算通信库承上启下,以以异构网内算力资源实现统一的在网计算服务异构网内算力资源实现统一的在网计算服务。在网计算通信库层向上对接多种分布式应用,以统一的在网计算原语供不同应用调用,形成通用的在网计算能力;向下对接不同网内资源及多种互联方式,将计算逻辑映射到不同的物理网络实现在网计算。纵向:在网计算编排管理全栈贯通,纵向:在网计算编排管理全栈贯通,优化应用开发模式、协同端网优化应用开发模式、协同端网任务部署任务部署、统筹网内资源管理统筹网内资源管理。多租户、多业务的应用程序通过编排管理层实现跨端侧和网侧的计算任务拆解和分配,在网计算程序以灵活动态的方式分配到异构网络节点实现计算。NACA架构包含异构网元、高性能互联、在网计算通信库、分布式应用和编排管理5个核心功能层。(1)异构网元异构网元异构网元是指在不同场景下具备在网计算能力的物理设备,是实现在网计算的基础底座。异构网元包括数据中心内部服务于高性能计算、智算等业务的数据中心交换机以及用于加速的端侧适配器,如 XPU 等;以及在网络边缘具备在网计算能力边缘汇聚交换机等。这些设备呈现异构多形态的特点,功能也因场景不同有所差异。NACA 架构提出对异构网元资源池化,进行统一管理和调度,提升在网计算性能。(2)高性能互联高性能互联高性能互联层为并行计算中的服务器、在网计算网元提供可靠、高效的连接保障,可以基于现有成熟协议栈实现,如 RoCE、InfiniBand8、Omni-Path9和Slingshot10等,也可以基于自定义协议栈。在此基础上,进一步构建在网计算所需的主要网络功能。一是可靠传输一是可靠传输,是在网计算结果正确的前提,通过端网协同的拥塞控制,保证数据完整性和在网计算任务处理的正确性。二是二是拓扑感知拓扑感知,是提升在网计算拓扑亲和度的关键,通过计算逻辑和物理网络连接相结合,优化在网计算的物理实现。三是三是标识转发标识转发,是在网计算实现集群规模扩展的基础,通过设计特定网络协议支持在网计算信号的识别和处理,实现在网计算算子通告、资源寻址等功能。(3)在网计算通信库在网计算通信库在网计算通信库作为 NACA 架构体系的核心层,为分布式应用提供了通用的在网计算加速能力。面向多种分布式应用,在网计算通信库基于原生的并行计在网计算(NACA)技术白皮书(2023 年)11算通信库进行扩展,丰富网络节点可以参与加速的通信算子,包括一对多的逻辑,如广播操作 Broadcast;多对一通信逻辑,如规约类操作 Reduce、AllReduce 等;多对多的通信逻辑,如 AllGather、ReduceScatter 等;以及同步操作 Barrier)。(4)分布式应用分布式应用NACA 的分布式应用层包含在网计算可以服务的各种应用类型。面向大型计算和存储集群,在网计算可以加速包括 HPC、高性能存储以及分布式机器学习的训练和推理等应用;面向 5G/6G、物联网、工业互联网等场景,在网计算可以提供高速的数据聚合能力,以提取优质的数据资源,同时可以部署轻量化统计模型,实现业务的推理识别。这些应用最大的共性在于需要分布式计算,在分布式的执行过程中,往往面临通信瓶颈问题。在网计算将发挥网络转发节点原生的高速处理和数据汇聚功能,实现业务数据的压缩,以及 Sub-RTT 的快速响应,缩短数据传输路径,优化分布式应用的处理流程。(5)编排管理编排管理在网计算编排管理层主要功能包括在网计算应用程序的编译和部署、计算任务跨端网的分解和分配以及对网络和计算资源的管理。这部分的主要技术包括开发者友好的编程语言以及多种在网计算程序跨架构编译和部署。开发者不需要了解网络底层实现细节,尤其是当底层是异构网络设备协作运行过程,相应的,开发者只需要根据业务的逻辑关系(如计算图)进行程序开发设计,在网计算的编排管理器就可以根据网络节点的资源信息和当前状态进行自动化编译部署。在多租户、多业务并行运行场景下,同一网络设备在同一时刻可能会处理不同的业务。通过运行时动态部署,在不停机中断的条件下实现在网计算任务部署的实时更新,真正做到在网计算即服务。3.23.2 NACANACA核心特征核心特征NACA架构为分布式应用提供网络辅助计算加速,其核心特征体现在拓扑映拓扑映射、计算实现、编程范式射、计算实现、编程范式和和资源管理资源管理四个方面,形成四个方面,形成“四个统一四个统一”。逻辑逻辑物理物理统一统一:NACA以亲和度更高的方式将应用逻辑拓扑映射到实际物理资源;通信通信原语原语统一统一:NACA构建了统一的在网计算通信库,为多样化应用提供通用在网计算能力;在网计算(NACA)技术白皮书(2023 年)12编程范式统一编程范式统一:NACA提供了统一的应用设计和部署方案,简化开发复杂度;网内网内资源资源统一统一:NACA优化了网络资源管理,构建一体化计算资源池,提升在网计算性能。特征一:特征一:逻辑物理统一逻辑物理统一NACA 的在网计算物理实现比传统计算实现方式更加亲和业务逻辑拓扑,网络与业务紧密耦合。计算任务通常以图的形式描述节点间的逻辑关系,再映射到物理网络当中。通过合理的任务分配算法,在网计算将应用中低精度高 IO 的计算从其他任务中剥离出来分配给在网计算资源,从而大大释放了端侧高性能服务器的计算资源,可以更高效地共同完成计算任务。通过设计支持在网计算的拓扑感知和映射算法,部分端侧计算节点可以被放置在网络节点执行。如图 5 所示,在机器学习模型训练中通常使用的参数服务器架构中,参数服务器可以被映射到胖树物理组网中的 spine 交换机。这种映射机制下,实际流量路径更简化,整网流量负载大幅压缩。相比于传统计算模式,基于在网计算的映射方式使映射后的实际拓扑结构与逻辑拓扑更接近,更亲和统一。图5 逻辑拓扑与物理拓扑间的映射特征二:特征二:通信原语统一通信原语统一NACA 可以为 HPC、智能计算以及大数据等多样化应用提供一致的在网计算能力。业务多样性不仅体现在数据流量模式差异性,还体现在应用数据类型及对应的数据结构不同。模型训练数据类型通常为值流(Value Stream),而大数据应用则承载键值流(Key-Value Stream),两者在索引机制、排列方式以及计算上限等方面存在不同。在网计算(NACA)技术白皮书(2023 年)13在 NACA 架构下,不同的应用可以调用统一的在网计算通信库实现计算加速。如图 6 所示,通信算子层面通信算子层面,NACA 为多种分布式应用统一定义了几类高频出现的在网计算通信算子,例如广播、聚合、同步、散播等,方便多种应用按需灵活调用。在网计算原语层面,在网计算原语层面,NACA 规范了设备支持的在网计算原语。在网计算通信算子基于统一的在网计算原语实现,使得异构设备对接得以统一,提高设备易用性,降低应用开发、运维成本。图6 统一的在网计算原语实现在网计算通信库特征三:特征三:编程范式统一编程范式统一NACA 面向应用开发者和底层异构网络设备统一编程范式,实现了异构领域专用编程语言、应用开发和网络运维的兼容。如图 7 所示,对于当前的在网计算开发,异构的网络设备需要使用领域专用的编程语言,如 P4、NPL、Micro-C 等,不同的网络编程语言对于应用开发人员构成了较大的使用门槛。图 7 在网计算编程范式统一示意图在网计算(NACA)技术白皮书(2023 年)14统一编程范式为在网计算应用开发者提供了低门槛、灵活性等便利。基于统一在网计算编程框架,多种在网计算应用程序实现统一编译、中间转译和程序综合,以分配至异构在网计算网元进行计算执行。统一的在网计算编程范式具备简单、易扩展的编程特性,方便在网计算应用程序的灵活高效部署和后续快速的功能扩展维护。特征特征四四:网内资源统一网内资源统一NACA 借助于 RDMA、CXL7等高性能互联协议实现跨网络设备资源一致访问,形成统一协作的在网计算资源池。在网计算在单一网络节点的资源相对受限,包括内存、逻辑运算单元等资源。需要跨节点实现高性能的资源互访和统一管理。RDMA 是 Infiniband 和 RoCE 网络架构下核心的远距离内存直接访问协议,CXL(Compute Express Link)是一种开放的行业互连标准,为主机内部处理器和加速器、内存缓冲区以及主机之间提供高带宽,低成本的 I/O 通信,其核心在于内存访问一致性。在网计算将借助于 RDMA、CXL over Ethernet 等方式实现跨网络设备以及跨端网的内存高速一致访问,有效弥补单一网络节点内部内存资源不足,实现资源弹性扩展,大幅拓展在网计算的适用边界,实现数据中心级在网计算即服务。图 8 在网计算网内资源统一在网计算(NACA)技术白皮书(2023 年)153.33.3 功能视图功能视图图9 在网计算整体功能视图在网计算从逻辑功能层面自上而下可以分为四个层级。最上层是分布式应用,第二层是通用功能里,比如多种分布式应用会调用其中的一种或多种。这两层对应于在网计算 NACA 架构的应用层。下面 2 层是在网计算系统功能的关键层次,对应于 NACA 架构的在网计算通信库。其中,在网计算引擎,构建了加速引擎来完成一些基础功能,从而获得计算任务加速、带宽利用率提升等一系列的收益。在数据计算数据计算、数据排序数据排序、一致一致性性等功能方面主要有以下常用在网计算引擎:(1)在网计算引擎在网计算引擎在网规约:在网规约:在网规约是面向 AllReduce 聚合操作的在网计算引擎。服务器将需要计算的数据通过 MPI 报文发送到叶子交换机。叶子节点对报文信息进行提取后,由内部计算模块对数据进行一级计算,并向脊交换机发送计算结果。脊交换机继续进行二级计算,将最终计算结果转发到叶子交换机。叶子交换机将最终计算结果再通过MPI报文发送给服务器,完成一项数据计算过程。在网规约通过将AllReduce聚合通信的计算从主机卸载到网络交换机,可能会将数据聚合所需的带宽减少到近一半。在网规约通常需要原子粒度的操作比如 SUM(求和)算子。在网序列器:在网序列器:事务管理器是保证分布式事务一致性的集中式解决方案.然而,作为一个集中式模块,事务管理器已经成为大规模高性能分布式系统的瓶颈。在网序列器在在网计算(NACA)技术白皮书(2023 年)16交换机内维护一个随取号请求增加的全局序列号,当客户端请求序列号时,交换机给客户端回复一个唯一的序列号。为了保证全局序列号的可用性,通常可以使用主备方式。但需要设计高效率的主备同步机制,即在不影响主取号的效率的同时,主备之间进行智能同步,确保系统切换到备用时,客户端可以获得正确的序列号。在网序列器可以释放服务器的算力来执行其他计算任务。在网锁:在网锁:在大多数分布式系统中,锁原语是一种广泛使用的并发控制机制。对于大型分布式系统,通常有一个专用的锁管理器,节点可以联系它以获得资源的读和/或写权限。锁管理器通常需要抽象原子粒度的操作,CAS(compare-and-swap,比较和交换)和 FA(fetch-and-Add 添加)。锁管理器通常运行在服务器上,从而导致磁盘 I/O 事务速度对性能的限制。多节点分布式锁处理叠加了节点之间的通信延迟,性能更差。在网锁可以有效加速系统并发控制(2)原子粒度通用算子原子粒度通用算子最下层是原子粒度通用算子,他们一般是简单而通用的数学运算,执行原子粒度的计算和函数操作,从而不会影响网络的转发性能。这些原子粒度的计算功能称之为通用算子,一般是“简单”并且“通用”运算符。原子粒度通用算子有多种类别,比较常见的是聚合通信算子和一致性算子。表 1 聚合通信算子名称和功能说明算子分类算子分类通用算子通用算子 OpCodeOpCode算子说明算子说明聚合通信算子聚合通信算子(通过函数将一组数据聚合为一个较小的集合)MAXMaximum,最大值MINMinimum,最小值SUMSum,求和PRODProduct,乘积LANDLogical and,逻辑与BANDBit-wise and,按位与LORLogical or,逻辑或BORBit-wise or,按位或LXORLogical xor,逻辑异或BXORBit-wise xor,按位异或在网计算(NACA)技术白皮书(2023 年)17表 2 一致性算子名称和功能说明算子分类算子分类通用算子通用算子 OpCodeOpCode算子说明算子说明一致性算子一致性算子(通过增删改查加速分布式系统端到端性能)WRITE写入READ读取DELETE删除CASCompare and swap,比较并替换CAADDCompare and addCASUBCompare and subFAAFetch and add,取原值,并进行加法FASUBFetch and subtractionFAORFetch and orFAANDFetch and andFANANDFetch and nandFAXORFetch and xor在网计算(NACA)技术白皮书(2023 年)184 4 关键技术及挑战关键技术及挑战4.14.1 计算计算语义映射语义映射在网计算将应用数据卸载至网内加速,技术实现的核心是应用消息传递语义和网络数据包转发语义的映射。消息是分布式应用进程间通信的传递内容,通过定义消息传递语义,应用可以实现分布式处理。传统网络数据包转发不感知上层应用,更不参与应用的处理过程,在网计算通过改变应用处理的模式,在网络设备完成消息处理,因此需要把消息和网络中转发的数据包映射起来。图 10 显示了在网计算设备解析消息的过程。图10 面向消息的在网计算目前的在网计算消息解析协议有两种实现方案,一种是复用现有协议栈,和现有系统进行兼容。复用已有协议栈的消息映射机制有显示和透明两种方式;另一种是采用自定义协议栈,网络设备对自定义报文解析并实现基于数据包的在网数据处理,定义协议栈可能引入更多的系统开发和操作的复杂性;显式连接方案由端侧与在网计算网络设备建立传输层连接,端侧设备感知在网计算设备的存在。透明连接方案中依然是端侧与端侧建立传输层连接,在网计算交换机并不实现完整的协议栈,只通过感知传输层连接等信息进行消息级别的数据处理。表3 面向消息的在网计算实现方式实现方式显式连接方式透明连接方式网络设备是否实现完全协议栈需要实现完整或部分协议栈不需要在网计算(NACA)技术白皮书(2023 年)194.24.2 计算正确性计算正确性保障保障维护计算结果正确是在网计算的基础,计算正确性依赖于网络可靠性控制。数据包丢失以及乱序不仅导致网络传输性能劣化,也会影响在网计算的结果可能发生错误。例如在网计算节点收到部分数据包,会出现任务部分聚合甚至错误聚合的现象,从而导致整体结果无法收敛。在保障可靠性及计算正确性的过程中,一方面需要利用网络已有的可靠性控制机制,如网络原生的 RDMA“Go-Back-N”重传机制,以及优化后的选择性重传、乱序接收机制等;另一方面需要在网计算设备维护计算状态,以确认中间结果的正确性。可能的方法包括在网络设备记录应用消息的出现次数以及是否完成计算等指标,在协议报文中携带相应字段信息,这样可以并避免重复计算。同时采用数据校验机制,在网络设备完成数据完整性校验,计算之后需要为分组重新计算校验码。这样逐跳的校验可以保证识别出传输过程中损坏的分组,舍弃掉该分组,并依靠端侧重传机制从错误中恢复。4.34.3 计算程序网内编排计算程序网内编排在实际网络中,存在多个业务和多个用户的在网计算需求。一方面,由于共享流量路径,不同在网计算程序可能同时存在于同一网络设备上;另一方面,由于资源限制等问题,同一在网计算程序也可能被切分并部署于不同的网络设备。需要将在网计算程序进行统一编排,同时为了保障不同程序的正常运行,还需进行相应隔离。端侧与网络设备是否建立传输层连接需要不需要,但需要感知传输层连接在网计算(NACA)技术白皮书(2023 年)20图11 在网计算程序编译与部署架构图 11 显示了在网计算程序统一编译和部署的架构及流程。前端程序需首先转化为中间表述文件,以便后端设备资源映射与程序编排。对于中间表述文件,需要对其进行分析并提取出指令特性和指令间依赖关系两方面信息。前者是为了构建指令与硬件能力匹配的约束,即硬件资源约束,如加解密指令不能放置于交换机设备;而后者用于约束指令在上下游设备的位置关系,即拓扑约束,如依赖于前一指令的当前指令不能放置于前一指令的上游设备,否则违背了流量的顺序执行原则。满足上述资源和拓扑约束条件的程序放置方案可能有很多种,为寻求较优放置方案,需根据用户需求和资源开销等构建统一的优化目标,搜索使得优化目标最大的可行解,并通过相应求解器寻求最优编排方案。对于程序编排结果,还需要将其逐一编译并部署于在网计算设备中。由于网络异构性,一方面,需要保证不同架构和编程语言的异构设备上分配的程序均能正确部署和运行;另一方面,需要保证切分在不同设备上的统一在网计算程序能正确协同运行,同时可靠性亦能得到保障。后端编译器对中间表述程序进行必要的封装与修改,并将综合后的程序片段翻译到不同的目标设备对应语言的程序。4.44.4 网网内资源池化内资源池化在网计算(NACA)技术白皮书(2023 年)21构建池化的网内计算资源是实现弹性、可扩展在网计算的基础,通过动态优化网络设备节点内部资源分配以及构建跨网络设备的资源协同,形成在网计算资源池。分布式应用中的计算特点是周期性的计算和传输。在作业处于非计算状态时,为避免所对应的网络设备内存资源空闲导致设备聚合资源利用不足,需要对网络设备的资源实施动态管理,如图 12 所示,不同分布式作业服从先到先服务机制,在计算、传输的不同状态时复用网络设备资源。图12 网络设备内部多任务动态抢占共享计算资源跨网络节点的内存资源管理通常会部署调度器,用于将资源分配给多个并发作业,从而形成池化的网内资源。如图 13 所示,在网计算统一资源管理中,管理器首先根据网络节点上报的资源信息将物理网络设备存储器组织为虚拟存储器层。管理器进而通过北向接口接受调度器请求,以将设备存储器段分配,用于分配和回收特定作业。在计算任务执行前,管理器将计算任务和网内资源信息通告到南向的计算设备,以明确在网计算资源的聚合器寻址位置和网络设备资源分配规则。在计算任务执行过程中,管理器采用一致性更新协议,使资源池内的网络设备在由于动态作业加载导致的资源区域变更时,确保网络设备资源重分配与服务器访问网络设备计算资源的一致性,实现无中断的资源重新分配。在网计算(NACA)技术白皮书(2023 年)22图13 在网计算统一资源管理在网计算(NACA)技术白皮书(2023 年)235 5 推进展望推进展望当前,中国移动已经开展在网计算关键技术研究,并不断推动在网计算技术的产业应用,但实现面向多场景、多需求、按需灵活且安全可靠的在网计算仍面临多种挑战。为此,中国移动呼吁产学研各界合作伙伴精诚合作,进一步凝聚共识,共同推进在网计算 NACA 技术成熟,繁荣产业生态,提出以下几点倡议:深化在网计算技术攻关深化在网计算技术攻关。围绕在网计算语义映射、计算正确性保障、网内计算程序编排以及网内资源池化等关键技术进行联合攻坚,共同探索解决方案,形成清晰的技术路线,推进在网计算成为网络内生的普适能力,为多样化分布式应用提供高性能、高可靠的网内加速。联合推动在网计算联合推动在网计算技术开源及技术开源及标准化标准化。围绕在网计算的应用场景、技术需求以及技术架构等方面开展在网计算标准制定及开源工作,突破行业技术壁垒。在IETF、ITU、CCSA 等国内外标准组织开展标准化建设,在 OCP、Apache 等开源组织布局在网计算开源项目,共同构筑开放共享的在网计算生态格局。开展在网计算联合试验验证开展在网计算联合试验验证。中国移动正加快步伐构建算力网络试验网CFITI,以“1 9 9”资源布局辐射全国各省市节点。基于 CFITI 试验平台,联合产学研合作伙伴共同开展在网计算创新技术验证,面向垂直行业不断推出创新解决方案,不断推进在网计算赋能千行百业,促进产业生态繁荣。在网计算(NACA)技术白皮书(2023 年)24参考文献参考文献1算力网络白皮书.Computing Force Network Whitepaper.中国移动.2021.2算力网络技术白皮书.Computing Force Network Technology Whitepaper.中国移动.2022.3算网一体网络架构及技术体系展望白皮书 中国移动研究院.20224ChonLam Lao,Yanfang Le,Kshiteej Mahajan,Yixi Chen,Wenfei Wu,AdityaAkella,Michael M.Swift,ATP:In-network Aggregation for Multi-tenant Learning.NSDI 2021:741-761.5Richard L.Graham,Devendar Bureddy,Pak Lui,Hal Rosenstock,Gilad Shainer,Gil Bloch,Dror Goldenberg,Mike Dubman,Sasha Kotchubievsky,VladimirKoushnir,Lion Levi,Alex Margolin,Tamir Ronen,Alexander Shpiner,OdedWertheim,Eitan Zahavi,Scalable Hierarchical Aggregation Protocol(SHArP):AHardware Architecture for Efficient Data Reduction.COMHPCSC 2016:1-106Mingyuan Zang,Changgang Zheng,Radostin Stoyanov,Lars Dittmann and NoaZilberman,P4Pir:In-Network Analysis for Smart IoT Gateways.SIGCOMM 22:Proceedings of the SIGCOMM 22 Poster and Demo Sessions.August 2022.Pages4648.https:/doi.org/10.1145/3546037.3546060.7CXL.https:/puteexpresslink.org/.8InfiniBand.https:/www.infinibandta.org/.9Omni-Path.https:/ 年)25缩略语列表缩略语列表缩略语缩略语英文全名英文全名中文解释中文解释5G5th Generation MobileCommunication Technology第五代移动通信技术AIArtificial Intelligence人工智能ARAugmented Reality增强现实ASICApplication Specific IntegratedCircuit应用型专用集成电路CCSAChina CommunicationsStandards Association中国通信标准化协会CFITICFN Innovative TestInfrastructure中国移动算力网络试验示范网CPUCentral Processing Unit中央处理器CXLCompute Express Link计算快速链接DRAMDynamic Random AccessMemory动态随机存取存储器GTMGlobal Traffic Manager全局流量管理HPCHigh Performance Computing高性能计算I/OInput/Output输入/输出IETFInternet Engineering Task Force国际互联网工程任务组ILPInteger Linear Programming整数线性规划IRIntermediate Representation中间表示在网计算(NACA)技术白皮书(2023 年)26ISCInternational SupercomputingConference国际超算大会ITUInternationalTelecommunication Union国际电信联盟MECMobile Edge Computing移动边缘计算MPIMessage Passing Interface信息传递接口MRMixed Reality混合现实MVCCMulti-Version ConcurrencyControl多版本并发控制PCIePeripheral ComponentInterconnect express高速串行计算机扩展总线标准RDMARemote Direct Memory Access远距离内存直接访问RTTRound-Trip Time往返时延SMTSatisfiability Modulo Theories可满足性模理论SQLStructured Query Language结构化查询语言SRAMStatic Random-Access Memory静态随机存取存储器SSAStatic Single Assignment静态单一赋值TCAMTernary Content AddressableMemory三态内容寻址存储器VRVirtual Reality虚拟现实XRExtended Reality扩展现实
在网计算(NACA)技术白皮书解读中国移动 陆璐2023年8月中国移动提出“算力网络”新理念中国移动充分发把握算力时代发展脉络,以网强算提出“算力网络”全新理念,两年多来持续开拓创新,全力推进算力网络发展,形成一系列创新成果,在业界取得了广泛共识,引起了巨大反响“算网一体”是中国移动算力网络发展的深化3算力网络的发展经过三个阶段的发展,逐渐深化2021-2023 2024-20252025 十四五阶段 十五五阶段及更长期起步阶段:泛在协同发展阶段:融合统一跨越阶段:一体内生网随算动智能编排算网一体一站服务:一站开通算网服务协同运营:云网运营双入口拉通融合服务:产品融合、确定性服务统一运营:统一入口、统一平台一体服务:多层次智简无感服务模式创新:多方算力可信交易运营服务编排管理基础设施算网融合智慧内生协同编排算网一体架构及总体设计4极致互联混合控制联合感知算力信息网络信息前提支撑作用ISP1ISP2CSP4CSP3CSP2CSP1拓扑信息拥塞状态SLA指标CPU利用率异构算力算力规模集中式控制分布式控制任务分解与调配节点1节点2消费侧节点3节点4算网一体通过“联合感知”“混合控制”“极致互联”构建面向智能化时代的数字基础设施架构关键技术算力路由在网计算创新互联网架构协议,基于算网资源联合感知实现动态融合决策选路网络内生算力,基于集中式控制,实现计算任务跨云、网、边、端分布式协同ISP:网络服务提供者;CSP:算力服务提供者算网数字孪生基于网络大模型的算网数字孪生构建可视、可管、可控的算网基础设施广域RDMA突破RDMA长距传输瓶颈,实现广域高性能互联分布式系统面临通信开销瓶颈问题5 分布式应用场景 采用8个workers和8个PSs的网络训练AlexNet模型,网络通信时间占比可高达80%以上 面向AI场景的网络优化需要更细粒度的通信算子优化方案在网计算主要面向分布式应用,随着分布式系统规模不断扩大,计算节点间的通信量激增,通信模式更加复杂,通信开销已成为AI、大数据、HPC等分布式应用的性能瓶颈,严重制约系统规模扩展模型训练时长分布11 Parameter Hub:a Rack-Scale Parameter Server for Distributed Deep Neural Network Training,https:/dl.acm.org/doi/10.1145/3267809.3267840需要尽可能压缩通信的时延占比,同时结合不同类型的通信过程优化分布式系统通信性能计算时间每轮迭代总时间分布式训练管道中模型训练时间分解1不同模型在进行分布式训练时,各阶段的时间分布不同ResNet 269的通信时间最长,且还有较长的Aggregator,AlexNet还具有较长的Synchronization,等等问题主要来源6衡量分布式应用通信性能的重要指标是任务完成时间,负载均衡策略、计算节点多打一现象以及物理与逻辑通信模式不匹配等因素引发通信瓶颈问题,导致任务完成时间过长发送发送接收接收接收交换机网络负载严重不均衡接收100%0%接收发送发送网络侧ECMP实现AI训练流量调度,AI训练以巨型流为主,HPC业务以高并发小流为主,传统网络调度方式难以满足AI、HPC等计算密集型业务场景流量调优目标。多对多逻辑通信需求与点对点物理通信实现:进程间MPI接口设计包含多对一、一对多及多对多的通信需求,计算节点间目前以单播实现MPI接口,物理网络存在大量冗余信息通信模式不匹配大数据流式计算多对一的数据处理模式:训练最后一级交换机和接收方之间Incast拥塞,造成计算流长尾时延,计算任务完成时间过长。Incast交换机发送发送发送发送接收流量需求不对等通过网络与分布式应用各通信阶段紧耦合的设计方式优化分布式处理是重要发展方向在网计算有望攻克分布式系统通信瓶颈问题7在网计算突破现有计算模式,重构应用处理逻辑,为系统算效提升带来质变主要优势流量压缩在网聚合,数据消冗与求和网内处理,实现Sub-RTT通信缩短传输路径交换机Tbps处理能力线速处理处理模式在网计算设备在网计算将计算卸载至网络,实现数据随转随算,实现系统加速,提升算网资源利用率。性能跃升与传统软件实现消息同步相比,IB SHARP方案性能提升近9倍与传统软件实现聚合操作相比,IB SHARP方案性能提升近5倍单次聚合时延单次同步时延在网计算发展现状产业已逐步布局在网计算的研究和实践,中国移动积极推进试验验证和标准制定产业与学术进展在网计算方向已有一定共识,但仍面临多方面发展挑战,需要产学研协同攻关训练提速:相比参数服务器架构BytePS,通信密集型任务最高可提升60%以上带宽优化:相比RAR架构Horovod,降低智算集群网络带宽占用约1倍左右中国移动CFITI试验网创新验证架构AlexNetVGG19VGG16VGG11ResNet152ResNet101ResNet50BytePS330110120130110155250Horovod500130150210100148235在网计算540155175215115165265测试基准:GPU型号:2080 单位:图片数/秒标准推进:在CCSA TC3 WG3牵头完成业界首个在网计算行标立项基于多级可编程交换机参与参数聚合,基于IP协议设计 ATP 报文头在网聚合ATPSHARPIB based MPI-Bcast基于IB智能网卡和IB交换机,基于IB传输层QP,实现参数聚合基于IB交换机的硬件组播能力,实现MPI广播在网组播在网聚合NSDI 21IPDPS 04COMHPC 16基于NP交换机实现参数聚合,基于UDP协议设计Trio-ML 报文头Trio基于FPGA和商用交换机实现传输层透明的参数聚合NetReduceASPLOS 23SIGCOMM 22在网计算发展挑战在网计算发展面临应用场景竖井式、协议实现封闭化、以及编程范式不友好等挑战基于IB协议栈及专用硬件的在网计算,性能优势明显,但成本高,协议栈封闭不兼容现有在网计算方案面向单一场景竖井式设计,在协议设计和硬件实现等方面缺乏通用性开发模式有差异:应用程序开发模式和网络开发模式不匹配,开发者学习门槛高运行框架不支持:Tensorflow、Spark等分布式开发框架不支持在网计算能力调用需要从产业、生态等方面破除技术壁垒,构建统一通用的在网计算能力训练专用网元大数据处理专用网元RDMA软件栈应用IB传输层IB网络层IB链路层InfiniBand服务器应用程序编程网络设备在网计算程序编程训练HPC参数向量计算消息数据类型多元应用大数据键值流高性能计算专用网元IB物理设备封闭化竖井式编程不友好在网计算NACA10编程范式统一逻辑物理统一通信原语统一网内资源统一 在网计算NACANetwork Assisted Computing AccelerationNACA以提升在网计算通用性为目标,重构应用处理模式,构建全新的在网计算通信库,围绕拓扑映射、编程范式、计算实现、资源管理形成”四个统一”,实现网络辅助计算加速,提升分布式系统算能算效异构网元高性能互联分布式应用DC交换机端侧适配器边缘汇聚交换机园区网关编排管理资源管理拓扑管理任务管理跨架构统一编译管理运行时管理在网计算通信库可靠传输InfinibandOmni-PathSlingshot同步/异步控制多对一通信一对多通信多对多通信AI训练/推理大数据MVAPICHHPC标识转发拓扑感知RoCE在网计算NACA技术架构NACA架构核心在“一横一纵”,横向在网计算通信库承上启下,以异构网内算力实现统一在网计算服务,纵向编排管理全栈贯通,优化应用开发模式、协同端网任务部署、统筹网内资源管理编排管理编程范式统一网内资源统一通信原语统一逻辑物理统一核心特征1:逻辑物理统一交换机/路由器物理链路主机计算节点逻辑链路参数服务器传统计算在网计算NACA在网计算物理实现比传统计算实现方式更加亲和业务逻辑拓扑,网络与业务紧密耦合在网计算相较传统计算与逻辑拓扑映射更亲和统一逻辑拓扑物理拓扑核心特征2:通信原语统一579123456a:1b:2a:3a:2c:4a:6b:2c:4NACA面向差异化应用定义统一在网计算通信库,以统一的设备原语实现通信库,提升在网计算的通用性类型数据结构统一原语 数值聚合 Array Map.get,Map.add,Map.clear 键值对聚合 Map Map.get,Map.add 广播同步聚合散播AI应用参数向量聚合(数据类型:数值)大数据处理键值聚合(数据类型:键值对)在网计算通信库聚合算子物理实现统一调用相同的聚合算子核心特征3:编程范式统一NACA面向不同应用程序设计,提供统一编程语言及通用开发模式,简化异构设备开发入口AI训练/推理大数据HPC软件框架TensorFlowPyTorch Spark Flink MVAPICH应用开发网络运维语言LyraP4all领域专用语言P4NPLMicro-C网络设备开发统一在网计算编程框架分布式应用前端编译中间转译及程序综合网络设备1多种在网计算程序统一编译应用1应用2网络设备2转译至异构在网计算网元核心特征4:网内资源统一NACA基于RDMA、CXL等高性能互联协议构建统一在网计算资源池,优化网络资源管理,提升网内资源利用率高性能互联协议(RDMA、CXL等.)CPU在网计算节点GPUDDRDDRNIC,交换芯片CPU在网计算节点GPUDDRDDRNIC,交换芯片CPU在网计算节点GPUDDRDDRNIC,交换芯片关键技术1:计算语义映射16消息是分布式应用进程间通信的传递内容。传统网络设备基于数据包转发,在网计算设备基于消息处理,因此需要把消息和数据包的语义映射起来链路层协议头 路由层协议头 传输层协议头携带消息相关信息负载 自定义协议栈优势:设计灵活、高效劣势:开发复杂度高,技术封闭 基于现有协议栈(如RDMA)优势:兼容性高,可复用现有成熟加速技术劣势:方案不灵活,传输效率相对较低链路层协议头 路由层协议头自定义头负载两种封装机制PacketMessage数据包转发消息处理主机传统网络设备在网计算设备主机数据包转发应用传输层网络层IB、TCP/IP链路层IB Link、Eth应用传输层网络层IB、TCP/IP链路层IB Link、Eth关键技术2:计算正确性保障17在网计算要保证与端侧计算的结果等价,即保证计算正确性。计算正确性还受丢包影响,网络拥塞和乱序则会加剧丢包,因此网络拥塞控制、可靠性传输是在网计算正确性和计算效率的保障a1a2a3?a1 a2 ?发送端接收端问题:丢包、重复包影响计算正确性聚合时发生丢包方案:依靠拥塞控制和可靠性传输降低丢包 利用bitmap高效记录已收到和已处理包的序号;基于现有可靠性传输协议如Go-Back-N、选择性重传等,针对在网计算进行改进。优化网络负载均衡方案,避免负载不均导致的拥堵;基于现有PFC、ECN、DCQCN等流量控制机制针对在网计算进行改进接收数据包(MID=1,PSN=2)PSN范围0-2已经接收的 PSN丢弃聚合第一次接收重复数据包所有数据包聚合完毕后转发01a1a2a3?a1 a2 a3 a3发送端接收端聚合时收到重复数据包a3构造IR块,解耦硬件、拓扑和指令依赖动态规划算法,实现程序段高效放置程序段DAG表示法,合并DAG指令除冗异构适配程序段连接和加载 关键技术3:计算程序网内编排18 在网计算多级编译编排部署架构实现程序、元素、执行一致性保证INC 程序1.INC 设备 1INC 程序2INC 程序 MINC 设备 2INC 设备 N.硬件、拓扑、指令、能力多级依赖多任务共享设备,程序段集成困难 分布式分段部署,编译加载难异构设备多、组合多、指令冗余 多级编译编排部署在网计算程序1在网计算程序2前端编译器IR程序1IR程序2程序分割与编排指令块1指令块2指令块3指令块4转发程序转发程序程序综合可执行文件1可执行文件2可编程交换机可编程交换机FPGA智能网卡 关键技术4:网内资源池化 虚拟化和池化管理技术,统一北向接口,屏蔽异构硬件差异计算、传输周期交替,内存利用率待提高设备内存虚拟化多租户、多实例、细粒度、动态分配作业1作业2网络设备计算资源分区服务器 1.作业1服务器 n.服务器 1.作业2服务器 n 异构网络设备对接,端网资源一致性跨设备资源统一池化北向统一对接调度、南向注册异构网络、南向通知计算服务器、一致性更新协议调度器 调度策略 作业-资源建模服务器计算资源管理计算服务器 1北向资源分配接口计算服务器 2计算服务器3在网计算统一资源管理网络设备3网络设备2网络设备1网内资源上报和分配网内资源请求和通告总结与展望20 深化在网计算技术攻关 围绕在网计算关键技术挑战进行联合攻坚,共同探索解决方案,推进在网计算成为网络内生的普适能力。推动在网计算技术开源及标准化 逐步开展在网计算标准制定及开源工作,突破行业技术壁垒,共同构筑开放共享的在网计算发展局面。开展在网计算联合试验验证 基于中国移动CFITI试验平台,联合开展在网计算创新技术验证,不断推进产业成熟。中国移动研究院公众号中国移动研究院公众号中移智库公众号中移智库公众号希望携手产业界推进在网计算NACA技术的开拓和研究!
语义增强可编程知识图谱语义增强可编程知识图谱SPG(Semantic-enhanced Programmable Graph)白皮书(白皮书(v1.0)新一代工业级知识语义框架及引擎新一代工业级知识语义框架及引擎 离散实体要素深度语义网络化,稀疏关系自动补全显性稠密化 加速企业海量数据知识化集成,无缝衔接 AI 技术框架应用落地 蚂蚁集团蚂蚁集团 OpenKG 联合出品联合出品 2023年年8月月 版权声明版权声明 本白皮书版权属于蚂蚁集团 OpenKG,并受法律保护。转载、摘编或利用其他方式使用本白皮书文字或观点的,应注明“来源:蚂蚁集团 OpenKG”。违反上述声明者,蚂蚁集团和 OpenKG 将追究其相关法律责任。编写说明编写说明 牵头编写单位:牵头编写单位:蚂蚁科技集团股份有限公司 参与编写单位:参与编写单位:同济大学、天津大学、恒生电子股份有限公司、浙江创邻科技有限公司、达观数据有限公司、海乂知信息科技(南京)有限公司、浙江大学、之江实验室、中国科学院计算技术研究所 编写编写组组成员成员 蚂蚁科技集团股份有限公司:梁磊、张志强、彭晋、赵培龙、郭智慧、何雨潇、袁琳 同济大学:王昊奋 天津大学:王鑫、王翔 恒生电子股份有限公司:白硕、陈佼 浙江创邻科技有限公司:周研、张晨 达观数据有限公司:王文广、贺梦洁 海乂知信息科技(南京)有限公司:胡芳槐、丁军 浙江大学:陈华钧、张文 之江实验室:章衡 中国科学院计算技术研究所:白龙 语义增强可编程知识图谱 SPG白皮书 推推 荐荐 语语 知识图谱是早期专家系统和语义网技术的延续,自 2012 年 Google 将其应用于搜索推荐领域以来,知识图谱技术在各领域得到了广泛应用。然而,长期以来知识图谱语义表示和技术框架并未有显著进步,这大大提高了各领域图谱的构建成本和业务落地的复杂度。我很高兴地了解到,蚂蚁集团和 OpenKG 合作,结合蚂蚁集团多年的知识图谱工业实践提出了兼容大数据体系和 AI 技术体系的知识语义框架SPG。SPG具有可编程性和框架化特性,具备较强的跨场景迁移能力,可以加速知识图谱的产业化落地,是知识图谱技术框架的突破性技术。自 2022 年底以来,ChatGPT、GPT4 等大模型掀起了人工智能的新浪潮,但当前大模型仍然存在知识幻觉性、复杂推理谬误和计算成本高等问题。符号化知识图谱的技术体系作为大模型的补充,可以实现可控的内容理解和内容生成,为大模型产业落地提供正确的领域知识和复杂推理能力的支持。期待 SPG 成为知识图谱领域的重要技术,结合蚂蚁集团多元化场景的持续打磨以及与 OpenKG社区力量的共建,推动产业在知识图谱领域的发展,促进不同领域之间的知识互通互联,促进大模型和知识图谱技术可控低成本产业落地。清清华大学人工智能研究院知识智能研究中心主华大学人工智能研究院知识智能研究中心主任任、教授、教授 李李涓涓子子 知识图谱作为符号化的知识表示体系,具备高阶语义、结构严谨、复杂推理等能力。在大语言模型(LLM)飞速发展的时代,知识图谱与 LLM 之间有丰富的互动关系,一方面 LLM 为低成本构建大规模知识图谱提供了有力工具,能否借助 LLM 构建超出现有知识图谱规模 1-2 个数量级的世界知识图谱成为一个有趣的研究问题;另一方面知识图谱的高质量、可解释的知识表示和推理能力,也为解决 LLM的空想问题提供了一种可能的探索方向。传统知识语义框架,如 RDF/OWL 及 LPG 等在知识管理方面有显著不足,很难支撑 LLM 时代的知识图谱构建与应用。SPG 是蚂蚁知识图谱团队多年业务实践的总结,它有效克服了 RDF/OWL及 LPG 的在知识管理上的不足,是一种新一代知识语义框架,借助 SPG 语义规范及可编程范式构建引擎架构,可以支持各领域图谱的高效构建和跨领域的知识语义对齐。知识图谱的未来发展,离不开活跃的社区,未来蚂蚁将在 SPG 以及世界知识图谱构建与演化等方面持续与 OpenKG社区合作,加速其技术成熟和产业落地。我们也欢迎产学各界同仁积极参与共建,共同促进知识图谱技术的成熟进步,促进不同领域之间的知识互通和流通,构建知识图谱 LLM双驱动可控落地的新一代 AI技术体系。蚂蚁集团技术研究院院长蚂蚁集团技术研究院院长、副总裁、副总裁 陈文光陈文光 语义增强可编程知识图谱 SPG白皮书 蚂蚁集团拥有多元化的业务场景和海量的领域数据。SPG框架是基于蚂蚁多年的知识图谱实践经验而打磨而成的。由于蚂蚁业务数据具有多源异构、时序动态和关联复杂等特点,这为大规模知识图谱构建提供了良好的孵化环境。SPG框架通过对多业务、多场景问题的抽象总结,定义了新一代企业级知识管理范式,具备较强的企业级应用适应性。它通过数据的知识化,将海量数据转化为知识,并通过复杂模式计算和图学习推理等方法解决高维业务问题。SPG框架为高效的领域图谱构建和跨领域图谱语义对齐提供了更多创新的可能性。此外,在大型模型时代,通过基于 SPG构建的图谱框架和领域图谱,可以实现大型模型在安全风控、小微信贷、数字金融等业务领域的可控落地。通过与 OpenKG 的合作,我们希望通过社区和产业的力量加速推进 SPG 框架的完善,促进知识图谱技术的成熟,并推动产业的发展。在这个过程中,我们欢迎各位同仁积极参与共建,共同推动知识图谱技术的发展和创新,真正实现大模型与知识图谱双向驱动的可控 AIGC,从而加速产业的落地。蚂蚁集团机器智能部负责人、研究员蚂蚁集团机器智能部负责人、研究员 周俊周俊 语义增强可编程知识图谱 SPG白皮书 序序 言言 知识图谱作为一种建模和管理数据的方法,已经在企业数字化过程中发挥了重要作用。然而,随着企业对知识图谱的需求不断增加,传统的知识图谱技术面临着一些挑战。基于对当前知识图谱技术的深入研究和实践经验的总结,蚂蚁集团发现,传统的知识图谱技术在应对复杂的业务场景和大规模数据时存在一些局限性。例如,知识图谱的构建需要统一的工业级知识建模框架,以便适应不同领域的需求;知识图谱的推理能力需要更加高效和可解释;知识图谱的构建和推理过程需要更好的可编程性和跨场景迁移性。作为蚂蚁集团知识引擎的负责人,梁磊带领团队研制了一个工业级知识图谱语义框架SPG(Semantic-enhanced Programmable Graph)。当他第一次向我介绍蚂蚁的思考和 SPG 时,我惊喜地发现大家不约而同地在解决类似的问题,原来约定的 1 小时会议也慢慢演变成了一个上午的深度交流。之后我愈发感觉我们整合力量去扩展 SPG 来应对大模型时代新的机遇和需求,并向整个社区开源这个一站式全新的知识图谱平台工具。当我将这个想法告诉了梁磊,他和蚂蚁集团非常支持,我们也积极推进 OpenKG的各个研发力量和蚂蚁知识图谱团队的合作,最终形成了一个虚拟团队开展了后续的双周交流,设计规划和研发工作。SPG 框架以属性图为基础,融合了 RDF/OWL 的语义性和 LPG 的结构性,兼具语义简洁和大数据兼容的优势。通过 SPG 框架,我们可以实现知识的动态到静态自动分层、领域内知识的唯一性和知识之间的依赖关系定义。同时,SPG框架还提供了可编程的范式,支持快速构建新的领域图谱和跨场景迁移。其在解决典型问题和场景方面具有广泛的应用价值。在黑产图谱和产业链事理图谱中,SPG框架可以帮助企业更好地识别和应对黑灰产对抗,提高风险防控能力;在知识推理和智能问答中,SPG框架可以提供更加准确和可解释的推理结果,提升用户体验和决策效果。在本白皮书中,我们将详细介绍 SPG 框架的设计原理、技术模块和应用案例。我们希望通过这份白皮书,能够为读者提供一个全面了解 SPG 框架的机会,并激发更多的讨论和合作。我们相信,SPG框架将为企业数字化提供更加强大和灵活的知识图谱技术支持,推动知识图谱技术的发展和应用。最后,我们要感谢您对本白皮书的关注和支持。如果您对 SPG 框架或知识图谱技术有任何问题或建议,欢迎随时与我们联系。让我们一起开创新一代工业级知识图谱的未来!谢谢!王昊奋、梁磊和王昊奋、梁磊和SPG团队团队 语义增强可编程知识图谱 SPG白皮书 目目 录录 第 1章 从数据化到知识化:企业深化竞争优势,图谱技术与时俱进.1 1.1 知识图谱作为新一代企业级知识管理范式的期待.1 1.2 从二元静态到多元动态:知识管理模式的跃迁.2 1.3 与领域知识结合为 AI可控、可靠落地提供了新思路.4 1.4 知识图谱技术体系的发展需与时俱进.5 1.5 基于 SPG的工业级知识图谱引擎.6 第 2章 基于属性图的知识管理存在的问题.8 2.1 典型案例 1:黑产知识图谱.8 2.2 属性图应用于黑产图谱所存在的问题.11 2.3 典型案例 2:金融事理图谱.11 2.4 属性图应用于事理图谱所存在的问题.15 2.5 知识建模中结构定义与语义表示的耦合导致的复杂性及异构性.16 2.6 对领域知识多元异构性表达能力不足.18 2.7 知识间逻辑依赖带来的一致性及传导推理问题.20 2.8 面向非完备数据集的图谱构建与演化问题.22 2.9 无语义不可编程的属性图所存在的问题总结.24 第 3章 语义增强可编程框架 SPG.25 3.1 SPG语义框架模型.25 3.2 SPG分层架构.27 3.3 SPG的目标能力.27 第 4章 SPG-Schema层.29 4.1 SPG-Schema总体架构.29 4.2 节点和边的语义增强.34 4.3 谓词及约束的语义增强.38 4.4 规则定义的语义增强.44 4.5 SPG-Schema与 PG-Schemas的关系.46 4.6 SPG-Schema总结.47 第 5章 SPG-Engine层.48 5.1 SPG-Engine架构.48 语义增强可编程知识图谱 SPG白皮书 5.2 SPG2LPG Translator.49 5.3 SPG2LPG Builder.51 5.4 SPG2LPG Executor.52 第 6章 SPG-Controller层.60 6.1 SPG-Controller架构与工作流.60 6.2 解析编译与任务规划.61 6.3任务分发与调用.61 第 7章 SPG-Programming层.64 7.1 SPG语义可编程架构.64 7.2 数据到知识的生产转换.65 7.3 逻辑规则编程.66 7.4 图谱表示学习.67 第 8章 SPG-LLM层.69 8.1 SPG-LLM自然语言交互架构.69 8.2 自动抽取和图谱自动化构建.69 8.3 基于大模型的领域知识补全.71 8.4 自然语言知识查询与智能问答.72 第 9章 SPG驱动的新一代认知应用案例.73 9.1 SPG驱动的金融事理图谱.73 9.2 金融事理图谱 SPG与 LPG的对比.78 9.3 SPG驱动的黑产知识图谱.78 9.4 黑产知识图谱 SPG 与 LPG 的对比.84 第 10章 紧跟新时代认知智能的 SPG.85 第 11章 展望 SPG的未来.87 参考文献.90 语义增强可编程知识图谱 SPG白皮书 1 第第1章章 从数据化到知识化从数据化到知识化:企业深化竞争优势,图谱技术与时俱进企业深化竞争优势,图谱技术与时俱进 在企业的数字化过程中,积累了海量的数据,既包括文本、图像、视频、音频等非/半结构化数据,又包括用户行为、商品订单、产品服务、商户画像等结构化数据,还包括为支撑业务发展采买的专业知识库、外部渠道获取的行业数据等。面对海量数据,企业需要不断地为用户创造价值,同时实现高效的经营管理和风险控制。这对企业的数字化基建提出了很高的要求,也为知识图谱(Knowledge Graph,KG)、大语言模型(Large Language Model,LLM)等 AI技术提供了多样化的落地场景,也带来了新的机遇和挑战,AI 技术可以帮助企业从海量数据中快速发现规律、分析趋势、预测未来,从而更加精准地了解客户需求、优化产品设计、提升生产效率,还可以帮助企业进行智能风险管理、反欺诈识别等。而企业内因业务发展、部门差异等又广泛存在数据孤岛、数据一致性冲突、数据重复等问题,为提升数据利用效率,需要加强数据管理和应用,提高数据的利用率和价值。面对海量数据,企业需建立应用友好的管理范式,按业务模型定义数据结构,明确语义、消除歧义、发现错误等;面对数据孤岛,企业也期望建立数据孤岛的连接机制,实现跨系统、跨部门的数据共享和协同利用;面对口径差异,企业需建立标准化的数据和服务协议,以实现高效的数据协同、专家经验协同、人机协同等。通过更高效的数据管理机制,标准化数据建模、消除歧义提升一致性、连接数据孤岛,是企业数字化升级面临的关键问题,更高效的组织管理企业数据,利用 AI技术充分挖掘数据价值,已成为企业未来增长的核心内驱力。1.1 知识图谱作为新一代企业级知识管理范式的期待知识图谱作为新一代企业级知识管理范式的期待 作为 AI 技术重要分支的知识图谱因可以帮助企业更好地组织和管理知识数据,通过对数据进行语义化建模,构建知识图谱,企业可以更加直观地了解数据之间的关系,从而更好地发现隐藏在数据中的价值,也受到了越来越多的青睐。Gartner 2021 年预测以知识图谱技术为基础的 Data Fabric 是下一代数据架构,Neo4j,Cambridge Semantic 也分别发布白皮书介绍基于知识图谱的新一代知识管理范式,Neo4j 认为知识图谱是语义增强的图,通过一定范式对图进行语义增强以帮助企业从多维度深度关联中发现更多隐式线索。Cambridge Semantic认为知识图谱是 Data Fabric的杀手级应用,知识图谱对真实世界的实体、事实、概念以及它们之间的关系建模,提供面向不同角色一致的建模能力,能更精确的表示组织数据,它通过强 Schema 驱动可有效连接数据源和图存储及下游 AI/BI 任务,连接数据孤岛,按需集成、按需加载、无缝衔接。自 2018 年以来,企业数字化垂直领域的图谱应用越来越广泛,如金融、医疗、公安和能源等领域1,2,3。一份报告4显示,到2026年,中国图谱市场空间将达到290亿元,其中金融和公安是主要的拉动力量。企业数字化中的知识图谱应用,以商家图谱商户风险防控为例,因对中小商户、新用户、沉睡户等薄数据客群的语义增强可编程知识图谱 SPG白皮书 2 画像覆盖和风险洞察1的需要而对知识的深度上下文(即 Deep Context)有更多感知要求,企业级知识管理正在实现从二元静态向多元动态的模式跃迁。1.2 从二元静态到多元动态:知识管理模式的跃迁从二元静态到多元动态:知识管理模式的跃迁 知识图谱是一种建模和管理数据的方法,它利用图结构、知识语义和逻辑依赖,提供存储、推理和查询事实知识的能力。早期的应用主要是从公开语料中提取百科类三元组来构建静态知识图谱,以提高搜索推荐的效率和体验。随着知识图谱应用从搜索推荐的C应用转向风险防控/经营管理的企业级 B/C 联动的领域应用,因前文所述长尾稀薄客群画像覆盖和风险洞察的需求,领域图谱需要具备全面性、正确性和可解释性等特点,图谱数据的来源也从文本语料转向了企业多源异构数据。这些数据包括非/半结构化的 UGC/PGC内容、业务经营沉淀的结构化基础画像、交易事务、日志记录等,以及各领域特有的业务专家经验。围绕增长经营和风险防控,构建完整的客户、物料、渠道等的立体画像,以商家为例,图 1展示了构建过程的示意图。图 1 商家实体构建的过程 当前,商家已经突破了静态门店的限制,收款码使得任何人都可以成为商家,但是这也增加了风险防控的难度。仅仅通过文本概念标签来进行风险防控是没有意义的,添加交易、社交等实际事实关系也远远不够。如图 2 所示,需要实体多要素的深度信息协同才能发现更多有效的关联。图谱构建的要求也从静态常识转向 Deep Context 动态时空。这既需要基于介质(如 WIFI、电话、Email等)来实现关系传导,又需要对地理连续空间(Spatial)实现边界化的聚集关联5,6,还需要跟踪中/宏/微观事件的多元传导脉络,实现实体间稀疏关系语义可解释的稠密化。语义增强可编程知识图谱 SPG白皮书 3 图 2 Deep Context语义扩展的基础事实图谱 在业务应用方面,知识图谱可以用于构建知识推理任务,例如:1)商品推荐:通过类目、意图、时空等语义连接人-商品、人-商户、商品-渠道等,实现语义联想的商品召回和表征迁移;2)eKYB(Electronic Know Your Business):通过介质关联、行为事件和时空聚集,识别商户同人、同店等,实现有效的画像补全和风险洞察。此外,基于知识图谱还可以实现结构感知的可控文本生成7,例如:1)反洗钱智能审理识别定性和报文生成:结合 Deep Context 预测风险行为、挖掘团伙,通过资金链、时空聚集、设备关联等还原团伙/异常结构,并通过知识图谱到文本的转换输出可解释报文;2)AI 电话唤醒受害者:将识别到的可疑设备、钓鱼域名/AppID、团伙等事实关联传导到交易用户,生成沟通话术提醒用户并拦截风险。这些应用旨在实现更加智能化和精准化的风险控制和业务推理,提高商业运营的效率和价值。图 3 知识表示从二元到多元的演进 在商户经营与风险防控的案例中,知识管理需要具备较强的上下文感知能力。常见的常识知识图谱由于卸掉了可感知上下文的信息和时空关联,在实际应用中,若论元要素出现了多元化或相互交织,由于无法感知个体差异,仅使用概念层归纳,推理应用的效果会大打折扣8。类似的问题也出现在公安反诈、保险理赔、医疗问诊、企业授信等领域中。因此,企业垂直领域对知识语义增强可编程知识图谱 SPG白皮书 4 图谱的期望发生了较大变化。知识表示也从图 3 所示的二元静态结构发展到时空多元动态关联,以更好地适应实际应用的要求。1.3 与领域知识结合为与领域知识结合为AI可控、可靠落地提供了新思路可控、可靠落地提供了新思路 中国工程院院士潘云鹤认为,在AI走向2.0的过程中,数据和知识是两个最重要的关键元素。处理大数据和多重知识,形成了 AI 发展的两类核心技术,知识可以有效助力人工智能认知、决策和学习。在数字化转型的过程中,通过对海量数据的抽提或业务经验的积累,沉淀大量领域知识,比如事实知识、专家经验、操作流程等,这些知识存在于各个行业,也难以公开获取,蕴含着巨大的价值,将行业专家知识与AI有效结合可解决AI应用过程中可控、安全、可解释等问题。2022年底,ChatGPT 火爆全球,随后国内也掀起百“模”大战。然而,由于 LLM 是一种黑箱概率模型9,难以捕获和获取事实知识,因此存在较多幻觉和逻辑错误10。与此同时,知识图谱的事实性、时效性和逻辑严谨性成为了 LLM 的绝佳能力补充。通过将知识图谱作为约束和复杂推理能力的来源,LLM KG的应用范式引起了广泛关注,并催生了许多应用探索和研究9,10,11。表 1 LLM和 KG在企业数字化不同场景下的应用 在各种应用场景中,以商户经营与风控为例,算法任务可以分为以下五个方面:1)交互应用:包括消费端(C)产品上的商品/服务透出和供应端(B)产品上的服务/商家入驻等;2)经营管理:企业经营、商户经营所必须的经营分析、物料管理等;3)风险防控:黑灰产对抗是企业经营永恒的话题,企业必须增强对薄数据客群的认知覆盖和对新风险模式的快速识别;4)知识构建:将外部非/半结构化、结构化数据转换成领域知识;5)知识挖掘:企业促增长和控风险,不断提升主体要素、跨主体关系的长尾覆盖。表格 1 中列举了不同分类下 LLM、KG 及 LLM 与 KG 相互增强可能的落地应用。这些应用可以帮助企业在商户经营和风控领域中获得更好的效果和成果。语义增强可编程知识图谱 SPG白皮书 5 图 4 大模型与知识图谱的相互驱动 总体而言,以商户经营与风控应用场景为例,LLM和KG应用的算法任务主要可以分为三类:1)LLM only:由于领域专业性和事实性的要求,LLM 在商户经营与风控领域尚未有明确可落地的场景;2)LLM KG双驱动:主要体现在知识问答、报告生成等用户交互类场景中,比如前文提到的 AI 电话唤醒受害者和反洗钱智能审理报文生成等。此外,还有知识要素抽取、实体链指等知识构建类场景。文献10中详细描述了LLM与KG的双驱动,包括KG增强的LLM、LLM增强的KG以及 LLM KG框架协同三个方面,如图 4所示;3)KG only:在推理决策、分析查询、知识挖掘类等不需要复杂语言交互和意图理解的决策/挖掘场景中,基于图谱结构化知识直接做图表征学习、规则推理、知识查询等。通过框架的协同实现 LLM 与 KG 双驱动,支持跨模态知识对齐、逻辑引导知识推理、自然语言知识查询等。这对 KG 知识语义的统一表示和引擎框架的跨场景迁移提出了更高的要求。1.4 知识图谱技术体系的发展需与时俱进知识图谱技术体系的发展需与时俱进 知识图谱自身技术框架的发展和对其在新知识数据管理范式、大模型的双轮驱动的期待并不完全匹配,图谱技术的发展也需要与时俱进。具体而言,存在以下问题:首先,缺乏工业级统一的知识建模框架。尽管资源描述框架(Resource Description Framework,RDF)/Web 本体语言(Web Ontology Language,OWL)这种强语义、弱结构的技术框架已经发展多年,但并未出现成功的企业级/商业化应用。相反,强结构、弱语义的属性图(Labeled Property Graph,LPG)成为了企业级应用的首选。其次,缺乏统一的技术框架2,导致跨领域迁移性较差,由于工具繁多、链路复杂,每个领域的图谱构建都需要从零开始。除了以上两点,其他方面也存在较大的技术挑战,例如表 2 所列。语义增强可编程知识图谱 SPG白皮书 6 表 2 新范式下图谱面临的技术挑战 知识图谱的目标是构建一个机器可理解、可推理的数字世界,实现知识语义的统一表示和框架化能力分层,以支持不同领域图谱的快速构建和跨场景迁移。这是图谱产业化加速过程中必须解决的基本核心问题。1.5 基于基于SPG的工业级知识图谱引擎的工业级知识图谱引擎 蚂蚁知识图谱平台经过多年金融领域业务的支撑,沉淀了基于属性图的语义框架语义增强可编程框架(Semantic-enhanced Programmable Graph,SPG)。它创造性地融合了LPG结构性与RDF语义性,既克服了 RDF/OWL 语义复杂无法工业落地的问题,又充分继承了 LPG 结构简单与大数据体系兼容的优势。首先,SPG明确定义了数字世界知识的概念。知识是人类对物质世界和精神世界探索结果的总和,数字世界的机器对知识的认知该如何定义?SPG通过形式化描述和客观事实两个视角,明确了数字世界知识的定义,结合图 5的说明,从三个维度对形式化表示进行了定义,分别是:1)领域类型领域类型结构结构约束约束。在客观世界中,任何事物(Thing)都属于至少有一个类型(Class),数字世界也是如此。基于 SPG的领域结构类型约束(SPG Domain Model Constrained,SPG DC),可帮业务实现知识的主体分类和由动态时空到静态常识的自动分层。2)领域内领域内实例实例唯一性唯一性。在客观世界中,不存在完全相同的两个事物,数字世界也当如此。然而,由于数字世界存在多源异构和数据拷贝等问题,导致大量数据存在冗余和重复。SPG Evolving利用 SPG Programming 知识生产 SDK 框架提供的实体链指、概念标化和实体归一等算子能力,结合自然语言处理(Natural Language Processing,NLP)和深度学习算法,提高单个类型(Class)中不同实例(Instance)的唯一性水平,支持领域图谱的持续迭代演化。3)知识间知识间逻辑逻辑依赖性依赖性。在客观世界中,任何事物都存在着和其他事物由此及彼的关联,不存在不与其他事物关联的事物,数字世界也不例外。SPG Reasoning 利用谓词语义和逻辑规则来定义知识之间的依赖和传递,并提供可编程的符号化表示,以方便机器理解。语义增强可编程知识图谱 SPG白皮书 7 图 5 SPG知识语义框架 然后,SPG充分融合了 LPG的优势,并通过 SPG Compatible兼容大数据体系。基于 SPG构建的知识引擎在图谱构建阶段与大数据架构兼容衔接,提供了知识构建算子框架,实现从数据到知识的转换。在存储阶段,可适配属性图以充分利用其存储和计算能力。在推理应用阶段,形式化成了 KGDSL(Knowledge Graph Domain Specific Language),机器可理解的符号表示支持下游规则推理、神经/符号融合学习、KG2Prompt联动LLM知识抽取/知识推理等。同时,通过架构的分层,新的领域图谱构建只需定义 Schema、准备数据、开发生产/推理 Operator即可。知识图谱技术依然处于快速发展时期,也处于关键的技术拐点期,统一的技术框架能大幅降应用门槛促进生态的繁荣。为此,本白皮书也重点从企业级知识管理这个最根本的问题出发,推导知识管理、图谱构建与推理应用的全生命周期,以期实现工业级可迁移的知识表示与引擎框架。如前文所述,LPG 属性图因其兼容大数据架构的独特优势成为绝大多数企业知识建模的首选,本白皮书也是从属性图知识管理的实际业务问题出发,推导企业级知识管理所必须的语义能力。语义增强可编程知识图谱 SPG白皮书 8 第第2章章 基于属性图的知识管理存在的问题基于属性图的知识管理存在的问题 在企业级知识图谱应用中,如第 1 章所述,属性图因其高效和对大数据体系的兼容性,使其成为领域图谱建模的首选,以实现快速落地业务价值。虽然基于属性图的图谱构建前期成本较低,但随着业务快速发展和知识体量的大幅增加,因其知识语义及管理能力的缺失,属性图的种种弊端会逐步显露。首先,知识模型的变更演化变得越来越困难,Schema 变得越来越复杂。其次,由于点/边模型的灵活性,带来了大量冗余的类型创建和重复的数据准备,导致不同关系/属性之间逻辑的一致性和合理性也越来越难以维持。第三,朴素的属性/关系模型难以刻画事物(Thing)的内在语义和事物之间的语义依赖。这给图谱业务项目的持续迭代升级带来了较大的障碍。当规模膨胀到难以为继时,不得不新创建项目重新构建 Schema 和图谱数据;业务应用阶段也不得不添加大量硬编码,实现业务语义的解析和对齐。本章节将结合黑产风控和企业事理图谱两个业务案例,介绍业务应用的背景和主要痛点问题,并对相关问题进行归类总结。接下来,我们将在第 3/4/5/6/7章尝试提出解决方案,最终在第 9 章中提供两个案例基于 SPG 的完整方案,以期在应用属性图的优势的同时,规避其弊端,为企业级图谱应用提供高效的语义建模和知识管理工具。2.1 典型案例典型案例1:黑产知识图谱黑产知识图谱 为了实现黑产图谱的主要业务目标,通过构建用户相关的风险画像及设备、介质、交易等相关的关联网络,并根据显式或隐式关联挖掘出黑产涉案人员并进行风险管控措施。以 App 网络风险防控为例,某 App 被发现涉嫌风险应用(赌博、色情、欺诈等),期望可以通过该风险 App 的关联网络实现以下两个目标:1)挖掘背后的风险人员,根据挖掘线索进行对应的风控策略。2)挖掘其他未被发现风险的 App,阻断风险的蔓延扩大。然而,在实践中,黑产涉案人员通常会伪装或隐匿其行为,例如使用大量虚拟设备、虚拟 IP、虚拟身份等,这些行为会被掩藏在正常用户中。因此,本章节将以表3、表4、表5、表6列举的部分数据举例说明,提炼当前属性图知识管理所遇到的问题。其中*娱乐为被举报的赌博应用,王武应当被判定为赌博应用开发者;李四应当为赌博公司 B的老板;张三为李四的同人用户。表 3 黑产图谱用户实体基本信息 语义增强可编程知识图谱 SPG白皮书 9 表 4 黑产图谱持股关系基本信息 表 5 黑产图谱应用实体基本信息 表 6 黑产图谱转账关系 数据层面的直接表达和业务期望之间存在较大的差距,具体表现为:不同主体之间的深层次关联难以体现:无法从数据的构造中直接得到应用和用户、应用的关联关系。同一主体不同刻画维度的对齐:自然人和用户不能直接等价,例如本例中张三和被标记为赌博老板两个用户属于一人。在业务实践中,虽然应用和用户、应用和应用之间不存在直接的关联关系,但往往可以通过一些设备、证书之类中间介质间接关联;同样用户和用户之间也可通过同手机、同设备等方法发掘同人。业务人员为了应对如上复杂的网络关系,图谱一般会如下演进:第一步:将表数据转换成为属性图表示。图 6 基于数据表直接转换成属性图构建图谱 语义增强可编程知识图谱 SPG白皮书 10 图 6 将表数据映射到图谱数据结构,此时已经能够根据多跳关系得到风险应用和风险人员的关系,但仍需要业务专家进行分析研判,无法直接得到业务目标,业务目标应当如图 7所示。图 6/图7中实体实例的文字结构为:类型/实例属性名=属性值。图 7 业务期望通过隐式推导得到的图谱结构 业务所需的图谱数据结构通常与原始图数据不同。原始图数据是客观的基础数据,而业务所需的数据是基于客观数据挖掘出的关联关系,也需要重新融合到原始数据中。为了挖掘这些隐式关联,业务专家制定了一系列规则,例如同用户的判定规则、用户对应用的拥有规则和应用开发者关系规则等,如果两个用户使用了相同的手机号或设备,则认为他们之间存在同手机或同设备关系;如果一个用户对一个法人存在控股关系,则该法人发布的 App 实际拥有者为该用户;如果一个用户持有多个设备均安装了同一个App,那么该用户为该App的开发者。通过这些规则,基于外挂大数据系统完成规则计算,新增类型、新增关系得到业务所需的图谱数据结构,同时保留原始基础信息的定义,以支持业务更好的决策和风险控制。图 8 黑产图谱中融合业务规则后 Schema差异 语义增强可编程知识图谱 SPG白皮书 11 如上示例展示了业务决策过程中冗余创建的一部分。在知识图谱管理中,从基础事实中挖掘复杂的隐式关联是基本需求。然而,我们需要解决如何避免由于业务目标细化而导致 Schema 持续膨胀的问题,并确保规则计算与基础事实的逻辑一致性。这些都是知识管理必须解决的基本问题。2.2 属性图应用于黑产图谱所存在的问题属性图应用于黑产图谱所存在的问题 点边独立数据准备造成点边独立数据准备造成图谱图谱构造构造成本的大幅增加。成本的大幅增加。为构造黑产图谱所需实体、关系,因点、边数据独立准备的要求,需提供远远大于原始 4张表的数据。不同图谱间难以直接复用造成的重复数据准备。不同图谱间难以直接复用造成的重复数据准备。在本业务中,需要构造资金转账和股权结构的图谱数据。通常情况下,这些数据已经作为基础数据存在于其他图谱中。实体实体及要素及要素之间存在逻辑依赖带来之间存在逻辑依赖带来的的不一致不一致问题。问题。在业务建模的图中,图 7 和图 8 的新增类型、关系均是从图 6 的已有数据衍生产出。当基础数据发生变更时,此类衍生的数据必须同步变更,否则必然会出现图谱数据不一致问题。业务目标的迁移变化导致业务目标的迁移变化导致图谱结构的图谱结构的持续膨胀。持续膨胀。在本案例中,通过介质隐式关联的方式挖掘应用背后的涉黑用户。但是黑产对抗更新快,必然会频繁更新、创建不同的实体、关系类型。图谱 Schema及实例的规模会持续的膨胀扩展,最终变得难以管理。因此,在构建图谱时,我们需要考虑这些问题并采取相应的措施加以解决,优化数据转换过程、提高图谱数据的复用性,在设计 Schema 时支持知识之间的逻辑关联表达提升业务语义迁移的表达效率。帮助我们构建更加高效、可靠和易维护的图谱系统。2.3 典型案例典型案例2:金融事理图谱金融事理图谱 事理图谱的知识管理过程更注重对事件之间顺承关系、因果关系、条件关系和上下位等事理逻辑的刻画,因此事理图谱的基础是事件,实践应用中一般是从事件与图谱的应用逐步发展到事理图谱:捕获企业相关的生产、经营事件,提取事件的关键要素,实现事件要素与内部企业/产业链图谱之间的联动,构建风险事件与企业/产业链图谱之间联动的事理逻辑链,捕获到外部风险事件后能快速联动内部预警或风险处置。当一个金融领域的事件发生后,我们需要基于基础事实对事件进行推理,来尝试得到以下问题的答案:事件自身性质及影响程度 涉事主体有哪些?对其周边关联实体产生何种影响 关联主体是否会进一步衍生其他影响,如何影响 语义增强可编程知识图谱 SPG白皮书 12 图 9 事件影响传导示意图 例如,某生物科技有限公司被曝出生产的化肥重金属严重超标的事件,其本身的利害程度需要进行进一步的影响分析。针对具体事件进行分析时,分析师需要基于对事件的理解,在基础事实知识上反复查询洞察,并结合常识性知识得出事件影响结论。然而,各种推理逻辑及数据往往呈碎片化分散在各处,需要有效整合连接。因此,事理图谱的应用中存在诸多待解决的问题。对于该事件,需要分析其对企业关系网中哪些周边实体产生影响,影响路径及程度如何,以及对其他实体的影响是否会衍生新的事件,从而进一步扩大影响范围。问题问题1:事件:事件分类分类纷繁复杂,仅靠先验知识进行预先定义事件分类体系无法充分覆盖实际应用纷繁复杂,仅靠先验知识进行预先定义事件分类体系无法充分覆盖实际应用场景场景 传统的做法是通过业务专家定义多层次的事件类型,构建事件类型树,基于业务专家对权益市场、固收市场、宏观经济变化的理解进行事件定义、说明、分类,划分不同事件的边界。同时,事件可以定义为金融市场的“变化”,因此不同的事件类型背后往往也关联着一系列的金融指标。通过业务专家预定义一系列标签的形式组成一系列的“事件树”,再基于“事件树”和历史数据构建不同的金融事件传导网络。但这样的做法往往难以满足实际金融市场的需求,主要是由于下列几个原因:1、事件类型的理解不同。不同业务专家背景不同,沉淀出来的“事件树”往往存在无法统一的情况,甚至对于同一个事件的理解可能会有差异,不同类型的事件和事件之间的边界不清。2、静态的事件树难以满足金融市场的动态发展,无法应对新的金融事件类型的出现。特别是在 08 年金融危机后,全球经济进入新常态,国内经济也在近些年来不断体现出新的特征。例如,新冠疫情对全球经济和各个行业造成了重大冲击,但是以往的“事件树”中一般归类于“重大卫生安全”等类型,大量的业务分析视角也是将 2019 年的新冠疫情与 2003 年的 SARS 对比说明,借此分析未来的影响。然而,虽然两者都是“重大卫生安全”事件,但是无论从影响时间、影响范围等不同角度,它们的差异都非常大。语义增强可编程知识图谱 SPG白皮书 13 综上所述,由于金融事件的复杂性,仅仅依靠一组业务专家进行事件的预先定义,无法覆盖实际应用场景。我们需要一套体系动态生成衍生的金融事件体系。问题问题2:事件相互之间存在因果、顺承等多中关联关系,这种关联关系往往还需要通过实体网:事件相互之间存在因果、顺承等多中关联关系,这种关联关系往往还需要通过实体网络动态连接,需要更强大的描述能力络动态连接,需要更强大的描述能力 由于金融事件网络的复杂性,在相同的事件发生后,对于其它事件的影响方向可能也会不同,这往往取决于不同事件背后的实体与关系的差异,决定该事件的影响方向不同。举例来说 A 公司股价上涨,由于其扩大产能,资本市场对其未来发展看好。那作为其竞争对手的B公司,其股价到底是上涨还是下跌,往往会取决于多种因素,包括市场需求、产能扩大的规模、以及公司和竞争对手的相对市场份额等。假设公司 A 是一家半导体制造商,它决定扩大其生产能力。对于其竞争对手B来说,这可能是一个利好的消息。如果全球半导体市场需求强劲且供应紧张,那么 A 的产能扩大可能会有助于缓解这种供需失衡,从而稳定整个市场。在这种情况下,由于市场环境得到了改善,竞争对手B也可能因此获益。这种情况下的逻辑是:如果整个行业的需求超过了供应,那么任何增加供应的行动都可能对整个行业产生积极的影响,因为这有助于维持市场稳定并防止价格暴涨或其他可能导致市场不稳定的因素。另一方面,如果公司 A 是一家汽车制造商,并决定扩大其生产能力,这可能对其竞争对手B产生负面影响。在这种情况下,如果市场需求没有增长,A 的产能扩大可能会导致市场供过于求,进而引发价格竞争。因此,对于竞争对手B 来说,这可能会降低其销售量和利润,因此可以视为是一个利空的消息。这种情况下的逻辑是:如果一个行业的供应增长超过需求,那么这将导致供应过剩,可能引发价格竞争,进而影响所有厂商的利润水平。综上所述,由于金融事件网络的复杂性,在描述不同事件和事件之间传导关系的同时,需要借助其相关的实体网络进行动态链接,并基于此构建强有力的描述能力。问题问题3:如何更好地对事件的影响传播进行描述和分析:如何更好地对事件的影响传播进行描述和分析 由于金融事件推理的复杂性,因此需要从事件在实体网络传播和事件网络传播两个角度出发。以“公司 A 宣布破产/债券违约”为例,我们可以从这个事件的实体关系网络传播效应和事理网络的传播两个角度进行分析:1、实体关系网络传播效应:公司 A 的破产会直接影响其股东,尤其是大股东,他们的财务状况可能因此受损,从而进一步影响他们在其他公司的投资。此外,公司 A 的竞争对手可能会因其破产而受益,市场份额可能会有所提升。同样,公司 A 的供应商和债权人可能会因为公司 A 的破产而遭受经济损失。这些影响将在实体网络中传播,影响相关的其他实体。2、事理网络的传播:公司 A 的破产可能会被其他公司作为一个警示的例子,以防止类似的事情发生。比如,可能会引发相关行业或市场的风险防范意识增强,那些在财务管理、风险控制等语义增强可编程知识图谱 SPG白皮书 14 方面存在问题的公司可能会从中吸取教训,进行必要的改进。这个事件的影响会在事理网络中传播,形成新的事件并影响到其他的实体。这两个传播过程并不是孤立的,而是相互交织的。例如,公司 A 的破产可能会引起其竞争对手的注意,并影响它们的决策,从而在实体网络中引发新的事件。同时,这个新的事件也可能成为事理网络中的新节点,进一步影响其他公司的行为。问题问题4:金融事理推理的过程仅靠关系网:金融事理推理的过程仅靠关系网络数据并不足以支撑,往往需要用到大量的外部数据络数据并不足以支撑,往往需要用到大量的外部数据辅助分析辅助分析 在 2019 年发生了一件巴西淡水河谷的溃坝事件,这个事件造成了铁矿石价格上涨,从而又导致炼钢成本上涨。在整个事件影响链中,部分属于行业竞争关系的企业受益,利润有所上升。但对产业链的下游造成了负面影响,成本上升导致利润下降。图 10 淡水河谷溃坝事件影响链传导图 整个铁矿石产业链最上游是铁矿石开采,淡水河谷矿业公司(Vale S.A.)是全球矿业业界的重要参与者,其经营活动对全球的铁矿石供应和价格有重大影响。正是因为该公司在全球铁矿石产业链的重要性,导致了其溃坝事件导致了全球铁矿石价格上涨。中国作为基建大国同样也是全球最大的铁矿石消费国,对全球铁矿石市场的需求严重依赖,因此一家巴西的公司发生重大事件后,才会导致铁矿石产业链发生【原材料上涨】,并将该事件成功传导到了国内资本市场。另外一方面,铁矿石进口后,会在高炉中经过冶炼生成生铁,然后生铁在转炉中经过再炼生成粗钢,在这个过程中需要经过熔炼、转炉炼钢、脱气、连铸等过程。粗钢生产出来后,粗钢是钢铁产品的基础,可以根据需求进一步加工成各种不同的钢材,比如长产品包括钢筋、线材等,又如扁平产品如热轧卷、冷轧卷等,这些产品往往会用于汽车、家电、造船等行业,另外还包括管材(无缝钢管、焊接钢管等),除此之外还包括特钢、高强度钢等不同语义增强可编程知识图谱 SPG白皮书 15 产品。而在这些产业链上下游存在各种各样的中国上市公司,如宝钢、包钢、方大特钢等。具体的传导逻辑和影响,需要再结合论元的细节进行分析,分析内容包括:1、该企业本身是否有在衍生品市场进行对冲,如果有的话,对冲的货值有多少。2、该企业产品的市占率和细分产业的竞争格局如何,一般认为特钢的竞争格局相对普通钢铁会更好。3、该企业是否有能力将上游生产压力,转移到下游等等。国内是否有上游替代品可以替代。只有将上述论元进行细颗粒度拆分后,并引入相应的外部数据,才能构建完整的传导网络。2.4 属性图应用于事理图谱所存在的问属性图应用于事理图谱所存在的问题题 通常情况下,对事件的影响分析,都是分析师基于对事件的理解,在基础事实知识上反复查询洞察,再结合常识性知识得出事件影响结论。由此可见,整个事件的推理过程都在图谱之外,因为基础事实知识里并不具备常识和推理逻辑,纯粹的事件图谱也无法表达事件的脉络。在实际应用中为了完成事件推理,各种逻辑不得不分散在图谱之外的各种地方,再通过各种图谱外挂的方式运行推理。这样的应用方式,必然给事理图谱带来了很多应用上的问题:预定义预定义Schema静态性和事件的动态性矛盾。静态性和事件的动态性矛盾。事件纷繁复杂,若是采用强 Schema结构约束的属性图,一般无法实现完成事件的预定义,只能针对限定场景;若采用 Schema free 属性图,则过度宽松模式会造成数据管理和使用成本越来越高。无法表达整个事件传递的事件脉络。无法表达整个事件传递的事件脉络。由于图谱中只有基础事实,没有事件的定义,更没有事件的传递关系,事件分析的专家规则更是无从谈起,自然也就没有办法表示出事件传导影响的整个脉络。要表达出事件脉络,不仅需要能将事件随时间的演化过程表达出来,更需要结合抽象实体将事件在事件域内通过抽象层级之间的关联性表达出来。图谱和推理逻辑分离难以评估推理逻辑正确性,更不利于推理逻辑的复用。图谱和推理逻辑分离难以评估推理逻辑正确性,更不利于推理逻辑的复用。由于Schema和推理逻辑分离,在维护基础事实数据时,就无法评估对外部推理逻辑执行正确性的影响。比如数据变更了属性名称,删除了关系等,有可能会造成存在图谱之外的推理逻辑运行失败。这样的问题在传统的事件图谱上是无法避免的。另外,推理逻辑可能是查询语句 脚本的组合,这些内容可能都管理在分析师各自的本地存储上,不利于将一些通用性强的推理逻辑形成复用。事件传导推理结论的可解释性差。事件传导推理结论的可解释性差。由于外挂推理逻辑可能是多条查询语句 脚本的组合方式,最终事件影响的实体计算出来的时候,是无法通过结果直观看到事件起因到结果的演绎过程,这时可解释性就成了黑盒,只有对查询语句和脚本进行理解才能明白推理逻辑。语义增强可编程知识图谱 SPG白皮书 16 2.5 知识建模中结构定义与语义表示的耦合导致的复杂性及异构性知识建模中结构定义与语义表示的耦合导致的复杂性及异构性 RDF/OWL 是语法层面的表示框架定义,导致较高的建模学习成本;在传统知识工程的本体建模中,要通过描述逻辑语法定义分类体系;属性图 LPG 语法元素简单,但仅是数据结构的声明;上述方法都没解决设计模式本身问题。在实际业务落地过程中,由于建模过程中数据结构定义和知识语义本体设计的耦合,导致建模时的决策困难。领域图谱的 Schema 设计是比较主观的,同一类主体因命名、粒度不同而定义为不同类型,普遍存在因 Schema 定义不同而带来异构性问题,阻碍了知识的传播和复用,也会进一步加剧知识的不一致性。2.5.1 因业务目标不同因业务目标不同带来带来实体类型颗粒度实体类型颗粒度差异差异导致导致的的重复构建问题重复构建问题 在黑产图谱的应用中,业务需要对 Person 实体进行分类,分别判定其是否是黑产人员,黑产人员又可划分成为赌博人员、庄家、洗钱等等,如图 11所示。图 11 黑产图谱建模过程中实体颗粒度扩散 同一图谱项目也会根据内部不同诉求再次新建实体类型,同实体多类型的诉求也通常会通过冗余新类型来解决,导致图谱项目及 Schema 越来越复杂,业务演进到某一阶段被迫删库重新设计,以黑产图谱为例:对不同对不同App分析的诉求:分析的诉求:黑产团伙像应用工厂一样,批量换壳生产大量 App,需要对 App进行分类细化类型,以便应对不同风控策略 对实体类型按需细化的诉求:对实体类型按需细化的诉求:团伙挖掘任务会把部分人是否是庄家、诈骗关联起来,单独衍生了 GamblingPerson、FraudPerson等类型,随着业务的发展实体的分类会继续细化。这部分问题通常和业务场景强相关,随业务变化而变化,随场景不同而不同。而从数据管理的角度看,这些 App 或 Person 使用了相同/相似的数据结构;但从业务逻辑视角又需要在语义层面语义增强可编程知识图谱 SPG白皮书 17 的类型细分。不同视角的 Schema/本体建模混在一起导致用户理解和维护成本持续升高。实体类型的冗余构建也增大了数据表的准备和维护成本。2.5.2 不同图谱对同一类实体定义不同不同图谱对同一类实体定义不同 以资金流转为例(跨图谱),如图 12所示。图 12 跨图谱融合示意图 在黑产图谱中,我们重点关注用户与用户、公司之间的交易关系,以便确认幕后黑手。而在资金图谱中,我们的重点是对资金流向进行分析,因此会对涉及到的资金产品部署追踪及管控策略,并将更细粒度的资金产品作为实体类型。在这两个场景中,我们都涉及交易关系的处理以满足各自的业务需求。但这里存在如下两个问题:不同业务对相同数据做类似处理,对于共性的需求无法沉淀,也无法将业务累积的经验共享,每个新接入的业务均需要重头开始准备数据,增加了业务使用门槛。跨图谱的知识共享,例如资金图谱中存在 BankCard 实体,因反洗钱、反诈等业务需求需要 BankCard实体时,无法隐私安全的使用资金图谱中的 BankCard。2.5.3 因构建成本带来的定义为属性、关系的抉择困难因构建成本带来的定义为属性、关系的抉择困难 在属性图模型下,每类实体、关系都需要独立的数据准备,M种实体、N种关系,因属性量的差异,需要准备 M N 种消息结构或数据表以完成图谱构建,而原始数据往往分布在Wifi 关系类型。2)为如上实体、关系单独数据准备,并需要为 Wifi生成独立的实体 ID。图 13 黑产图谱属性转关系需求 大量增加数据准备的复杂度,需要为每一类实体、关系单独准备数据,极端情况下若每个类型一张数据表,从 2张表变为 6张表,洗数据的工作量变大。假定有 m张实体表,平均每张实体表中有 n个属性列需要变为关系,那么我们需要从 m张表中,洗出总共 m*(2*n 1)张表,用户使用门槛变得很高。图 14 因点/边数据准备带来的成本膨胀 2.6 对领域知识多元异构性表达能力不足对领域知识多元异构性表达能力不足 在金融领域图谱落地过程中,存在用户行为、行业事件、宏观事件等时空多元的异构表达需求,如事理图谱既要表达单个事件的时空多元关联,又要建模事理层的因果、顺承、共现、结构等简单或复杂逻辑关联,基于 RDF/OWL 很难实现无损表达,超图(HyperGraph)12的引入能进一步缓解此类问题,但也没很好的和 RDF/OWL体系融合,加剧了用户应用和理解成本。语义增强可编程知识图谱 SPG白皮书 19 2.6.1 事件时空多元结构的表示问题事件时空多元结构的表示问题 事件多要素结构表示也是一类超图(HyperGrpah)无损表示的问题,它表达的是时空多元要素的时空关联性,事件是各要素因某种行为而产生的临时关联,一旦行为结束,这种关联也随即消失,如图 15所示。图 15 超图结构表示13 RDF-Star14的表示方法扩展了 RDF 对此类建模方式的表达,2022 年 W3C 也成立了 RDF-Star工作组,为 RDF 进一步打补丁。以事理图谱的应用为例,企业的一次安全生产事件,它的简单结构表示如图 16所示:图 16 基于 RDF-Star三元组的多元关联扩展 在三元组的表示形式下,第一步需结合时间要素扩展为才能进一步体现时间维度的约束,表示为。但事件关联往往是复杂的多要素组合,将描述事件的各个方面拆解成独立的元素,如图 16所示进一步对关系要素的拓展。企业中基于属性图构建领域图谱已发展多年,RDF-Star 如何在属性图中落地并没有解决方案,我们需要基于属性图构建时空事件超图的表示能力,才能构建事理图谱所需要的事件表达和推理能力。语义增强可编程知识图谱 SPG白皮书 20 2.6.2 事理顺承、组合、结构、逻辑依赖问题事理顺承、组合、结构、逻辑依赖问题 事理图谱有本体层,这意味着事件之间、事件和实体之间不仅有横向的由此及彼的关联,还有纵向的由特殊到一般/由一般到特殊的关联。横向关联是漫游、是联想、是类比,纵向关联是归纳、是演绎、是演化。所以,相应的架构,要在综合考虑到这些情况的基础上,慎重做出决定。具体到定义与实例化层面,又分为抽象实体、具体实体、抽象事件、具体事件这四块内容,物理上是联通的,是一张图,逻辑上则可以左右划分为实体域和事件域,上下可以划分为本体域和实例域,形成所谓“四象限”架构15。如图 17所示:图 17 事理图谱四象限 这里面临的主要问题是,事件模型与事理模型共存表示的问题,常见的事件图谱仅仅表示了卸掉了论元的裸事件的关联关系,但在企业级的应用中,事件实例中蕴含更加丰富的信息,如企业风险事件中包括了涉事主体、涉事行业、是否停产等信息,他们可以作为裸事件更详细的补充,两者互为增益。我们需要事件模型与事理模型的共存,而事件模型是一个时空多元的超图结构表达,事理层又存在因果、顺承、逻辑等可推理的组合关系,如 土地价格上涨导致财政收入增加,“A 省土地价格上涨”又是行政单位与抽象事件之间的二元组合,也应当可推导出“A 省财政收入增加”,财政收入增加又会级联到影响链的传播。类似的,还有论元之间的上下位之间的表达,如“加息”,“日元加息”等。最后可形成“事件抽象实体(上位)抽象实体(下位)/具体实体事件”的具体化路径。2.7 知识间逻辑依赖带来的一致性及传导推理问题知识间逻辑依赖带来的一致性及传导推理问题 领域图谱不同属性、关系之间也会存在隐式逻辑依赖关系,金融风控类的应用场景也需要通过建立属性要素之间的逻辑依赖来构建风险的自动传导能力,属性图模型下要求所有的关系、属性都必须提前清洗准备好。但往往会存在因计算时效性、逻辑正确性等带来的不一致问题,对多要素之间的逻辑关联依赖,这种问题也会更加明显,同时也增加了前置计算/构建的复杂度。2.7.1 因数据逻辑依赖带来的不一致和冗余构建问题因数据逻辑依赖带来的不一致和冗余构建问题 图 18简单示例了黑产图谱中因跨实体隐式逻辑联动导致属性错误问题。语义增强可编程知识图谱 SPG白皮书 21 图 18 隐式逻辑关联 从黑产发现的视角,业务定义了这样一条规则“当 A 公司发布的 App 被标记为黑产后,A 也需要被标记为黑产,如图 18b,公司和 App 都带有 mark 属性,当应用 A 被业务举报被判定为 black时,此时王武依然标记为 white,此时数据已经出现不一致,需要等待外部系统计算完成后一步更新,如图 18c,或人工干预手动介入处理,错误的数据或更新延迟会导致业务误判得出错误的结论,在更正期间图谱属于不可用状态。2.7.2 因逻辑依赖传递导致风险传导因逻辑依赖传递导致风险传导/透传受阻问题透传受阻问题 在2.3节的2019淡水河谷溃坝事件中溃坝事故导致原材料价格上涨,继而引发下游企业生产成本上升,最终导致下游企业利润下降的传导链条。从事理层的角度看,这个事件是从企业生产事故,传导到了产业链,再引发下游企业金融风险。在传导过程中,并不是简单的关系扩散,而是含有逻辑依赖的因果传递,并且在传导链条的每个事件节点上都还保有起因事件的关键要素,这些都是在基于基础事实的事件图谱中难以实现的,一旦出现逻辑依赖就会导致事件传导受阻。要构建事件风险的传导,需要有事件的触发机制、事件影响传递和传递规则。图 19 事件在实例间的影响传递 事件触发机制。事件触发机制。基于外部相关资讯抽取或对关键数据变动的监听得到结构化事件要素,得到事件实例。基于具体的事件实例,触发相应的事件传导规则。事件影响传递。事件影响传递。事件影响传递沿关系直接传播。如事理图谱中的企业安全生产事故的影响,通过事件实例的发生主体的产业特征,传递到其所属产业。事件的关系传递可以表达符合语义增强可编程知识图谱 SPG白皮书 22 什么条件的事件可以传递到另一个目标事件,条件中可以使用传递路径中关联子图查询得到的实体、关系的各种属性,如判断发生主体是否上市公司、公司的产业和下游产业等。传递过程中,判断逻辑中可以对当前判断条件所处位置的所有前序节点/关系的相关属性进行引用。如图 20 所示,在“价格上涨”中需要引用“淡水河谷溃坝事件”的主体的所属产业属性;在“成本上升”中需要引用“价格上涨”的产业的下游产业属性;在“利润下降”中需要引用“成本上升”的产业属性。图 20 基于规则的事件概念归纳及影响传递 2.8 面向非完备数据集的图谱构建与演化问题面向非完备数据集的图谱构建与演化问题 企业级知识图谱的构建往往是基于非完备数据集的,来源和构建策略都会不断变化,需要通过不断的迭代来持续提升覆盖率、准确率,减少冲突和错误。这种不完备性往往包括两个方面,数据来源的多源异构性及跨图谱的多元异构性,数据来源的多元异构性表现为同一个实体类型的不同实例、不同属性存在=1 个数据源,既要解决不同数据源的消歧、对齐、融合,又要根据不同的置信度策略做评估和选择实现数据源的可回溯、可量化。跨图谱的异构性表现为不同领域图谱中存在对同一类实体的重复定义,但因业务领域需求和数据的差异性又有不同,需要实现跨图谱的融合与链接。2.8.1 多源异构数据构建图谱的可靠融合、可信回溯问题多源异构数据构建图谱的可靠融合、可信回溯问题 在企业图谱应用中,同一个实体类型的不同属性、关系可能来源于不同的数据源,基于多源异构数据构建实体通常的做法为实体链指 和 实体归一,实体链指为每一次数据更新找到一个准确的唯一实体 ID,实体归一则是将档次更新的属性和归一后实体实现属性、关系的合并。结合事理图谱的案例如图 21 所示,事理图谱涉及的企业实体构建过程中,涉及到多种数据源的合并,如企业公告抽取、工商基本信息、法院公告等。语义增强可编程知识图谱 SPG白皮书 23 图 21 基于多元异构数据源的企业实体更新 企业实体定义一般为的状态,实际应用中出现属性值冲突时,需要根据来源(sourceType)、算法预测得分(score)等维度来决定如何保留或更新。比如 工商基础信息的置信度是最高的,需要实现无条件覆盖,但工商信息和企业公告的更新时效不一定一致,可能出现企业公告已抓取但工商信息还没同步的情况,需要在属性要素上保留二级的描述信息,可形式化表示为:as p,为 p添加 p.sourceType,p.score以及在 Schema上记录 p的覆盖规则,比如:p.fuseRule=sourceType=工商信息;score p.score。2.8.2 跨图谱融合的实体对齐、实时更新及融合跨图谱融合的实体对齐、实时更新及融合/溯源问题溯源问题 跨图谱融合的问题和 2.5.2 类似,当实现黑产图谱和资金图谱中的用户实体合并时,需要确定在新的 FuseEntityType中如何保留属性和关系。图 22 跨图谱稳定融合及可溯更新问题 为了保证 Person、UserAccount 体属性/关系更新时,能及时触发对 FusedUser 的更新,且正向保证结果的稳定性,反向支持结果的可解释、可跟踪,我们需要对属性和关系进行扩展,记录融合和更新策略的附属属性,并在实体更新阶段触发执行。面向非完备数据集的图谱迭代演化,知识建模框架需要解决的问题有:属性/关系可携带附属属性。这些附属属性用于描述属性/关系的来源、置信度、相关度、作者等相关资产信息。语义增强可编程知识图谱 SPG白皮书 24 属性/关系可定义更新策略。需要支持可执行的规则表达式,用以定义属性/关系的选择和优先级策略。这样可以在不同数据源随机到来的情况下保证结果的稳定性。实体类型可绑定链指算子。在工业级应用中,许多数据无法获取标准化 ID。因此,我们需要使用文本匹配、时空聚类等链指策略来找到目标实体 ID。需要支持为目标实体类型绑定链指算子,以确保不同来源数据更新时可执行相同的链指算子从而保证结果的稳定性。2.9 无语义不可编程的属性图所存在的问题总结无语义不可编程的属性图所存在的问题总结 首先,知识管理是伴生业务全生命周期的,这要求其具备迭代演化的能力,支持业务持续迭代又有效避免组合爆炸和重复构建。然后,知识管理面对的是非完备数据集、多源异构数据源、多业务专家视角下的复杂知识建模问题,这也要求其具备可编程范式实现差异化视角、多源异构数据的轻量级对齐,降低系统复杂度。最后,知识管理需建立必要的知识分层、分类体系,实现各层级之间有效的联动、归纳、演绎等,实现静态常识的自动剥离支持跨业务的高效复用,实现核心资产的有效沉淀。在后面的第 3/4章将详细介绍属性图上的语义增强可编程范式。语义增强可编程知识图谱 SPG白皮书 25 第第3章章 语义增强可编程框架语义增强可编程框架SPG 为解决第 2 章提出的问题,我们结合企业级业务场景的应用特点,抽象出了基于属性图的语义表示框架 SPG。该框架从三个方面来定义和表示知识语义。首先,SPG 明确定义了知识的形式化表示和可编程框架,使其可定义、可编程,机器可理解和处理。其次,SPG实现了知识层级间的兼容递进,支持工业级场景下非完备数据状态的图谱构建和持续迭代演化。最后,SPG有效衔接大数据与 AI 技术体系,支持对海量数据进行高效的知识化转换,帮助提高数据价值和应用价值。通过SPG框架,我们可以更加高效地构建和管理图谱数据,同时可以更好地支持业务需求和应用场景。由于 SPG 框架具有良好的可扩展性和灵活性,新的业务场景可以通过扩展领域知识模型及开发新算子,快速构建其领域模型和解决方案。3.1 SPG语义框架模型语义框架模型 SPG 的总体语义框架模型如第 1 章图 5 所示,并在第 1 章中也做了简要概述。首先,SPG 从三个维度对知识做形式化定义:1)领域类型领域类型结构结构约束约束,客观世界中不存在无领域类型的事物,但数字世界存在大量文本/数字无领域类型表示。SPG DC要求每个事物(Thing)都必须有一个明确的领域类型(Class),并且该领域类型必须有自己内在的结构表示,包括属性、关系等,通过关系与其他事物发生关联。同时,SPG DC 还按照领域知识的由动态到静态、由特殊到一般、由实例到概念的原则,将领域类型分为事件超图(Event HyperGraph)、实体(Entity)、概念(Concept)三类。这样可以方便业务高效的知识分类和复用,并且实现知识的动态到静态自动分层,详见 4.1.1和 4.2章节的描述。2)领域内领域内实例实例唯一性,唯一性,客观世界不存在完全相同的两个事物,但数字世界因数据拷贝、不同描述视角、多源异构等存在大量同一事物的不同实例,为在数字世界构建和客观世界一致的表示,SPG 要求每个领域类型下的实例(instance)必须是唯一的,以保证知识的准确性和一致性。为此,SPG Evolving通过 SPG-Programming提供可编程的实体链指、属性标化、实体归一等算子能力,可以使用内置或自己开发算法 Operator 实现链指、归一算子,不断提升实例的唯一性,在第 7.2 章SPG-Programming中有相关描述,更详细的介绍预计在 SPG 白皮书 2.0中发布 3)知识间知识间逻辑逻辑依赖性,依赖性,客观世界不存在不和其他事物关联的事物,我们往往通过事物之间的联系来认识事物,这种联系即表达为事物的内在特性,也表达为和其他事物之间的逻辑/物理关联,既有归纳意义的公理共通性,又有实例层面的私有特殊性。SPG通过 SPG Reasoning谓词/逻辑体系定义知识之间依赖,包括属性、关系、类型等之间的逻辑依赖与传导。同时,SPG还通过谓词体系定义基础的谓词原语,以支持知识的推理和推断。这样可以更好地处理知识之间的关联和依赖关系,并且支持对复杂的业务场景进行建模和分析。在 4.3及 4.4章节有详细描述。语义增强可编程知识图谱 SPG白皮书 26 然后,SPG框架实现了知识层级间的兼容递进,以适应工业级的知识图谱应用。在实际应用中,业务往往面对非完备数据集、非完备专家经验、非完备图谱理解的客观现实。因此,一方面业务希望借助图谱快速实现业务价值,另一方面业务数据覆盖和图谱经验也是非完备的,需要通过不断的业务迭代来逐步加深图谱的理解和应用。与此同时,RDF/OWL 要求完备知识体系下做知识交换,这与实际应用场景的客观现实是不一致的。为了解决这一问题,SPG在定义知识表示时,要求从左到右必须是兼容递进的。用户可以选择最简单的 SPG Compatible 模式直接从大数据体系构建属性图的表示,也可以增加 SPG DC 领域模型约束提升主体模型的语义明确性。此外,通过 SPG Evolving 添加链指、归一算子来不断提升主体的唯一性和主体间的语义关联。最后,通过复杂的谓词与逻辑体系构建知识的符号化表达。通过 SPG 的分层兼容递进,可以极大降低图谱业务的落地成本。在图谱应用的过程中,用户可以根据自身需求和数据情况选择不同的模式和算子来逐步完善和优化领域知识图谱。最后,SPG框架通过分层递进,可以有效衔接大数据架构,实现数据体系到知识体系的自动构建。具体而言,基于大数据表构建 ER 模型转换到 SPG(ER2SPG)的方式,我们可以将大数据体系中的数据转化为 SPG 知识图谱表示,从而实现数据和知识的无缝衔接。同时,通过 SPG-Reasoning构建机器可理解的符号体系,可以方便地通过知识约束、逻辑符号等实现与深度学习模型的联动,为知识图谱应用提供更多的可能性。除此之外,SPG 框架还期望通过 SPG-Reasoning 实现与大模型的符号化联动。具体而言,通过将大模型的输出结果映射为符号化表示,将知识图谱符号化表示输入给大模型,可以更好地将其与知识图谱进行融合和协同,从而实现知识和模型的高效交互和共同进化。这一点对于实现更加智能化的应用场景具有重要意义。综上,SPG框架通过衔接大数据架构和构建机器可理解的符号体系,实现了从数据到知识的自动转换和应用。在未来,SPG框架还将继续发挥其优势,探索更多的应用场景,并且与大模型进行更加紧密的联动,为知识图谱应用带来更多的可能性。语义增强可编程知识图谱 SPG白皮书 27 3.2 SPG分层架构分层架构 图 23 基于 SPG的知识引擎总体架构 SPG 的核心目标是构建基于 SPG 的标准化知识引擎架构,给领域图谱构建提供明确的语义表示、逻辑规则定义、算子框架(构建、推理)等,支持各厂商可插拔的适配基础引擎、算法服务,构建解决方案等。本章节简要概述总体框架。SPG-LLM:负责 LLM 大模型交互子系统,如自然语言 NL、用户指令、查询等。详见第 8章描述。SPG-Schema:负责属性图语义增强的 Schema 框架设计,如主体模型、演化模型、谓词模型等。详见第 4章描述。SPG-Controller:负责控制中心子系统设计,如控制框架、命令分发、plugin 集成等。详见第 6章描述。SPG-Programming:可编程框架子系统,负责 SDK 框架及编译子模块的设计,如知识生产、知识演化、专家经验投影沉淀、图谱推理等。详见第 7章描述。SPG-Engine:知识图谱引擎子系统设计,负责多引擎的 integration/adaptation layer 的设计,如推理引擎、查询引擎等。详见第 5章描述。3.3 SPG的目标能力的目标能力 我们期望构建的是基于 SPG 的新一代认知引擎基础架构,总体能力范围图 24 所示,图中图例也表示了本白皮书的覆盖范围。语义增强可编程知识图谱 SPG白皮书 28 图 24 SPG和 LLM双向驱动的目标架构(初稿)本白皮书为语义增强可编程知识图谱 SPG1.0 首次发布,结合第 2 章介绍的两个案例,介绍知识图谱发展当下存在的痛点问题和可能的解决思路,同时也介绍 SPG 的解决思路、核心能力和总体框架。未来,SPG将持续完善白皮书内容,包括领域模型扩展、可编程框架、知识生产引擎、知识推理引擎、LLM 与 KG 的双轮驱动等。同时,SPG 也将加速语义及基础引擎框架的开源,促进知识图谱的产业化落地。本次发布的 1.0版白皮书将重点介绍如下内容:SPG 语义基础框架,介绍 SPG 产生的背景及解决的核心问题,并通过两个业务案例介绍SPG的语义框架和 Schema模型。SPG 逻辑规则框架,介绍 SPG 的逻辑规则体系,如何基于 SPG 实现逻辑规则与事实知识的有机融合。SPG 多引擎适配层,结合 SPG2LPG 和 LPG2SPG 的适配抽象,详细介绍适配层的能力模型,以方便各厂商图存储、图计算引擎的高效接入。我们将持续更新白皮书内容,包括 2.0 和 3.0 版本。本次发布中,部分内容如可编程框架、知识推理等只做了概要式介绍,未来我们将会单独重点论述,还有 SPG 与 LLM 的双驱动我们也将保持持续的探索与突破,本白皮书第 11章也给出了 SPG未来的发布计划。语义增强可编程知识图谱 SPG白皮书 29 第第4章章 SPG-Schema层层 4.1 SPG-Schema总体架构总体架构 SPG的核心目标是充分利用属性图兼容大数据架构的优势,并以此为基础,从工业实践的实际问题出发,实现语义增强,构建完备的语法体系。本章节主要结合 SPG DC 主体分类模型扩展与SPG Reasoning逻辑谓词语义扩展两个方面详细介绍。首先,在大数据表 Schema定义或大数据表字段定义基础上扩展主体模型是最直接、最灵活的,将大数据表模型的列字段定义或字段定义映射到 SPG 主体模型的类型、属性、关系表达,通过映射将多源异构的数据表映射到非完备状态的主体结构。然后,再基于非完备状态的主体结构持续迭代演化并实现逻辑谓词语义的扩展。在这个过程中,SPG 充分借鉴了 df 最小可用集及 OWL 逻辑谓词能力,定义 SPG 主体模型最小语义单元并扩展 SPG在谓词语义、逻辑规则等方面的表达。4.1.1 主体分类模型扩展主体分类模型扩展 为了更好的增强 LPG 中对于节点类型的语义表达,SPG 在 LPG 的节点类型和边类型之上扩展并引入更多主体分类模型对节点类型进行扩充以兼容更加多元的知识表示,扩展的主体类型分为标准类型、概念类型、实体类型、事件类型等,领域分类模型如图 25所示。图 25 SPG领域分类模型 SPG主体分类模型的简要解释如下:实体:实体:业务相关性比较强的客观对象,通多属性、多关系刻画的多元复合结构类型,如用户、企业、商户等。概念:概念:实体从具体到一般的抽象,表述的是一组实体实例或事件实例的集合,是一种分类体系。相对静态,也是常识知识,具有较强复用性,如人群标签、事件分类、行政区划分类等。为简化企业应用,标准类型也放到了常识概念中。语义增强可编程知识图谱 SPG白皮书 30 事件:事件:加入时间、空间等约束的时空多元类型,如通过NLP、CV等抽取出来的行业事件、企业事件、诊疗事件或因购买、核销、注册等行为产生的用户行为事件。属性:属性:属性是实体、事件、概念等的组成要素,用以表述一个复杂结构的各个独立要素,每个属性要素又会关联为一个具体的简单或复杂结构,如基础类型、标准类型、概念类型等。关系:关系:关系的定义和属性基本一致,表达同一个复杂对象与其他对象之间的关联,关系和属性的区别是,若关联对象为实体类型则为关系。1.实体类型实体类型 实体类型是 SPG 的基础类型单元,它是有多个属性和关系定义组成的复合数据类型,它是在LPG的 Node类型上直接扩展得到的。在第 2章中,我们深入分析了目前 LPG知识管理方面存在的困难。为解决实体类型数据准备成本高、属性类型语义能力缺失等问题,SPG-Schema在 LPG Node类型上扩展了属性取值类型的表达,取值类型可为标准类型、概念类型、实体类型等。为实现实体类型的继承和复用,我们借鉴并扩展了 subClassOf主体谓词语义,实现子类对父类的属性和关系继承。针对实体类型异构性导致相同实体类型命名不一致的问题,我们支持扩展融合实体类型,并通过实体链指和实体归一算子来逻辑对齐不同图谱中的实体类型,未来,我们将在 SPG 白皮书2.0中重点发布算子绑定部分。2.概念和事件概念和事件 针对领域图谱 Schema 存在的设计主观性问题,由于不同的业务领域中内部诉求的不同,会导致不同业务对同一类实体的命名和粒度需求不同而产生多种相似类型,而这些相似类型的数据均来自同一份源数据,这严重影响和阻碍了知识的传播也造成知识和数据的不一致。为了避免这种不一致性,SPG-Schema 引入概念类型来对相似类型进行分类,通过概念和基本实体类型进行联动以化解知识异构问题。另外,事理图谱中的事件模型存在时空多元关联,并且在建模事理层时也需要同时对因果、顺承、共现、结构等简单或复杂逻辑进行关联关联,为了解决 LPG 无法完美表达这类需求的问题,SPG-Schema 引入事件概念来对分类模型进行扩充来更好的表达事件之间、事件和实体之间以及事件和概念之间横向、纵向的关联。概念事件四象限图按照领域知识的由动态到静态、由特殊到一般、由实例到概念的原则描述了实体类型、概念和事件之间的关联,如图 26 所示。概念事件四象限图具体到定义与实例化层面可以被分为抽象实体、具体实体、抽象事件、具体事件这四块内容,物理上是联通的,是一张图。语义增强可编程知识图谱 SPG白皮书 31 图 26 概念事件四象限图 具体来说四象限左右划分为实体域和事件域,上下可以划分为抽象域和具象域,上下也可以称之为概念域和实例域。其中抽象实体类型表达的是对具象实体类型的抽象概念,具象实体是实体类型的具体实例化;而抽象事件表示为抽象事件概念以表达事件之间的因果和顺承,具象事件则是对应事件类型的具体实例化。3.标准属性标准属性 在 RDF/OWL 模型中,每类实体、关系、属性都需要独立建模,而属性图语法元素虽然相较于RDF 来说简单,但仅是数据结构的声明,无法有效利用属性知识进行知识传播。在实际的业务落地过程中,却往往需要利用实体属性进行知识传播和分析,针对 LPG 中没有明确领域类型约束的属性只是单纯字面上的文本或者数字,既无法保障属性内容的完整性和正确性,又难以基于结构实现有效的查询及关联传导。正是这种需求导致了我们需要为属性进行额外的建模,并由于属性量的差异带来的较大的数据准备成本,会随着图谱关联分析的需求越来越高而产生的更高的成本。为了更好的平衡 RDF图和 LPG之间对于属性的取舍,并有效减少数据准备成本,SPG-Schema引入标准属性类型简化数据依赖关系。标准属性的应用,可以自动显式的将属性图中的文本属性物化成关系,这增加了知识的可传播能力和隐式关联;由于使用标准属性替代关系建模,此处无需显式定义关系,通过标准属性的语义传播实现实体类型之间的关系传导。4.1.2 语义及规则推理能力扩充语义及规则推理能力扩充 LPG在通用的建模过程中仅包含节点(Node)和关系(Edge)两种元素,而这两种元素中的属性却常见于文本/字符串形式,而正是这种过为宽松的约束导致在实际业务场景中反而存在很多问题。为了进一步在经过拓展过后的 5 类主题分类模型之上实现更多的语法语义以实现更高效的知识传播和推导,SPG-Schema添加一系列语义谓词对 LPG进行约束,具体的语义语法分层图可见图 27。语义增强可编程知识图谱 SPG白皮书 32 图 27 SPG-Schema语法语义分层图 语法层(Syntax Layer):在该层定义了 SPG-Schema中的语法内容。主要将 SPG-Schema用于语义推理的相关语法一共可以划分为最小约束集合(df)、单二元关系约束(Binary Constraints,BC)、多二元关系约束(Multiple Constraints,MC)、关系分组约束以及动态类型共 5 类,适当的根据使用情景采用关键字(Keywords)形式和标准命名空间 std 中的内置谓词(Predicate)形式作用于 SPG-Schema之上。语义层(Semantic Layer):在该层定义了 SPG-Schema定义相关语法推理能力的具体定义域(domain,简写为 dom)和作用于(range,简写为 ran),提现内置推理规则谓词与细化后实体分类模型之间的关联。4.1.3 SPG-Schema四层架构四层架构 对于 SPG-Schema 的整体框架来说,从四个基本内容出发,逐步扩展分解需求,从语义完备性和实际工业需求中逐渐确定 SPG-Schema Core所包含内容。尽可能采用轻量级语法,避免高复杂度,使 SPG-Schema的复杂度不超过 PTIME,保障在工业级落地中的效率,平衡好语义复杂度和业务应用成本。MOF体系结构是分层的原数据体系结构,根据该结构我们可以将SPG-Schema整体建模层次同样划分为四层,如图 28所示:语义增强可编程知识图谱 SPG白皮书 33 图 28 SPG-Schema四层结构图 基于上述总结的 SPG-Schema 四层结构图,结合黑产图谱案例和事理图谱案例作为基本场景支撑,SPG-Schema总体四层架构图如图 29所示:图 29 SPG-Schema四层架构示意图 四层架构的解释为:Meta Model:该层是对 SPG Meta Model层范式的总体定义,定义了在通过 SPG-Schema建模时所需要的元素,这层对一般用户透明。语义增强可编程知识图谱 SPG白皮书 34 SPG Meta Model:该层是对于 Meta Model层的实例化,是对 Model层范式的总体定义,通过额外对类型和谓词的定义进行更加细致的分类,定义相关的建模语言的结构和语法,以对 Model层建模加以更多语义。Model:该层定义了一个具体的系统模型,用户可通过语法对于实例 Instance 层能感知的类、属性、关系结构及其语义进行定义。Model 层中存储的是 Instance 层的数据,是对Instance层面的建模,而 Instance层的数据是 Model层中模型的实例。Instance:SPG-Schema 采用的是 Instance-Class 分离范式,每个 Instance 都必须严格符合Model层 Schema定义的约束。该层是数量最大、最为具像化的一层,Instance层的内容是具体的实例。4.2 节点和边的语义增强节点和边的语义增强 SPG-Schema的扩展方案的主体语法设计通过在PG-TYPES16方案基础上引入额外的关键字来实现,因此 SPG-Schema主体语义同样分成 NodeType,EdgeType,GraphType三大类,分别对应于属性图 LPG 中对于节点(Node),关系(Edge)和视图的定义。主体语义的基本定义位于四层架构图中 SPG Meta Model层,通过对 LPG节点类型进行更加细致的分类来为 Meta Model层添加更多相关语义。4.2.1 NodeType节点语法语义节点语法语义 基于 4.1.1 节定义,我们将常用的知识图谱中的节点类型划分为了实体类型、标准类型、概念类型以及事件类型。接下来给出这四类节点类型的基本语法语义。1.实体类型实体类型 通过 CREATE ENTITY TYPE 的语法来定义节点类型 Class 以及在该节点类型中可以出现的标签和属性类型,可以通过如下语法创建 User类。/定义 User类型 CREATE ENTITY TYPE(User phoneNum std.PhoneNum,OPTIONAL taxonomy RiskPerson,OPEN);在上述例子中定义了拥有两个属性 phoneNum 和 taxonomy 的 User 类型,其中 phoneNum 的类型为 std.PhoneNum,taxonomy 的类型为 RiskPerson。OPTIONAL 关键字表示 taxonomy 这一属性可选;OPEN关键字则表示在定义该 Model向下填充实例数据时,可以添加额外属性字段。语义增强可编程知识图谱 SPG白皮书 35 在某些情况下,也可能需要将类型声明为抽象类型,即抽象类型不能直接实例化。如上述例子中 User类型可以通过 ABSTRACT关键字被标注为抽象实体类型,于是在填充实例数据的时候不能够直接在该类别下进行填充,而是填充到继承了该抽象父类的子类型当中。就其本身而言,这种类型可能不是很有用,但是对于多个子类的共用属性的复用会有帮助。除上述三个关键字外,借鉴 PG-Keys17中关键字约束给节点定义添加更多的语义信息和约束。通过EXCLUSIVE、MANDATORY、SINGLETON三个关键字来分别代表唯一、至少、至多三种约束,进一步补充 SPG-Schema 对于实体属性中约束进行属性的语义增强。下列例子我们重新修改User类型为抽象类型,且通过三个属性约束关键字加以约束。/扩充定义 User类型为抽象类型 CREATE ENTITY TYPE ABSTRACT(User EXCLUSIVE idcard STRING,/每个实例的身份证号码应当各不相同 MANDATORY name STRING,/每个实例至少应当有一个姓名 SINGLETON birthday DATE,/每个实例最多只有一个生日 OPTIONAL phoneNum std.PhoneNum,/可选是否添加具有标准属性的 email字段 OPTIONAL SINGLETON taxonomy RiskPerson,/可选择是否需要概念分类属性 OPEN);当三个关键词与 OPTIONAL 关键字同时作用于类型约束中时,前者用于约束该类型在实例层中填充数据时的约束,而后者则对应于约束实例是否可以使用该属性。这二者互相不冲突,例如OPTIONAL SINGLETON type RiskPerson 则可以用来表示数据可以不包括概念分类属性 taxonomy,但一旦添加该属性,那么该实例最多只能拥有一个分类属性。2.标准类型标准类型 为了更好的区分开标准类型和用户自定类型,引入命名空间概念,以 std 命名空间体现标准类型。其中标准类型均定义在 std 命名空间之下,通过正则表达式创建。由于标准类型更多与属性标准化搭配使用,由属性转化而来,因此通常标准类型只存在一个属性。通过 CREATE NOMALIZED TYPE 语法定义一个标准属性后的标准属性,可以直接使用,也可以通过 SET PROP语句和 NORMALIZED 来将某一类型下的属性进行标化。需要注意的是,标准属性需搭配 REGEX关键字引导的正则表达式进行使用,对该属性的值的模式/格式进行约束。/定义标准类型 Email CREATE NOMALIZED TYPE(std.Email value STRING REGEX a-zA-Z0-9_-. a-zA-Z0-9_-. .a-zA-Z2,3 );/定义标准类型 phoneNum CREATE NOMALIZED TYPE(std.PhoneNum value STRING REGEX/(130-9|1401456879|150-35-9|162567|170-8|180-9|190-35-9)d8$/);/修改 User类中 phoneNum属性为标准属性 SET PROP(User.phoneNum)NORMALIZED std.PhoneNum;语义增强可编程知识图谱 SPG白皮书 36 标准类型也是 SPG-Schema 中用于属性标化的最重要的内容之一,与普通 LPG 属性不同,当SPG中某一属性的类型为标准类型的时候,若该标准类型语义上是可传播的,将会默认将该属性转换成关系处理,而该属性的值也将作为标准类型下的一个实例,因而会产生更多有意义的信息用于语义推理。在该例中,我们将 User 类型下的 phoneNum 属性修改成为事先定义好的标准属性std.PhoneNum,除此之外,用户还可以直接在创建节点类型的时候将属性指定为标准类型。3.概念类型概念类型 创建概念类型时,通过使用 OPTIONAL 关键字进行标注对可选属性进行要求,其余字段默认为必选字段。通过该类型语义,可以将节点、属性等关联到相关业务概念域中,从而通过概念域进行更多业务推理。/定义公司分类概念 CREATE CONCEPT TYPE(CompanyTaxonomy isA std.Hypernym,OPTIONAL beginTime TIMESTAMP,OPEN);在上例中,创建了公司分类概念 CompanyTaxonomy 作为一个概念域,后续在填充概念实例时,都将归属于该概念类型之下。其中 std.Hypernym类型的属性 isA为该概念域中的一个必选属性,表示该概念域中概念实例之间使用的上下位词为 isA,而 begintime 字段为可选属性。关于std.Hypernym类型的更多细节,我们将在 4.3.5节进行更加细致的讨论。4.事件类型事件类型 创建事件类型时,需要内置对时间、主体、客体的必选要求和可选要求。其中使用关键字REQUIRED 来表示对于字段必选要求,其余字段为可选要求。需要注意的是,事件类型默认必须拥有时间戳属性以及指定的主体类型。因此我们采用如下的语法定义事件。/定义公司运营事件 CREATE EVENT TYPE(CompanyEvent REQUIRED occurrenceTime TIMESTAMP,OPEN REQUIRED SUBJECT(Company|Person),OBJECT(Company|Person);在上述定义中定义公司运营事件,其中包括一个必选的 occurrenceTime 的时间戳属性,以及一个必选的主体类型为 Company 类型或是 Person 类型。而一个事件本身我们应当视为一个图结构,例如上述例子中定义的公司运营事件 CompanyEvent,其中定义了一个 Event 类型节点,而该节点通过 SUBJECT 关键字自动使用内置谓词 std.subject 指向 Company 和 Person 类型表示该事件的主体应该是公司或者人,这将是一个必选字段,而客体可以为空。语义增强可编程知识图谱 SPG白皮书 37 4.2.2 EdgeType关系语法语义关系语法语义 EdgeType 语义指定了边类型中可以出现的标签和属性以及属性值的类型,并且指定了允许的源节点类型和目标节点类型。使用关系创建语句 CREATE EDGE TYPE时,要求源节点类型和目标节点类型均已定义,否则将出现悬空挂载的情况,导致关系错误,这种情况将不予创建。/定义持股关系 CREATE EDGE TYPE(Person)-holdShares percent DOUBLE-(LegalPerson);很多情况下使用者不希望在使用整条关系时采用三元组的表示方式,因此我们可以设置关系别名来直接指代一条三元组关系。别名的设置主要有两种方式:直接定义,后期修改。对于刚刚定义的持股关系 holdShares 来说,前者通过 AS 的语句来直接在定义时指定别名,而后者通过ALTER关键字为忘记设置别名的关系补充别名。/定义时指定别名 holdSharesType CREATE EDGE TYPE (Person)-holdShares percent DOUBLE-(LegalPerson)AS;/使用 ALTER对于上述持股关系设置别名 ALTER EDGE TYPE(Person)-holdShares percent DOUBLE-(LegalPerson)AS;在边的定义中第一次出现用于表示边的别名。在 SPG-Schema中,我们使用来快速指代一个图,对于关系来说,实质则是点边点的关系构成的一个图类型。除了基本的定义之外,与上述提到的属性约束类似,EXCLUSIVE 关键字将同样可以作用于关系约束中,我们称为跨类型约束。由于关系定义默认每条关系实例都有且唯一的源节点和目标节点,因此不将 MANDATORY、SINGLETON关键字用以约束关系。/作用于源节点=一个实体不能同时拥有多个相同关系的出边 CREATE EDGE TYPE(EXCLUSIVE Class1)-Type propClause-(Class2);/作用于目标节点=一个实体不能同时拥有多个相同的关系 CREATE EDGE TYPE(Class1)-Type propClause-(EXCLUSIVE Class2);通过对边的源节点和目标节点加以约束,我们变能轻松实现关系数据库中的关系约束:语义增强可编程知识图谱 SPG白皮书 38/一对一 CREATE EDGE TYPE(EXCLUSIVE Class1)-Type propClause-(EXCLUSIVE Class2);/一对多 CREATE EDGE TYPE(EXCLUSIVE Class1)-Type propClause-(Class2);/多对多 CREATE EDGE TYPE(Class1)-Type propClause-(Class2);除此之外,我们还额外为关系添加了一类指定的约束,称之为 Binary Constraints(BC),这类约束限定了某一个具体关系的全部实例个体拥有的特性,我们将在 4.3.2章中着重介绍这类约束。4.3 谓词及约束的语义增强谓词及约束的语义增强 为了在SPG-Schema中更好的管理最小谓词和和拓展更多内置谓词,与RDF一样采用了命名空间机制。在使用标准类型的时候就已经使用过该机制,通过引入 std 命名空间,可以将一些内置谓词进行归类,使得现有的基础谓词保证为最小的谓词集合,后续面向不同领域知识图谱的 Schema构建的时候,可以有针对性的添加不同领域的命名空间。除此之外,通过定义不同层面的命名空间,能够从不同层面丰富和完善 Schama Core 的语义和能力,对于不同产业环境下的落地应用,将产生更大的灵活性和可用空间。Model层定义用户可感知的类、属性、关系结构及其语义,由于 SPG Meta Model层作为 Model层的抽象,需要通过一系列约束来约定模式结构,因此为了更好的表达实体的语义,我们从最小约束集合 df 出发,继 4.2 节中介绍 SPG-Schema 的主体语义后在本节着重介绍我们在 SPG Meta Model层为Meta Model层面补充的内置谓词和约束语义,将 Model层面会出现的约束分为单二元关系约束、多二元关系约束、分组规则和动态类型。目前我们讨论的谓词和约束均存放于标准空间std之下。4.3.1 最小约束集合最小约束集合df df18的概念来源于 RDF 中最小的谓词集合,为了更好的适应 SPG 的需要,特地做出调整保留 subClassOf、domain和 range作为 SPG-Schema的最小约束集合。1.实体类型层次实体类型层次 subClassOf subClassOf 谓词通过定义节点类型之间的层级关系来补充类型继承的语义,在定义节点类型Class时,在后面跟上 SUBCLASSOF关键字引导的类型名称即可实现继承。/定义定义User类的两个子类类的两个子类 CREATE ENTITY TYPE(Person age INT,OPTIONAL father Person)SUBCLASSOF(User);CREATE ENTITY TYPE(LegalPerson amount INT,legalId STRING)SUBCLASSOF(User);语义增强可编程知识图谱 SPG白皮书 39 通过继承自抽象节点类型 User 类,除了这两个子类均会自动包含 User 类中定义的属性和约束外,Person 类型将额外包括年龄属性 age 以及一个可选的 Person 类型的父亲属性 father,而LegalPerson类型额外添加持股数量 amount属性以及法人编号 legalId属性。需要注意的是,在使用 subClassOf关键字时,需要保证子类节点不包含与父类节点重名的属性,否则将面临重写和覆盖的问题。这同时涵盖两种情况:名称和类型均相同;名称相同但类型不同。我们将这两种情况视为错误情况不予处理。2.关系定义域和值域关系定义域和值域 domain&range 在构建关系时,由于需同时指定关系的源节点类型和目标节点类型,为了减少实体转换等带来的冗余计算成本,对于 DOMAIN 和 RANGE 的修改应待采取“只增不改”的原则。例如在先前例子中构建了包括一个持股百分比(percent)属性的持股关系(holdShares),但由于初始定义不当,发现存在(LegalPerson)-holdShares-(LegalPerson)这类额外的需求,需要通过相应的修改令该关系值域添加 LegalPerson。/上述定义持股关系(Person)-holdShares percent DOUBLE-(LegalPerson)/为其添加定义域 LegalPerson ALTER DOMAIN(LegalPerson);/操作过后的关系实际应为(Person|LegalPerson)-holdShares percent DOUBLE-(LegalPerson)4.3.2 单二元关系约束单二元关系约束(Binary Constraints,BC)在 PG-Schemas中,对于 BC特性有如下定义:Binary constraints(BC),i.e.,defined to be(ir)reflexive,(in)transitive,(a)cyclic,(a/anti)symmetric,etc.该类约束更加注重的是某个二元关系其本身的性质,通常在定义关系时一起定义,因此我们将这类约束作为关键字进行定义。在 Model 层为关系定义了 BC 类约束之后,该关系对应的全部Instance 层实体数据都应当遵循该约束。根据上述定义,SPG-Schema 中 BC 约束应当具备最基本的自反性,对称性和传递性。现假设已经实现定义好的几个节点类型 Class1 和 Class2。我们通过 REFLEXIVE、SYMMETRIC 和 TRANSITIVE 三个关键字分别创建自反关系、对称关系和传递关系,并且给出了该定义下的语义推导。语义增强可编程知识图谱 SPG白皮书 40/定义自反关系定义自反关系edgeA CREATE EDGE TYPE REFLEXIVE(Class1)-edgeA prop STRING-(Class1);/意味着(a:Class1)-p:edgeA-(a:Class1)-/定义对称关系定义对称关系edgeB CREATE EDGE TYPE SYMMETRIC(Class1)-edgeB prop STRING-(Class2);/意味着(a:Class1)-p:edgeB-(b:Class2),-(b:Class2)-p:edgeB-(a:Class1)/定义传递关系定义传递关系edgeC CREATE EDGE TYPE TRANSITIVE(Class1)-edgeC prop STRING-(Class1);/意味着(a:Class1)-p1:edgeC-(b:Class1),(b:Class1)-p2:edgeC-(c:Class1)-(a:Class1)-p3:edgeC-(c:Class1)除了上述三个基本的约束(自反、对称、传递性)以外,为了更好的实现语义完备性,额外根 据OWL 语 法 添 加 函 数 式 的 关 系 和 非 函 数 式 的 关 系,通 过FUNCTIONAL 和INVERSE_FUNCTIONAL关键字引导,其定义如下:/定义函数式关系定义函数式关系edgeD CREATE EDGE TYPE FUNCTIONAL(Class1)-edgeD prop STRING-(Class2);/意味着(a:Class1)-p:edgeD-(b:Class2),(a:Class1)-p:edgeD-(c:Class2)-(b:Class2)=(c:Class2)/定义反函数式关系定义反函数式关系edgeE CREATE EDGE TYPE INVERSE_FUNCTIONAL(Class1)-edgeE prop STRING-(Class2);/意味着 (b:Class2)-p:edgeE-(a:Class1),(c:Class2)-p:edgeE-(a:Class1)-(b:Class2)=(c:Class2)4.3.3 多二元关系约束多二元关系约束 (Multiple Constraints,MC)为了使 SPG-Schema 增加额外的语义推导功能,额外添加 MC 谓词支持。该类谓词更多面向于的是两个二元关系之间的关系推导,使用 SET REL 的方式进行设置,谓词部分整体采用内置命名空间 std下的内置谓词作为该类谓词。现假设已经存在了已定义的两个关系,别名分别为和。我们通过 std.inverseOf、std.mutexOf这两个内置谓词分别定义关系互反和关系互斥,并且给出了该定义下的语义推导。语义增强可编程知识图谱 SPG白皮书 41/两个关系为互反关系 SET REL-std.inverseOf-;inverseOf 定义的为互反关系,如果定义两个关系为互反关系,那么实质上将默认产生的为一对等价的逆关系。例如“上司”关系可以和“下属”关系互为一对逆关系,在进行推理时,可利用“上司”关系自动反向推理“下属”从而解决复杂语义推理时带来的工业问题。在上述例子中,(Class1)-Pred1-(Class2)和(Class2)-Pred2-(Class1)为一对互反的关系。/两个关系为互斥关系 SET REL-std.mutexOf-;mutexOf 定义的互斥关系代表一个实例关系,只能从定义的两个关系类型中进行选择,即在上述语法中提到的例子,对于同一个关系实例 s,不能同时拥有 Pred1关系和 Pred2关系,即(Class1)-Pred1-(Class2)和(Class1)-Pred2-(Class3)只能进行二选一。在 MC 类谓词中,第一次出现用尖括号的表示形式-,这种方式会更加符合原本Cypher 用户的使用习惯,在此处是在定义关系时定义的别名,例如实质上可视为三元组关系(Class1)-Pred1-(Class2),这样就可以大大简化在书写多个二元关系之间关系的复杂度,让整体语法更加简洁和易懂。4.3.4 关系分组关系分组 由于在真实案例场景中,往往需要通过一个抽象化的关系来查询一类相似的关系,因此需要引入关系分组谓词来帮助用户构建分组,以节约查询成本。整体的可以将分组视为关系分组和属性分组两个部分,由于属性在一定程度上可以视为一种关系,因此统一采用 SET REL 语法进行定义关系分组。1.关系分组关系分组 分类的第一个应用场景为关系分组,主要采用内置谓词 std.subRelOf 进行定义。在构建分组时,首先应当确保存在一个顶层关系,该顶层关系在使用 CREATE EDGE TYPE 语句创建时必须使用ABSTRACT 关键字进行标注以表明该抽象分组关系下将不可拥有实例,任何装载的实体关系都应当从属于该分组下的具体关系中来。关系分组实质上同样可以视为两个二元关系之间的关系,但又与上述 MC谓词不同关系分组谓词跟关系类型定义在语法上有所区分。MC 关系谓词定义的两个二元关系之间为等价关系,但关系分组中两个关系会存在明显的上下位关系,因此定义的语法为有箭头的三元组形式-。语义增强可编程知识图谱 SPG白皮书 42/创建亲属关系分组,使用 ABSTRAT关键字进行标注 CREATE EDGE TYPE ABSTRACT(Person)-kinship-(Person)AS;/定义父亲、母亲、夫妻三个亲属关系 CREATE EDGE TYPE(Person)-isFatherOf-(Person)AS;CREATE EDGE TYPE(Person)-isMatherOf-(Person)AS;CREATE EDGE TYPE(Person)-conjugality-(Person)AS;/定义关系分组 SET REL-std.subRelOf-;SET REL-std.subRelOf-;SET REL-std.subRelOf-;通过以上定义,我们将父子关系、母子关系和夫妻关系均视为家庭关系的某一种具体关系,可以通过 kinship 关系直接获取到该分组关系下的这三个关系。而在装载实例时,将不会存在任意一个三元组属于家庭关系,而是应当从属于父子关系、母子关系和夫妻关系三种关系中的具体一种。2.属性分组属性分组 属性在进行属性标化之后,也可以将属性视为一种具体的关系可以使用 subRelOf 进行分组。但是这样的需求显然不符合一个完整的完备的语义定义,若是对于非标化属性来说,依旧会存在属性分组的需求。因此属性分组的语法定义类似于subRelOf,属于对属性的分组,但是二者的区别在于顶层分组的属性可能会存在自身的实例数据,并且属性都是装载到实体当中。因此无需提前通过ABSTRACT定义抽象的顶层属性,并且采用(类型.属性)的模式来代替所表示的关系,从而获取指定类型下的指定属性。/Person类型中对交易聚合值分组 SET REL(Person.1_day_complaint_rate)-std.subPropOf-(Person.day_complaint_rate);SET REL(Person.7_day_complaint_rate)-std.subPropOf-(Person.day_complaint_rate)4.3.5 动态类型动态类型 1.事件概念上下位谓词事件概念上下位谓词 Hypernym 由于概念领域存在多样性,不同的概念域中会采用不同的上下位词,因此我们支持在定义事件的同时通过Hypernym 来表达一类上下位谓词,从而支持在不同概念域上对事件的概念层级进行划分。该类谓词通过在定义概念类型时候同时定义,例如在风险人员分类概念中,我们将上位词设置为 isA,而可以在城市分类概念 CityTaxonomy中可以设置上位词为 locateAt。语义增强可编程知识图谱 SPG白皮书 43/定义风险人员分类概念 CREATE CONCEPT TYPE(RiskPerson isA std.Hypernym,OPEN);/定义城市分类概念 CREATE CONCEPT TYPE(CityTaxonomy locateAt std.Hypernym);通过这样定义,风险人员分类概念中可以存在概念实例:“赌徒”isA“风险人员”,而城市分类概念中,可以存在:“成都”locateAt“四川”,“四川”locateAt“中国”。除此之外,事件类型是 Schema 中比较特殊的一类节点类型,其本质是一个图并且大多会关联事件分类概念,因此有必要对于事件类型概念使用特殊的谓词来达到对事件类型的约束。std.subEventOf则是Hypernym谓词中专用于事件概念分层的上下位谓词,在定义事件概念类型时必须采用 std.subEventOf 作为上下谓词。/定义公司运营事件概念 CREATE CONCEPT TYPE(CompanyOperationTaxonomy std.subEventOf std.Hypernym,OPTIONAL beginTime TIMESTAMP,OPEN );/实例层有:高管出逃概念从属于公司运营概念-std.subEventOf-;/实例层有:股价下跌事件从属于公司运营事件概念-std.subEventOf-;该谓词作用于 Instance 层实例化的事件概念上。并且通过事件概念分层之后,子事件的主客体必须为父事件主客体类型的子类,并且可以拥有父亲事件之外的其他属性。例如上述例子中指定“高管出逃概念 EscacapeEvent”和“股价下跌事件 FallInStock”都从属于“公司运营事件概念CompanyEvent”。2.动态类型谓词动态类型谓词 belongTo 动态类型是指当实体实例或者事件实例和具体概念实例关联时,可以将概念实例的名字作为该实例的类型。我们主要通过 SET REL 语法和 belongTo 关键字来指定具体的实体实例(包括实体类型实例和事件类型实例)及其从属的具体概念实例。/基本实体类型实例会从属于风险人员分类概念 SET REL(User)-std.belongTo-;语义增强可编程知识图谱 SPG白皮书 44 首先可以让实体类型与概念相关联。在前文中我们定义了风险人员分类概念RiskPerson和User实体类型,通过 std.belongTo关键字可以将 User类型关联到风险人员分类概念域中。/公司运营事件定义 CREATE EVENT TYPE(CompanyEvent REQUIRED begintime TIMESTAMP SUBJECT(Company|Person),OBJECT(Company|Person);/公司运营事件实例会从属于公司运行事件概念 SET REL-std.belongTo-;根据前文定义的公司运营事件概念分类 CompanyOperationTaxonomy,将新定义的公司运营事件类型 CompanyEvent 通过 std.belongTo 关键字进行关联,从而定义公司运营事件中实例可以归属于公司运营事件分类概念下的具体公司运营事件概念实例。3.概念推导谓词概念推导谓词 leadTo leadTo 与 belongTo 不同,从事件概念域上提现因果关系,利用该规则会更多的添加自动推理事件类型中的相关关系。但二者同样采用相同的语法,我们通过重新定义高管出逃事件类型和股价下跌事件类型来进一步描述 SPG-Schema通过 leadTo来进行语义推导。/定义某一公司运营事件会导致另一公司运营事件 SET REL-std.leadTo-;/若 A公司高管出逃事件实例 a从属于高管出逃事件概念/且有高管出逃事件概念实例导致股价下跌事件实例-std.belongTo-;-std.leadTo-/自动产生 FallInStock事件实例 b,关联至 A公司股价下跌事件-std.belongTo-;通过std.leadTo定义的关系仅表示建模层面的关联,但作用于Instance层实例化的事件概念上。例如上述例子中出现的实例:高管出逃事件 会导致 股价下跌,是属于事理上的定义,当发生了一个事件 A 公司高管出逃,该事件被 belongTo 了到概念域中高管出逃事件,那么可直接产生一个新的事件实例,A公司股价下跌。4.4 规则定义的语义增强规则定义的语义增强 为了更好的形成完备的语义体系,除了基本的谓词和约束之外,还应当引入规则定义部分进行补充。但规则定义大多不是靠语法定义,实现需要放于 Programming 中实现,因此在本节仅介绍规则定义的语法并提供相关例子以作参考。语义增强可编程知识图谱 SPG白皮书 45 4.4.1 自定义关系属性规则自定义关系属性规则 自定义关系属性规则是业务中常见的一类需求,当满足一定条件之后才会产生某一个具体的关系。因此我们通过 RULE 关键字进一步扩充 EdgeType 语法来为规则定义部分留出空间。由于在规则定义时通常会作用于某一个具体的实例中,因此在表达关系三元组的时候,可以通过(instance:Class)的形式来指代,但在创建关系的时候,如果没有 RULE 引导的规则块,并不会产生额外的影响。/定义单链路上的控股比例(递归定义)CREATE EDGE TYPE(s:Person)-p:hold_share_rate-(o:LegalPerson)RULE STRUCTURE (s)-p1:hold_share_rate-(c:LegalPerson),(c)-p2:hold_share_rate-(o),CONSTRAINT real_rate(相乘得到实际持股比例)=p1.real_hold_share_rate*p2.real_hold_share_rate p.real_hold_share_rate=real_rate ;常见的规则可以分为结构规则和约束条件规则,这两部分规则将在规则块中分别使用 Structure和 Constraint 引导的子规则块进行区分,前者是由三元组关系构成的实例图结构,后者是规则代码。4.4.2 条件互反规则条件互反规则/定义关系证书被法人有效持有 CREATE EDGE TYPE(Cert)-effect_owned_by-(LegalPerson)AS;/实例当证书有效时才存在互反关系法人拥有证书 CREATE EDGE TYPE(o:LegalPerson)-p2:has-(s:Cert)CONDINVERSEROF RULE STRUCTURE ,CONSTRAINT s.is_effect=true AS;条件逆关系整体采用 CONDINVERSEOF 结合 RULE 关键字进行引导,通过花括号引导若干条件规则语句,只有在满足条件规则的情况下可以正确将两个关系视为逆关系,当条件规则置空时,将默认与条件互反是等价的。在上述例子中,首先定义了基本的一条关系,通过关系互反,定义只有当满足证书还在有效期的时候,才会产生另一条法人拥有证书的关系,并使用别名标注。语义增强可编程知识图谱 SPG白皮书 46 4.5 SPG-Schema与与PG-Schemas的关系的关系 PG-Schemas16的目的是弥补属性图数据库管理的不足和现有系统对模式支持能力的缺失,增强类型定义和提高数据完整性约束,以提供更灵活的类型管理,支持一定程度的类型继承和复用。通过 PG-Keys17的形式化定义,实体、关系和属性可以在属性图上进行形式化表达,通过建立一个灵活而强大的定义关键约束的框架增强了 Schema 不同要素之间的逻辑关联和一致性,但图构建和使用的复杂度并没有降低,用户仍需准备大量数据工作。并且,用 PG-Schemas 直接表示 SPG 还存在以下问题:类别缺失业务语义。PG-Schemas 中允许用户根据意图通过操作符&(和)和|(或)动态组合节点类型,这提供更加丰富的类型表达能力,但无法有效体现类型的业务语义,包括类型内部语义结构及类型间语义表示,并且类标签之间的层次关系模糊也导致在实际业务落地中结构控制困难。缺乏逻辑依赖支持。PG-Keys 定义了一个定义关键约束的框架作为全局约束来加强属性图数据完整性,而对于特定查询语言的验证和维护的复杂性,蕴涵和推理问题却仍需进一步探索。SPG 知识管理希望实现逻辑规则与事实知识的有机融合,刻画知识之间的逻辑依赖,构建知识的分层衍生机制,减少无效重复构建,保障逻辑一致性。支持特性部分缺失。PG-Schemas 文章中提到,在现阶段的版本中,尚未完全支持二元约束(Binary Constraints,BC)以及 introspection(IS)特性,并且通过作者对比实验发现,RDFS、SHACL、ShEx等工作中同样缺乏 BC特性。总体而言,PG-Schemas 的本质还是数据库管理,增强类型定义、强化 Key 约束等,如第 1/2/3章所述,SPG 面向知识的逻辑依赖、知识分层、知识构建、可编程等方面构建知识管理能力,和PG-Schemas 面向数据库做能力增强是两个不同的视角,可以做较好的互通和增强,SPG 的目标是降低用户使用图谱门槛,减少用户对图谱知识生产的介入,PG-Schemas 可以提供全局一致性的校验,该特点可以应用到 SPG 生产出的知识图谱上。结合 PG-Schemas 的官方描述,SPG 和 PG-Schemas的关系如图 30所示:图 30 SPG与 PG-Schemas的关系 语义增强可编程知识图谱 SPG白皮书 47 4.6 SPG-Schema总结总结 本章对 SPG-Schema 的整体架构及语法语义设计展开描述,并详细说明主体模型基于一般属性图做出的拓展细节。当前版本重点描述 SPG DC针对业务需求而衍生出的概念、事件及标准类型三类主体分类模型,并针对扩充后的分类模型设计和形成了用于 SPG Reasoning 语义增强可推理的逻辑语法和相关谓词。在后续的版本中会对当前语法的语义完备性进一步严格证明,以形成一套易用的完备语法语义体系,更详细的谓词逻辑语义及语法介绍,会陆续以连载文章形式发布在 SPG技术社区和公众号。语义增强可编程知识图谱 SPG白皮书 48 第第5章章 SPG-Engine层层 本章主要聚焦在 SPG 语法实际执行过程的实现,我们称之为 SPG-Engine 层。SPG-Engine 层是将 SPG 的推理和计算转换到实际的 LPG 系统中执行的模块。SPG 底层依赖通常包括图存储、图查询、图计算等基础能力,这样的底层能力通常是由 LPG 的图服务厂商提供的。本章描述了 SPG-Engine 层的整体架构,按照 SPG 语义下的图模型定义、图数据导入、图查询和计算等功能模块进行划分,分别给出了如何对接到底层 LPG处理系统的方式。5.1 SPG-Engine架构架构 SPG-Engine 层是将 SPG 的推理和计算转换到实际的 LPG 系统中执行的模块。SPG 底层依赖通常包括图存储、图查询、图计算等基础能力,由 LPG 的图服务厂商提供。为了满足基于 SPG 的知识图谱推理和服务能力的要求,我们将对引擎能力的要求分为基础能力和进阶能力。GQL19是属性图查询语言的ISO国际标准,将于2024年发布。它定义了基于属性图的查询语言规范,并兼容了弱类型的 Label和强类型的 Type方式。SPG方案不对底层的图服务使用 Label还是 Type 进行限制,只要能实现 SPG-Engine LPG Adapter 的接口即可接入 SPG 引擎。SPG-Engine LPG Adapter 提供了第三方属性图系统接入 SPG 系统的方式,可以使用 GQL 语言或自定义函数/过程进行实现,也可以使用 HTAP20图数据库系统单一实现或 OLTP 的图数据库系统结合 OLAP 的图计算系统组合实现。结合图 24所示架构图,SPG Engine各模块详细功能如图 31所示:图 31 SPG-Engine的整体架构 语义增强可编程知识图谱 SPG白皮书 49 SPG-Engine Core 层是实现 SPG 和 LPG 相互转换的功能模块,以依赖包形式运行在 SPG-Controller 进程内。第三方属性图系统作为独立的服务进程,承载实际的 SPG 数据存储、查询和计算任务,通过DDL接口、DML接口、查询和计算接口与SPG-Controller中的SPG2LPG Translator、SPG2LPG Builder、SPG2LPG Executor进行对接。第三方属性图系统需要满足 SPG-Engine规范中的基本要求,并实现 SPG-Engine LPG Adapter的对接接口。对于进阶要求,应以配置文件方式描述,未能实现的应提供空的接口实现。作为支持核心功能的模块,SPG-Engine 的性能和弹性部署能力至关重要。性能优异的第三方属性图系统不仅可以处理大量数据,还可以确保系统稳定性和响应速度。弹性部署能力使系统更加灵活适应各种应用场景和需求变化,提高用户满意度和业务适应性。我们可以采取压力测试、基准测试和实际业务场景模拟等方法评估性能和弹性部署能力。在当前 SPG 1.0 版本中,我们更关注功能对接和实现,确保核心功能得到完整体现。在未来版本中,我们将完善和强化性能和弹性部署能力描述和实现,并进行更严格的评估以满足用户期望。5.2 SPG2LPG Translator SPG-Schema 章节描述了 SPG-Schema 和 LPG-Schema 关系,如第 4 章图 29 所示。SPG 在 LPG基础上增加语义谓词、类型扩展、逻辑规则等,本章节需将 Semantic Layer 所表示 Schema 转换对应到 LPG 引擎 Schema。SPG Meta Model 可以和 Meta Model 进行互相转换,参考 Schema 模型分层。SPG2LPG Translator 主要负责将 SPG 的 Schema 转换为 LPG 的 Schema 格式。SPG Schema 与LPG Schema最大的差异之一在于属性类型,转换框架需要将 SPG的语义化属性类型转换为 LPG文本/数字数据类型,并生成对应的关系。同时,语义约束也需要进行翻译,如继承、动态类型、子属性等。此外,SPG Schema 内置的标准属性类型也需要转换成单独的实体类型并添加约束,并生成对应的关系。SPG2LPG Translator根据 SPG Meta Model到 Meta Model的映射关系,主要分为三层:Property2Relation层,将属性转换为属性图中的边,包括标准属性、概念和事件等。StandardType Modeling层,将标准属性、概念和事件转换成对应的点模型。DDL接口层,将 1、2层的转换内容映射到 DDL接口上,需要底层属性图支持该能力。表 7展示了为完成 SPG Meta Model到 LPG Meta Model的翻译转换所需的类型/关系映射。语义增强可编程知识图谱 SPG白皮书 50 表 7 SPG Meta Model到 LPG Meta Model的翻译转换 SPG Schema 中定义实体类型/概念类型支持继承,定义关系支持反向边,这些定义都需要进行翻译。以图 33,图 34举例说明。1.实体类型的语义转换实体类型的语义转换 对于通过 subClassOf(继承)谓词定义的实体类型,需要先读取父类的属性,再合并上子类的属性,以此作为子类的属性集合。需要注意的是,父类属性和子类属性的名称不能重复,这是对subClassOf 的约束。此外,所有实体类型的顶层父类都从根类型 Thing 继承而来。Thing 类型包含三个基本属性:主键 ID、实体名称和描述。图 32 subClassOf语义示意图 2.属性类型为实体类型属性类型为实体类型/概念类型的转换概念类型的转换 当 SPG Schema的属性为实体类型或概念类型时,需要进行以下转换行为:将属性的类型翻译为文本类型。语义增强可编程知识图谱 SPG白皮书 51 新增一个名为 rawOf propertyName的文本类型属性,用于保存属性的原始值。添加一个从当前实体类型指向目标实体类型或概念类型的关系,关系名称与属性名称保持一致。如果属性上还有子属性,需要将子属性同步创建到关系上,作为关系的属性存在。图 33 SPG语义化属性到 LPG的无损冗余适配过程 5.3 SPG2LPG Builder 本模块主要解决将 SPG 格式的数据转换为 LPG 格式的数据时,针对实体数据变更可能产生的一条或多条实体/关系的新增/删除操作进行处理。数据变更包括导入实体、删除实体、导入关系、删除关系、导入概念和删除概念等。SPG Meta Model 转换成 LPG Model 的 Node 和 Edge,整体子模块如图 34所示,它包括三部分:Semantic Checker,该层为语义检查模块,检查输入内容是否满足 SPG定义的约束规范 LPG Transformer,该层将 SPG 数据具体转换映射为实际属性图存储模式,下面会针对这功能详细转换详细介绍 ReadModifyWriter Processor,该层为读写同步层,保证写入一致性。从 SPG 到 LPG 的转换适配过程,有实体转换、关系转换、概念转换等。其中,实体转换对DML的要求有:新增或者更新节点(UpsertNode/UpsertVertex)、删除节点(DeleteNode/DeleteVertex)、新增关系(AddEdge)、删除关系(DeleteEdge)、查询关系(GetEdge)等。首先,判断实体属性值是否符合相应的类型定义,查询当前实体的属性名对应的关系,再删除查询出来的关系:当属性类型为实体类型时,将原始值写入raw属性,如果策略是ID相等,直接从生成一条从当前实体到属性值所示 ID 的实体的边,如果策略是算子,则运行算子逻辑后再生成一条从当前实体到链指结果 ID的实体的边。当属性类型为概念类型时,原始值写入 raw 属性,生成一条从当前实体到属性指定的概念类型的 ID为属性值的边。语义增强可编程知识图谱 SPG白皮书 52 当属性类型为标准类型时,原始值写入raw属性,新增一个ID为属性值的标准类型实体,生成一条从当前实体到指向上一步生成的实体的边。图 34 SPG实体实例变更时 LPG子图事务更新过程 关系转换对 LPG DML 的要求有:新增/更新节点(UpsertNode/UpsertVertex)、新增关系(AddEdge)、删除关系(DeleteEdge)、查询节点(GetNode)、查询关系(GetEdge)等,转换逻辑如图 37所示,检查关系的变更是否符合语义约束,新增/删除关系后,需同步将关系等价的属性上的值进行更新。图 35 实体实例更新时 SPG语义约束检查 5.4 SPG2LPG Executor SPG2LPG Executor 主要执行由 SPG-Reasoner下发的基于 RDG算子(Resilient Distributed Graph,RDG)组成的执行计划,RDG 模型设计思路来源于 Spark 中 RDD21。如同 RDD 思路,RDD 通过抽象出 Map、Filter、ReduceByKey 等算子操作,简化了原始 MapReduce 数据操作表达复杂性的问题。数据操作问题同样在图上存在,故抽象出 RDG 模型,将需要的对图操作转换为算子操作,以表达复杂计算过程表达,执行计划组织方式同为树状结构,按照后序遍历方式一次执行树上算子。为实现如上目标,整个 SPG2LPG Executor分为三个部分,每个部分作用如下 RDG Operator Impl,RDG模型算子实现层,依据底层的 LPG引擎分别实现各个算子定义的功能,例如 Pattern Match、Filter等 语义增强可编程知识图谱 SPG白皮书 53 RDG Compiler,RDG编译器,将 SPGReasoner 下发的执行计划转换成底层 LPG可执行的二进制文件 Task Driver,将 RDG Compiler转换成的二进制文件提交到 LPG Engine执行,该模块需要和具体引擎接口对接 1.执行计划生成执行计划生成 执行计划表达的为数据处理过程,以判断用户是否为一个多设备用户为例,KGDSL 规则表达如下。Define(s:Person)-p:belongTo-(o:UserClass/ManyDeviceUser)Structure (s)-t:has-(u:Device)Constraint has_device_num(持有设备数目)=group(s).count(u.id)R1(持有设备超过 100个):has_device_num 100 R2(年龄大于 18岁):s.age 18 经过 SPG-Reasoner转换后,形成如下算子树。DDL(ddlOp=Set(AddPredicate(PredicateElement(belongTo,p,(s:Person),EntityElement(ManyDeviceUser,UserClass)Filter(rule=LogicRule(R2,年龄大于 18岁,BinaryOpExpr(name=BGreaterThan)Filter(rule=LogicRule(R1,持有设备超过 100个,BinaryOpExpr(name=BGreaterThan)GroupByAndAgg(group=Set(NodeVar(s,null)PatternMatch(pattern=PartialGraphPattern(s,Map(s-(s:Person),u-(u:Device),Map(s-Set(s)-t:has-算子树以 PatternMatch节点开始执行,到 DDL节点结束,树中每一个节点为一个 RDG算子。2.RDG算子算子 在 1)执行计划执行中讲解了 KGDSL执行算子编排顺序,本节主要介绍 RDG中对算子定义,下表为算子列表。语义增强可编程知识图谱 SPG白皮书 54 表 8 RDG Operator列表一览 3.生成可执行代码生成可执行代码 RDG 算子表达的是对一个 RDG 的原子操作,将 RDG 算子树转换成底层引擎可执行代码,还需要配合执行计划树经过 Execution Plan Generator生成。如图 36所示。图 36 可执行 code流程示意图 Compiler将 Physical Plan及 RDG Operator生成可执行代码,Operator节点伪码示意如下。abstract class PhysicalOperatorT:RDGT:TypeTag extends AbstractTreeNodePhysicalOperatorT /*The context during physical planner executing *return */implicit def context:PhysicalPlannerContextT=children.head.context /*The output of the current operator *return */def RDG:T=children.head.RDG /*The meta of the output of the current output 语义增强可编程知识图谱 SPG白皮书 55 *return */def meta:ListVar 以 RDG算子为节点形成树状结构,按照后序遍历执行,例如 PatternMatch算子。final case class PatternMatchT(m)/概念属性创建时,Trigger 触发执行语句转换为多跳边 match(m1:国家 名称:中国)-(m2:省 名称:四川)(m3)支持知识分层,基于自定义逻辑规则,通过 Trigger 进行自动的插入和更新。表 11 SPG类型分类能力 /定义实体类型即添加类型约束,创建 Person 类型时,检测是否符合约束条件,符合则创建 belongTo 边/创建 Person 点 create(n:Person id:2088*0001)/触发服务端约束检测,符合约束则创建相应边 match(n:Person id:2088*0001)-:has-(D:Device)-:has_wifi-(W:WIFI)-:has_wifi-(D2:Device)(o:Fraudster)create(n:Person id:2088*0001)-p:belongTo-(o:Fraudster)/定义关系类型即添加类型约束,创建设备点时,检测是否符合约束条件,符合则创建 same_wifi 边 create(n:Device id:devid*001)/触发服务端约束检测,符合约束则创建相应边 match(n:Device id:devid*001)-:has_wifi-(W:WIFI)(o)/定义属性类型即添加属性约束,App 点属性修改时,符合约束规则的点的属性相应修改 match(n:App id:appid*0012)set n.mark=black/触发服务端约束检测,符合约束则修改相应点属性 match(n:App id:appid*0012)(m:口味)-:爱好|isA*3-(m2:人)return m as 口味,collect(m2)as 人群/最终实控人挖掘 match(n:公司 id:4201151234*ABC)(B)return B/通过 B 查找其全资子公司 match(B:公司 id:4201151234*ABC)EvalResultstr traces,errors=,result=try:result=adminNorm(property)except Exception as e:errors.append(fproperty:property,error_msg:e._repr_()return EvalResult(result,traces,errors)为降低用户使用成本,SPG支持属性、关系在查询阶段的自适应,在用户的GQL/KGDSL表达中需要传播时会自动展开,若不需要传播,默认提取标化之后的属性值。未来在 KGDSL 详细语法文章中会详细介绍。7.3 逻辑规则编程逻辑规则编程 谓词语义是实现 SPG 逻辑规则编程的关键基础,通过谓词语义可以将 SPG 翻译成机器可理解的形态,构建机器自动推理能力。在能力定义上包括如下几层:1)系统内置谓词系统内置谓词,以确定的语义定义基础谓词能力,它不具备业务语义,但可被上层规则引用。2)逻辑规则知识逻辑规则知识,以属性/关系存在的逻辑规则,并基于逻辑规则实现实体的动态分类。3)推理决策规则,推理决策规则,以子图、结构、路径等形态获取,支持规则决策、知识注入等。图 42 说明了整体的分层结构,同时为了平衡规则管理成本和计算复杂度,也明确了内置谓词只能用于定义逻辑规则知识,知识推理层的应用则只依赖基础事实知识和逻辑规则知识。图 42 推理决策依赖关系 语义增强可编程知识图谱 SPG白皮书 67 通过谓词与逻辑规则定义知识之间的依赖第 4 章已经有详细的介绍,本章不在赘述。逻辑规则编程主要包括两部分,通过逻辑规则定义知识依赖,生成逻辑衍生属性/关系和通过 DSL/GQL 定义复杂的端到端规则决策,如下为 KGDSL决策代码示例。Structure (s:User)(e1:TradeEvent)-ps1:std.subject-(su1:User)(e1:TradeEvent)-pp1:std.object-(sp1:PID)(e2:TradeEvent)-ps2:std.subject-(su2:User)(e2:TradeEvent)-pp2:std.object-(sp2:PID)(su1)-has-(sp2)(su2)-has-(sp1)(e2)-pb:belongTo-(o:/TaxoOfTradeEvent/单笔交易金额高)Constraint s.id=su1.id e1.ts e2.ts and hour(current_time()-hour(e1.ts)10 Action createEdgeInstance(src=s,dst=o:TaxoOfUser/交易风险/返款交易多,type=belongTo,value=time=now()7.4 图谱表示学习图谱表示学习 图谱表示学习框架解决的核心问题是图谱特征、子图提取问题,并适配到主流的深度学习框架如 Tensorflow/Pytorch上,并进一步转换成对应图学习算法需要的 Tensor结构。图 43 图表示学习框架 语义增强可编程知识图谱 SPG白皮书 68 图谱表示学习通过采样算子模块实现图学习与图谱数据的联动与解耦,目前主要的图采样算子包括:1)子图采样子图采样,主要应用于 GCN 类的多跳子图采样,包括正/负样本生成,在 SPG 大规模动态异构范式下支持带权采样、时间过滤等。2)结构提取结构提取,应用于符号规则引导的图学习、规则挖掘等结构感知型推理任务。3)特征计算特征计算,主要包括通过复杂图谱结构可提取的 Page Rank,度中心性等子图特征。如下伪码为 GCN类算法多跳子图采样的示意,通过 Python 采样算子实现算法对图谱数据高效读取。#-*-coding:utf-8-*-import libkg_client from kgrl.conf import KgrlConstants#noqa from kgrl.data import KGExpression#noqa from kgrl.data.sampler import KGStateCacheBaseSampler in_degree=KGExpression.SourceNodeInDegreeKey()out_degree=KGExpression.SourceNodeOutDegreeKey()node_version=KGExpression.SourceNodeVersionKey()edge_version=KGExpression.EdgeVersionKey()v_begin=30 v_end =40 def get_filters(v_begin,v_end):return KgrlConstants.NEIGHBORHOOD_SAMPLING_FILTER_NAME:fedge_versionv_end,KgrlConstants.NODE_SAMPLING_FILTER_NAME:fnode_version=0,KgrlConstants.EDGE_SAMPLING_FILTER_NAME:fedge_versionv_end,def get_weights(v_begin,v_end):return KgrlConstants.NEIGHBORHOOD_SAMPLING_WEIGHT_NAME:fabs(edge_version-v_begin)*log2(edge_version v_end),KgrlConstants.NODE_SAMPLING_WEIGHT_NAME:f(out_degree in_degree),KgrlConstants.EDGE_SAMPLING_WEIGHT_NAME:fabs(edge_version-v_begin)*log2(edge_version v_end),sampler_conf=client_conf:.,gen_data_conf:random:True,fanouts:50,20,buffer_size:2,filters:get_filters(10,20),weights:get_weights(10,20),sampler=NodeSubGraphSampler.from_params(sampler_conf)7.5 本章总结本章总结 本章节概要式介绍 SDK 可编程框架的分层抽象,预计在 SPG 语义增强可编程知识图谱框架白皮书 2.0中重点发布完整的可编程框架。语义增强可编程知识图谱 SPG白皮书 69 第第8章章 SPG-LLM层层 2023 年伊始,大模型展现出其强大的能力,在语言理解、对话生成方面表现的尤其亮眼。而知识图谱则擅长大模型所无法解决的事实性“幻觉”和复杂推理问题。有效结合知识图谱和大语言模型各自的优势,充分发挥各自的特长,可以提供更优质的人工智能服务和产品。在 SPG的基础上,借力 LLM结构、语义、逻辑理解能力,形成 SPG LLM 的双轮驱动。基于SPG 强 Schema、逻辑约束、符号化的表达能力,进一步为提升领域知识构建与推理效率,加速知识图谱的产业落地,结合用户自然语言表达的意图理解/意图扩散、任务构造、可控生成等实现自然语言交互式的图谱查询和推理,是我们持续探索的方向。本章节简要介绍 LLM 与 SPG 自然语言交互架构,并结合达观科技的实践介绍基于 LLM的知识抽取。8.1 SPG-LLM自然语言交互架构自然语言交互架构 结合图 24 的总体架构定义,大语言模型交互主要分为四部分:大模型适配接口(LLM Adapter Interface)、知识图谱的自动抽取&构建(SPG Constructor)、基于大模型实现 SPG 的自然语言查询(SPG NL Query)和推理(SPG NL Reasoner)。8.2 自动抽取和图谱自动化构建自动抽取和图谱自动化构建 引入 LLM 之后,知识图谱的构建过程如图 44所示:图 44 知识图谱构建链 业务理解和业务理解和 Schema 设计:设计:知识图谱的 Schema 的设计和实现需要对领域内的知识有深入的理解和抽象,同时也需要考虑数据源的质量和可获取性,以及应用场景的需求和限制。这个过程通常由多方合作完成,在珠峰书中梳理了一系列实践经验,并总结为“六韬法”(如图 44 所示)。在 Schema 设计过程中,需要充分应用 SPG-Schema 的内容,并在其基础上,进一步扩展 SPG-Schema 的内容,引入标准化自然语言注释。SPG-Schema 的自然语言注释有关的内容会在后续版本的白皮书中引入。这里面可以参考的内容是 Ontology(本体)中的一些定义,它可以定义概念、属性、关系、约束和规则等元素,并支持推理和验证。如 schema.org,FIBO,GO 等知名本体库可以参考或者复用,来优化 Schema 的设计。其目标是保证所设计的 Schema的规范性、一致性和通用性。语义增强可编程知识图谱 SPG白皮书 70 图 45 珠峰书知识图谱:认知智能理论与实战第二章6 人工梳理样例和自动人工梳理样例和自动/人工编写人工编写 Prompt:基于所设计的 Schema 进行提示工程的工作,来实现实体、关系和属性的自动抽取,进而构建出知识图谱。自动化生成 Prompt 的引擎,也可以参考本体中的推理引擎来实现。这里自动生成 prompt 会依赖于 Schema 中的自然语言注释,以及人工梳理的样例。在实践中,通过人工梳理样例或使用 LLM 自动生成抽取样例,有助于使用少样本学习,来提升 LLM抽取的准确性。图 46 大模型抽取示例 LLM抽取和可选的人工审核:抽取和可选的人工审核:利用 LLM来构建知识图谱,同时,在必要的情况下,提供人工审核来确保所构建知识图谱的准确性。语义增强可编程知识图谱 SPG白皮书 71 图 47 大模型抽取审核示例 图谱构建:图谱构建:将LLM抽取的结果融合进已有的知识图谱中。基于LLM进行实体抽取、关系提取等方式,从大量文本中构建出知识图谱的核心在于知识图谱 Schema 中定义了知识图谱中的实体类型、关系类型和属性类型等元素的规范,特别是相关的自然语言注释。这与 SPG-Schema 的规范强相关在 Schema中提供自然语言注释,有助于将其转化为大模型抽取和交互的 Prompt。这里面应当有三个层次的内容:实体类型、关系类型和属性类型本身的自然语言注释 概念层次结构、语义关联和逻辑规则等层面的自然语言注释 对上述两类注释的标准化,这有助于实现公共的自动化生成 prompt 的库(引擎)Schema 的自然语言注释,一方面能够实现 Prompt 的自动生成,另一方面在利用大模型进行知识图谱构建时,可以利用大模型来自动生成少样本学习的样本。在实践中,在关系抽取中,少样本学习是非常重要的,零样本要实现好的关系抽取非常难,而少样本学习能够大幅提升关系抽取的效果。8.3 基于大模型的领域知识补全基于大模型的领域知识补全 使用大模型进行知识补全可以帮助中小机构获取更丰富的专业知识。相较于仅仅依赖企业内部积累的知识,大模型使用数量巨大的语料来获取完善的常识和领域知识。通过特殊方法从大模型中萃取知识并保存到知识图谱,可以为企业提供更高效的知识积累和使用。与传统将已存在图谱中的隐性知识显性化过程的知识挖掘,大模型的知识补全更侧重于萃取 LLM 中的专业知识并融入到知识图谱中,提供不存在于知识图谱中的知识。本次白皮书仅提出大模型“知识补全”的概念,更多的实现方法、例子、意义等敬请期待后续版本。语义增强可编程知识图谱 SPG白皮书 72 8.4 自然语言知识查询与智能问答自然语言知识查询与智能问答 传统知识图谱对自然语言理解能力较弱,大语言模型正好可以弥补这一缺陷,它经过数百亿参数的训练,拥有接近人类的语言理解和生成能力。将两者有机结合,可以让知识图谱理解用户的自然语言查询,并利用其内在知识提供准确答案。大语言模型负责语义分析,知识图谱提供结构化知识来检索答案,两者互为补充。这种结合既发挥了知识图谱的结构化知识优势,也利用了大语言模型对自然语言的理解力,从而提供更人性化的问答服务。大语言模型分析查询语句的真正意图,知识图谱则提供丰富的背景知识,帮助挖掘更准确、更相关的搜索结果。在对话系统中,知识图谱也为会话提供了丰富的常识性知识来源,使对话更加智能化和接近人类交流。大语言模型负责自然的语言交互,知识图谱则补充相关知识,使机器人拥有更强的上下文感知能力。结合大语言模和向量检索的强大能力,将自然语言交互和知识图谱结合,形成可控、可信、可靠的问答,解决大模型自身所无法解决的“幻觉”问题,为产业应用解决“最后一公里”实现落地,如图 48所示。图 48 大模型 知识图谱实现可控可信可靠问答的架构(初稿)NL2GQL/NL2KGDSL 通过人工标注的万条级别的自然语言-GQL/KGDSL 对即可对 LLM 进行 SFT,进而实现自然语言知识查询与智能问答。本次白皮书发布内容主要集中在原理性的探讨。在后续版本中,会在 GQL 或 KGDSL 更为成熟之后,发布相关的数据集,以及基于开源大模型的 SFT规范、代码仓库以及模型等,敬请期待后续更新。8.5 本章总本章总结结 本章节概要式介绍 SPG-LLM 层的基本原理、框架型内容,也提出“知识补全”的概念,预计在 SPG语义增强可编程知识图谱框架白皮书未来发布中重点完整介绍的 SPG-LLM层的内容。语义增强可编程知识图谱 SPG白皮书 73 第第9章章 SPG驱动的新一代认知应用案例驱动的新一代认知应用案例 在第 2 章中总结和分析了金融事理、黑产风控基于属性图的图谱构建和应用上存在的问题,本章节结合第 2章中提出的问题,阐述基于 SPG是如何解决的,并给出整体的解决方案。9.1 SPG驱动的金融事理图谱驱动的金融事理图谱 本章节以2.3章节中提到的2019年发生的巴西淡水河谷的溃坝事件为例。这个事件造成了铁矿石价格上涨,从而导致下游企业炼钢成本上涨。在整个事件影响链中,与淡水河谷同属于一个产业下的企业(即竞争关系企业)受益,利润有所上升。但对产业链的下游造成了负面影响,原材料成本上涨导致企业利润下降。针对 2.3 章节提出的事理图谱在属性图上应用的问题,我们提出SPG的解决方案。1.通过可派生的概念应对事件动态分类的要求通过可派生的概念应对事件动态分类的要求 事理图谱涉及事件在概念层面的演化推理,因此首先需要将事件实例映射到相应的事件概念,通过 belongTo 谓词将事件实例指向相应概念。由于事件类型众多,难以全部预先定义,因此 SPG支持使用概念通过特定组合规则派生出新的概念,从而实现对事件实例的动态分类。一个具体的案例如图 49所示。图 49 组合概念 本例中涉及“钢铁净利润下跌”和“铁矿石价格上涨”两个事件实例。其中,前者属于产业链事件分类,通过“指标:净利润”和“趋势:下跌”的组合可以派生出“净利润下跌”的概念。同理,后者也属于产业链事件分类,通过“产业链:铁矿石”、“指标:价格”和“趋势:上涨”的组合,可以派生出语义增强可编程知识图谱 SPG白皮书 74“铁矿石价格上涨”的概念。值得注意的是,SPG 不会立即将所有可能的概念组合全部派生,而是针对实际发生的事件实例,派生相应的事件概念,从而避免无意义或违反事实逻辑的概念体系。2.通过概念事理层建模解决无法表达整个事件脉络通过概念事理层建模解决无法表达整个事件脉络 在解决了 1.的问题基础上,SPG则可在概念分类体系上建立事理因果关系,用于表达事件脉络,如图 50所示,其中红色虚线表示事理知识层 leadTo被激活后在事件实例层自动产生的事件传导。图 50 事理演绎 图 50 中,从下至上分为事件实例和事理知识两层。事件实例层表示的就是具体的事件实例,例如“淡水河谷溃坝事件”,可根据 1)中的方法映射到事理知识层,事理知识层具有事理上的因果关系表达能力。在本例中,在事理知识层中已经定义:企业的“重大生产事故”会导致企业所属产业链出现“铁矿石价格上涨”或者“钢铁净利润下跌”等。当发生淡水河谷溃坝事件且该事件被归类到“重大生产事故”概念时,事件推理就从事件实例层转移到了事理知识层继续进行。根据已定义的事理知识,事件传导机制会在事件实例层生成一个新的产业链事件实例,并且新产生的事件实例又会被归类到“铁矿石价格上涨”概念,从而让新产生的事件实例成为“铁矿石价格上涨事件”。事理知识可从对事件进行归纳或者从事理模式泛化而来,用于指导具体事件实例分类和传导。例如“重大生产事故”会导致“产业链事件”发生,“产业链事件”属于“铁矿石价格上涨”概念或者“钢铁净利润下跌”概念,则规则模板为:语义增强可编程知识图谱 SPG白皮书 75 RULE1:重大生产事故-leadTo-产业链事件 RULE2:产业链事件-belongTo-铁矿石价格上涨 RULE3:产业链事件-belongTo-钢铁净利润下跌 此时可将事件归类到派生概念,让满足规则的派生概念形成事理因果关系,最终形成事理知识层的事理因果关系。这种表达方式从上至下指导事件实例层的分类和传导约束,实现了在事理知识层和事件实例层对整个事件脉络的表达。在上例中,事理知识层表达了事故导致涉事主体所属行业的下游企业利润下跌,具化到事件实例层就是“淡水河谷溃坝事件”导致了若干钢铁公司利润下跌。值得注意的是,SPG 提供的是一种事理描述框架,事理间因果关系还是需要根据业务特点由使用者进行创建,概念归纳方法更详细的案例会在未来 SPG系列文章中针对性发布相关实践。3.逻辑表达内置解决数据不受逻辑表达内置解决数据不受推理逻辑约束问题推理逻辑约束问题 SPG 将概念分类逻辑使用逻辑约束进行表达,以溃坝事件为例,需要对该事件分类,可定义如下规则。Define(s:FinancialEvent)-p:belongTo-(o:FinancialEventTaxonomy/重大生产事故)Structure (s)-:std.subject-(company:Company)/关联公司实例 Constraint R1(主体发生生产事故):s.behavior=生产事故 R2(主体公司市场占有率超过 x%,具有重大影响):company.marketShare x%上述规则含义为:当发生一个安全事故时,且该公司市场占有率超过 x%,那么该事件被归纳到对应行业的生产重大生产事故。同样,事理之间的 leadTo 关系也可进行逻辑表达,当发生了一个 e1 事件后,会产生并激活另一个 e2事件。Define(s:FinancialEventTaxonomy/重大生产事故)-p:leadTo-(o:IndustryChainEventTaxonomy/价格上涨)Structure (s)-:std.subject-(company:Company)-:industry-I:Industry)/获得行业 Constraint Action createNode(type=IndustryChainEvent value=subject=I.name index=价格 trend=上涨 语义增强可编程知识图谱 SPG白皮书 76 )事件传导产生一个新的事件实例后,新的事件实例可再次触发对该事件的分类,事件的分类可以使用组合概念进行分类。以下举例使用“产业链(IndustryChain)”、“指标(Index)”、“趋势(Trend)”三个概念类型作为组合概念对上述的产业链事件进行分类的定义。Define(s:IndustryChainEvent)-p:belongTo-(o:IndustryChainEventTaxonomy/IndustryChain Index Trend)Structure Constraint o=s.subject s.index s.trend 4.逻辑属性、关系解决外部辅助数据依赖的问题逻辑属性、关系解决外部辅助数据依赖的问题 在上述例子中,Company 存在一个属性 marketShare(市场占有率),在实践中该数据可能来自其他系统,不存在于图谱系统中,此时可以使用逻辑规则定义该数据来源,如下示例。Define(s:Compnay)-p:marketShare-(o:Float)Structure (s)Constraint o=callForMarketShares(s.id,marketShare)第 6 行代码 callForMarketShares 为一个 udf 算子,可向其他系统获取市场占有率信息。和之前所有数据均需要导入图谱方式相比,这里不需要额外拷贝其他系统数据,可以保证逻辑上数据一致,解决金融事理图谱场景下依赖外部数据决策情况。5.SPG解决推理结论可解释性不足的问题解决推理结论可解释性不足的问题 本例中,SPG 通过事件概念定义解耦了事理层面和实例层面的传导性问题,且保证了逻辑规则和数据的一致性,按照四象限思路,保证以下四个方面的可解释 事件概念体本体的泛化与派生逻辑的可解释事件概念体本体的泛化与派生逻辑的可解释 在事理模式层,定义各类事件及实体类型的结构化表示 Scheme 模式;同时自顶向下的定义实体概念本体(如产品分类)和事件本体的概念上下位体系。每一个更细粒度的事件概念,是基于事件槽位值填充,对上一层级事件概念的具象化(例如,图 50 中的“产品价格变化事件”相对于“产业链事件”,是对“指标”这个槽位,填充为特定值“价格”;而“净利润上涨”是对“净利润变化”在“趋语义增强可编程知识图谱 SPG白皮书 77 势”这个槽位值的进一步约束)。使用槽位定义-自顶向下槽位值具象化的方式,通过槽位值的属性组合,实现概念语义的可解释。上下位概念之间,拥有明确的泛化与派生逻辑。事理常识逻辑关系的可解释事理常识逻辑关系的可解释 通过定义 RULE 模式,实现概念事件间的因果、顺承、时空关系的逻辑定义。“产品价格上涨”不一定导致“产品利润下降”,通过对领域专家知识总结或对大量实际案例的分析,由于产业链上下游的供需关系影响,能够得到“上游原料产品的价格上涨,导致下游产品净利润下跌”的规则。进而基于已知的产业链上下游关系,能够批量的推导和生产具体产品间价格上涨-净利润下跌的事理逻辑。如“铁矿石价格上涨-钢铁净利润下跌”、“钢铁价格上涨-汽车净利润下跌”。对多个事理常识生成规则的定义和组合应用,能够生成针对特定产业、场景的可解释的事理常识体系。事件实例之间的事实因果、时空顺承关系的可追溯事件实例之间的事实因果、时空顺承关系的可追溯 组成事实链条的各子事件的事件主体、事件发生的时间、地点,及其这些要素间的事实关联、语义关联、时空共现或顺承关联,为事件实例间关系的成立和归因溯源提供依据。如图 51 中,2019 年 1 月 25 日淡水河谷溃坝事件、当年 7 月铁矿石价格上涨至高位,宝钢股份、宝钢股份、方大特钢的净利润下跌是有新闻报道、财报披露的事实。通过每个实例事件-概念事件的 belongTo 关系,事理知识层概念事件的 leadTo 关系,铁矿石-钢铁-汽车间的产业链关系,可以清晰的解释,这几个事件不是独立的,而是可被产业链事理关系解释的事实链条。事实关系事实关系-事理常识间归纳演绎的逻辑可解释事理常识间归纳演绎的逻辑可解释 事理层面,定义了从抽象到具体的本体概念、概念间的事理逻辑关系,常识关系;在事实实例,定义了实例知识的结构化和语义标准化表示,及事件间的事实关联。事实关系-事理常识的表示方式结耦的同时,用 SPG的 belongTo、isA、isInstanceOf等标准谓词,对概念事件到具体事实的演绎,具体事实关系到事理逻辑的归纳提供了统一的表示方法。这种在抽象概念和具体事实间的关联和逻辑解释,能够帮助在具体场景,使用已有事实关系样本对事理关系做正确性验证,及用事理逻辑,辅助对隐藏的事件间因果、顺承关系的挖掘。例如:利用事理模式生成的“钢铁价格上涨-汽车净利润下跌”及融合企业图谱中已知的汽车企业及汽车企业的股权穿透关系,挖掘出有利润下跌风险的汽车企业。语义增强可编程知识图谱 SPG白皮书 78 9.2 金融事理图谱金融事理图谱SPG与与LPG的对比的对比 表 13 事理图谱场景下 SPG与 LPG能力对比 从上面中,SPG 提供了一种事理表达框架,和 LPG 对比,可有效的将事件传导链路表达清晰,为金融事件影响快速分析响应提供一种新的实践。9.3 SPG驱动的黑产知识图谱驱动的黑产知识图谱 第 2 章中提到黑产风险图谱应用的问题,核心在于数据的维护和管理以及理解成本过高,可将第 2 章中提到的点边按照数据生成方式分为两类:1)基础数据,即来源于原始表数据。如 Person、Phone、Cert、Device、App 等实体,Person-has-Phone、Person-has-Cert 等关系可直接从原始表中转 换 得 出 的。2)派 生 数 据,由 基 础 数 据 或 者 派 生 数 据 生 产 得 出 的 数 据。如 Person-samePhone-Person、Person-developed-App 等由逻辑派生而来。下面分别从问题出发详细论述 SPG解决方案在黑产图谱上应用。1.解决原始数据转换成图谱数据后数据膨胀和成本增加的问题解决原始数据转换成图谱数据后数据膨胀和成本增加的问题。基础数据和原始表数据相比相差较大。例如,原始表只提供了用户表和应用表,并无设备、证书、电话表,该信息均为用户表和应用表的字段存在,基于 LPG 的构建一般需要用户进行额外数据转换工作,或提供映射操作。SPG提供标准属性能力可简化用户数据建模,减少数据清洗成本。如下将手机、设备和证书做成标准属性:CREATE TYPE(std.Phone value STRING REGEX 1(38d|50-35-9|73678)d8$);CREATE TYPE(std.Cert value STRING REGEX a-f0-932$);CREATE TYPE(std.Device value STRING REGEX(0-9A-Fa-f2:-)5(0-9A-Fa-f2)$);其余点定义:语义增强可编程知识图谱 SPG白皮书 79 CREATE NODE(User id STRING,/用户主键 name STRING,/用户名 type STRING,/用户类型,自然人 or 法人 hasPhoneNum std.Phone,/此处使用标准属性 hasCert std.Cert,/此处使用标准属性 hasDevice std.Device /此处使用标准属性);CREATE NODE(App id STRING,riskType STRING,/风险标记 hasCert std.Cert,/此处使用标准属性 installDevice std.Device /此处使用标准属性);由于全部使用标准属性替代关系建模,此处无关系显式定义,只需要导入用户表信息以及应用信息表即可。可以发现,使用 SPG 的建模能力,简化设备、证书等实体的建模成本,也减少用户数据清洗成本。2.解决解决因业务特点不同导致重复数据准备的问题,支持跨业务的图谱复用因业务特点不同导致重复数据准备的问题,支持跨业务的图谱复用。黑产图谱需要使用到转账数据和股权数据,SPG提供图谱融合能力,可将其他场景图谱实体关系引用到本图谱中,通过自定义归一算子,以满足本图谱场景使用。这部分可以来自于已有的资金图谱和股权图谱,例如图 51所示将资金图谱和黑产图谱融合,其中实例中文字结构为:类型/实例属性名=属性值。图 51 跨图谱知识融合 FusedPerson由资金图谱中的UserAccount和黑产图谱中的Person链指、归一合并而来,要想完成这样的同一关系,需要定义实体链指、实体归一两个阶段。值得说明的是,FusedPerson 只是类型的声明和算子的关联,不生成实际的融合实例,能大大节约计算和存储成本。语义增强可编程知识图谱 SPG白皮书 80 1)实体链指)实体链指。主要定义以什么样的链指算子将 UserAccount 实例和 Person 实例进行对应,可以是一一对应,也可以是多对一,本例中为多对一,只需要基于规则的链指就可以实现跨图谱的实体链接,算子接口定义伪码如下:BaseOp.register(FusedPersonLinkOp,bind_to=FusedPerson,is_api_iface=True)class FusedPersonLinkOp(EntityLinkingOp):def eval(self,record:Vertex)-EvalResultListVertex:pass 2)实体实体归一归一。本例中基于图谱归一算子实现,基于归一条件表达式规则,对成功映射的UserAccount、Person实例实现属性、关系筛选及操作处理,算子接口定义伪码如下:BaseOp.register(PersonFuseOp,bind_to=FusedPerson,is_api_iface=True)class FusedPersonFuseOp(EntityFuseOp):def eval(self,source_vertex:Vertex,target_vertexes:ListVertex )-EvalResultListVertex:pass 3.解决解决关系数据之间因存在逻辑依赖带来关系数据之间因存在逻辑依赖带来的不一致的不一致问题。问题。SPG提供派生关系、派生数据能力,如下,以同手机号、同人为例。Define(s:Person)-p:samePhone-(o:Person)Structure (s)-:hasPhoneNum-(w:std.Phone(o:Person)Structure (s)-:hasPhoneNum-(o),(s)-:hasDevice-(o)Constraint 针对于复杂的实际控股关系也可通过 transitive 定义,如图 52 中图谱实例,其中图中文字结构为实例的类型/属性名=属性值。语义增强可编程知识图谱 SPG白皮书 81 图 52 股权关系实例图/先定义控股比例,transitive必须要求 GraphStructure中类型一样 Define transitive(s:Company)-p:holdShares-(o:Company)Structure /图结构中必须是下面结构,表达传递性 (s)-p1:holdShares-(c:Company),(c)-p2:holdShares-(o)Constraint /以 s,o点进行分组聚合,得到所有实际股权 real_rate(相乘得到实际持股比例)=group(s,o).sum(p1.shares*p2.shares)p.shares=real_rate /赋值,以控股公司 A对公司 E为例,实际份额为 1*0.3 1*0.3=0.6 Define(s:Person)-p:indirectHolding-(o:Company)Structure (s)-p1:holdShares-(c:Company)-p2:holdShares-(o)/通过公司 c,对 o公司进行间接控股 Constraint R1(直接控股股权比例必须大于 50%):p1.shares 0.5 R2(“间接控股比例必须大于 50%”):p2.shares 0.5 依次类推,可基于专家规则将所有关系补全。4.克服业务迭代演化导致克服业务迭代演化导致schema及数据持续膨胀最终不可维护的问题及数据持续膨胀最终不可维护的问题 在以往的LPG图中,数据和schema强绑定,若业务发生变化,则需要schema配合改变,这样的改动成本较高,SPG 基于概念提供了动态分类能力,可在概念层进行业务上的扩展,如图 53 所示。语义增强可编程知识图谱 SPG白皮书 82 图 53 黑产图谱基于概念的实体动态分类 新增推理谓词 belongTo,将符合规则要求的实体和概念链接起来,比如,当一个 App 确认为欺诈 App,则其开发者为欺诈可疑人员。以 Fraudster为例,实现动态分类的规则如下:Define(s:Person)-p:belongTo-(o:TaxonomyOfRiskUser/Fraudster)Structure /开发欺诈应用的人为欺诈者 (A:App)-:developer-(s)Constraint R1(App为欺诈应用):A.type=欺诈 可通过专家规则来描述概念和实体的关联,解决业务和实际数据耦合过于紧密的问题。避免业务发生变动从而更改底层数据,也可尽量避免业务应用层对底层数据发生变化的直接感知。我们使用概念和业务进行强绑定,对于业务人员,可以将概念当成类型进行应用,以上面例子举例,将 Fraudster当做类型,例如下方式。MATCH (u:TaxonomyOfRiskUser/Fraudster)RETURN u 其他场景下基于其他场景下基于SPG图谱的黑产业务应用图谱的黑产业务应用 1.直接查询使用直接查询使用 当出现某个App被标记成为赌博应用(可能来自用户投诉,也可能来自其他安全事件触发),此时我们要找出该 App背后团伙,可通过如下查询语句 MATCH (a:App)-:developer|boss-(u:Person)WHERE a.id=赌博应用 1 RETURN u 语义增强可编程知识图谱 SPG白皮书 83 2.神经符号的融合学习神经符号的融合学习 将深度学习与规则结合一直是学术研究的热点,也是难点。深度学习可以解决很多表征学习问题,比如图像分类任务;而规则(符号逻辑)能够处理很多显式的推理问题。现有的神经符号结合的推理主要有两类应用大方向。1)规则和神经融合方式规则和神经融合方式 从规则先验的角度对这些方法进行分类,可以分为两类:第一类:用规则约束模型结构,比较典型的方法有 DeepProbLog23方法、neuro-symbolic forward reasoning(NSFS)24、Logical Neural Networks(LNN)25以及 LogicMP26等 第二类:用规则约束目标,这里把规则作为一个先验知识,先验加在目标函数上,作为一个惩罚项,比较典型的方法有 SemanticLoss27、NCLF28等方法 不管是第一类还是第二类,均需要一阶谓词方式作为规则输入形式,本文中提的各类规则可和一阶谓词互相转换,例如 Define(s:Person)-p:belongTo-(o:Fraudster)Structure (A:App)-:developer-(s)Constraint R1(App为欺诈应用):A.type=欺诈 转换一阶谓词如下:forall s:exits a:developer(a,s)&type(a)=欺诈-belongTo(s)=Fraudster 此外,由于业务专家经验属于 hard rule,很容易导致出现召回率低的问题,LogicMP 中可将具体规则内容进行软化,反向提高规则覆盖率。2)将符号间的关系表示成图结构,通过图算法进行推理)将符号间的关系表示成图结构,通过图算法进行推理 本例中,可以把用户通过逻辑规则的定义生成的图形式,输入到图算法中进行训练,该方法可以通过图的形式解耦神经和符号两种不同的方法,保证可扩展性和灵活性 语义增强可编程知识图谱 SPG白皮书 84 图 54 SPG GCN类图算法结合 9.4 黑产知识图谱黑产知识图谱SPG 与与 LPG 的对比的对比 从知识生产、知识应用、知识演化三个角度分别对 SPG和 LPG的存在的优劣势对比。表 14 黑产图谱 SPG与 LPG能力对比 SPG在黑产风控类上着重解决了图谱使用者的使用成本问题,分别在知识生产、知识应用、知识演化各个阶段均能有效提示用户使用效率、降低使用成本。9.5 本章总结本章总结 本章主要讲述 SPG 在金融事理图谱和黑产风险图谱的应用。在金融事理图谱中,SPG 提供一种事件表达框架,可有效的描述事件的影响传导关系,最终得到及时有效的结论,补充了 LPG 在事理图谱中应用的不足;在黑产风控图谱中,SPG 主要从用户使用成本和效率出发,解决了 LPG图在实践中的数据一致性难以保证、图谱演化成本高、图谱理解成本高等问题。语义增强可编程知识图谱 SPG白皮书 85 第第10章章 紧跟新时代认知智能的紧跟新时代认知智能的SPG 企业数字化、智能化升级的未来趋势是基于企业大数据体系积累的海量业务数据构建知识,促进数据知识化。通过业务数据与 AI 体系的有机融合,实现业务智能化。属性图具有与大数据体系兼容的优势,SPG 基于属性图构建核心能力,旨在加速数据知识化、知识与 AI 体系的有机融合。本章节结合前几章介绍的核心能力及两个案例,总结分析 SPG的优势、不足、机遇和挑战。10.1 SPG 相比于属性图的相比于属性图的SWOT 综合上文描述,我们从 S(Strengths)、W(Weaknesses)、O(Opportunities)、T(Threats)四象限分析下 SPG得优势、弱点、机遇与挑战。SPG的优势分析。的优势分析。1)SPG 低成本兼容大数据架构,在企业级应用中可以基于业务积累的结构化数据快速构建领域图谱。2)SPG 分级语义模型支持非完备图谱的持续演化,满足工业应用中业务快速落地、数据持续积累完善、技术应用由浅入深的要求。3)SPG 克服了 LPG 语义能力缺失的短板,兼容 LPG 点/边结构有效衔接大数据,SPG 语义增强更好的衔接 AI技术体系。SPG的弱点分析。的弱点分析。SPG 还处于成长阶段,能力设计上存在部分妥协也有一定弱点,后期是我们需要持续克服的。1)动态分类如何实现继承扩展,目前动态分类模型有效解决了类型颗粒度问题,但对应用有一定限制,难以在新的子类下扩展属性。2)需要持续完善主体内置语义结构,目前主体模型内置语义还不够丰富,只有事件主体/客体/时间、概念分层/上下位等定义和约束,如何基于可控生成及可解释推理的诉求,清晰的表达主体内置语义结构,需要结合下游应用持续的完善。3)实例-概念的联动推理模型,目前 SPG 具备了一定的实例到概念的归纳推理能力,但概念与实例的协同传导,概念到实例的演绎推理的能力还有很大提升空间,还需要结合更多类事理图谱的应用持续的优化打磨。SPG的机遇分析。的机遇分析。1)填补知识图谱企业应用语义框架缺失的空白,RDF/OWL因其复杂性未有效在企业落地,建设企业级应用的事实标准,方便跨主体的知识语义对齐,更方便促进知识的流通、互通、交换、共享。2)驱动构建知识图谱通用引擎架构,推动图谱技术的平民化、普惠化。每个技术领域的大规模应用都离不开标准化、框架化。像搜索引擎、深度学习、云计算等。3)大模型时代实现图谱与大模型的双向驱动、衔接互补。各企业基于 Transformer或开源 LLM可快速孵化/fine-tuning新的预训练基座,通过 SPG标准符号有助于在预训练、SFT/RLHF 及推理阶段实现高效的知识注入、提示联想、知识查询等,并形成稳定的范式实现图谱与大模型的联动。同时,通过数据知识化,构建与 LLM 神经网络化知识体系互补对等的符号化世界领域知识体系。语义增强可编程知识图谱 SPG白皮书 86 SPG的挑战分析。的挑战分析。1)规模化应用的性能挑战,尤其是在构建阶段,因抽取模型、实体链指较大的性能开销,严重影响大规模图谱构建效率。2)系统能力还需要更多应用打磨,SPG 系统能力还需要结合更多业务和场景持续优化,3)语义化的用户心智培养,一方面需要持续提升用户对语义的理解,另一方面需要持续降低用户对语义的感知。图 55 SPG的 SWOT分析 10.2 第第2章章问题解决情况和遗留问题问题解决情况和遗留问题 表 15 基于 LPG的图谱知识管理存在的基础问题和 SPG的解决状态 特别说明,表 15 主要列举基于属性图知识管理存在的基础问题和 SPG 的解决状态,主要体现为主体语义及逻辑谓词语义部分,可编程框架和复杂知识推理时构建在良性循环的知识管理框架之上的,不属于知识管理基本能力范畴,未在此表格中列出,但会在第 11 章未来发布计划中进一步描述。语义增强可编程知识图谱 SPG白皮书 87 第第11章章 展望展望SPG的未来的未来 本白皮书从企业级知识管理面临的问题出发,介绍了企业级图谱应用因需求范式的变更对知识语义表示与引擎框架都提出了更高的要求。本文第 1 章总结了在知识图谱技术的发展过程中,仍存在着的一些主要问题:缺少统一语义表示。目前,强语义的知识图谱并未实现 RDF/OWL 的工业落地,而弱语义的 LPG属性图在工业级图谱中却应用广泛。工具多但不统一。为每种数据集定制开发的抽取算法/链指算法、依托图数据库的图谱存储、表示学习工具、模糊检索工具、知识问答工具等,使得知识图谱技术的应用存在着较大的分散性和不便利性。立足当下,任何复杂技术的大规模产业化应用,都需要统一的技术框架,屏蔽复杂的技术细节以支持新业务的快速部署;都需要可插拔的分层架构,实现领域模型与主体引擎的分层解耦以实现新领域的快速迁移。知识图谱亦是如此,知识图谱的技术发展需要与时俱进,SPG为强语义的知识图谱定义了工业级易用的知识语义框架,帮助企业进行海量数据知识化的加速构建,通过SPG知识引擎统一的技术框架和引擎架构,真正实现知识图谱技术的框架化、平民化、普惠化。面向未来,知识图谱有着广阔的应用空间。一方面,知识图谱作为结构化数据的最佳建模实践,可以实现机器、算法、工程、业务、运营等不同视角数据建模的统一,可以构建符合 data fabric 思想的下一代数据架构,加速企业级海量数据的知识化,连接数据孤岛,发现更多隐式关联,充分激活数据价值,降低找/用数据的成本,为业务带来更大的增长空间。另一方面,知识图谱强事实、弱泛化、可解释性强、计算成本低、构建成本高的特点,与大模型弱事实、强泛化、可解释性差、计算成本高、语义理解强形成完美互补。未来,期望通过统一的知识符号表示和引擎架构和大模型形成高效的联动和互补,通过大模型技术进一步降低图谱构建成本加速数据知识化,也为大模型的可控生成提供更多领域知识的补充。通过海量常识级领域知识库的建设,加速推进通用人工智能进程。知识图谱与大模型联动互补的实现强烈依赖于完整的知识图谱和大模型技术栈,目前大模型技术已趋于成熟,基于 SPG 所定义的强语义知识图谱框架,有望形成可与大模型无缝配合的知识图谱应用框架,并在未来实现工业级可用的基于知识图谱和大模型的易泛化、高鲁棒、可解释的综合人工智能技术。语义增强可编程知识图谱 SPG白皮书 88 图 56 未来 SPG与 LLM双驱技术范式 符号逻辑与神经网络的融合一直是业界的研究热点。其中,一种常见的方法是使用神经网络来学习符号逻辑中的规则和关系,使其能够更好地处理复杂的逻辑问题;另一种方法则是使用符号逻辑来指导神经网络的学习过程,以提高其学习准确性和可解释性。知识图谱作为符号逻辑的典型代表,在结构表示、语义刻画、知识关联等方面有独特的优势。通过 SPG 为其构建的统一语义框架可以为其提供更强的生命力。目前,神经网络与符号逻辑的融合主要发生在知识推理阶段。随着大模型的出现,为符号逻辑与神经网络的融合提供了新的思路。一方面,知识图谱作为符号逻辑的语义表示与知识数据管理的底层支撑,可以借助大模型强大的语义理解能力和知识图谱的强结构、强语义的自动 prompts 和样本构建,帮助知识图谱形成统一的知识抽取框架,加速数据的知识化。另一方面,在内容生成阶段,施加强语义约束的领域知识数据可以有效避免大模型幻觉和胡说八道的问题。这些问题都有望在 SPG LLM 范式下加速解决。我们还将结合产业实践不断提升 SPG 表达能力,并通过 SPG 增强 LLM 实现客观事实的对齐,有效避免/减少大模型幻觉。同时,LLM也将增强SPG,以提升数据知识化的转化效率。我们致力于构建SPG与LLM相互驱动、相互增强的下一代人工智能引擎。语义增强可编程知识图谱 SPG白皮书 89 表 16 SPG未来发布计划 未来,我们也将持续升级 SPG,表 16 是我们未来计划发布的内容,发布的时间计划会更新在SPG公众号:语义增强可编程图谱框架上,欢迎关注、交流,一起探索工业级知识图谱架构范式。语义增强可编程知识图谱 SPG白皮书 90 参考文献参考文献 1 Martin,S.,Szekely,B.,Allemang,D.(2021).The Rise of the Knowledge Graph.OReilly.2 王昊奋,丁军,胡芳槐,&王鑫.(2020).大规模企业级知识图谱实践综述.计算机工程,46(7),13.3 王昊奋,漆桂林,陈华钧(2019).知识图谱:方法、实践与应用.电子工业出版社 4 中国知识图谱行业研究报告 OL.艾瑞咨询,2022.5 陆锋,诸云强,张雪英.时空知识图谱研究进展与展望J.地球信息科学学报,2023,25(6):1091-1105.Lu F,Zhu Y Q,Zhang X Y.Spatiotemporal knowledge graph:Advances and perspectivesJ.Journal of Geo-information Science,2023,25(6):1091-1105.DOI:10.12082/dqxxkx.2023.230154 6 王文广.(2022).知识图谱:认知智能理论与实战.电子工业出版社.7 Colas,Anthony,M.Alvandipour,and D.Z.Wang.GAP:A Graph-aware Language Model Framework for Knowledge Graph-to-Text Generation.(2022).8 王昊奋,王萌.“神经 符号”:从知识图谱角度看认知推理的发展J.中国计算机学会通讯,2020,16(8),52.9 Yang,L.,Chen,H.,Li,Z.,Ding,X.,&Wu,X.(2023).ChatGPT is not Enough:Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling.arXiv preprint arXiv:2306.11489.10 Pan,S.,Luo,L.,Wang,Y.,Chen,C.,Wang,J.,&Wu,X.(2023).Unifying Large Language Models and Knowledge Graphs:A Roadmap.arXiv preprint arXiv:2306.08302.11 王文广,王昊奋.融合大模型的多模态知识图谱及在金融业的应用j.人工智能,2023(02).12 Bretto A.Hypergraph theoryJ.An introduction.Mathematical Engineering.Cham:Springer,2013,1.13 Ferraz de Arruda G,Tizzani M,Moreno Y.Phase transitions and stability of dynamical processes on hypergraphsJ.Communications Physics,2021,4(1):24.14 RDF-star Working Group Charter.https:/www.w3.org/2022/08/rdf-star-wg-charter/15 白硕.事理图谱六问六答 OL.理深科技时评,2019.16 RenzoAngles,Angela Bonifati,Stefania Dumbrava,George Fletcher,Bei Li,Jan Hidders,Alastair Green,Leonid Libkin,Victor Marsault,Wim Martens,Filip Murlak,Stefan Plantikow,Ognjen Savkovi,Michael Schmidt,Juan Sequeda,Sawek Staworko,Dominik Tomaszuk,Hannes Voigt,Domagoj Vrgo,Mingxi Wu,and Duan ivkovi.2023.PG-Schemas:Schemas for Property Graphs.In Proceedings of the 2023 International Conference on Management of Data(SIGMOD 23),June 1823,2023,Seattle,USA.ACM,New York,NY,USA,18 pages.https:/doi.org/10.1145/3589778 17 Renzo Angles,Angela Bonifati,Stefania Dumbrava,George Fletcher,Keith W.Hare,Jan Hidders,Victor E.Lee,Bei Li,Leonid Libkin,Wim Martens,Filip Murlak,Josh Perryman,Ognjen Savkovi,Michael Schmidt,Juan Sequeda,Sawek Staworko,and Dominik Tomaszuk.2021.PG-Keys:Keys for Property Graphs.In Proceedings of the 2021 International Conference on Management of Data(SIGMOD 21),June 2025,2021,Virtual Event,China.ACM,2423-2436.18 Munoz-Venegas S,Perez J,Gutirrez,Claudio.Simple and Efficient Minimal RdfsJ.Social Science Electronic Publishing2023-08-12.DOI:10.2139/ssrn.3199430.19 The GQL Standards Website,https:/www.gqlstandards.org/语义增强可编程知识图谱 SPG白皮书 91 20 Jana Giceva and Mohammad Sadoghi.2019.Hybrid OLTP and OLAP.In Encyclopedia of Big Data Technologies.Springer.https:/doi.org/10.1007/978-3-319-63962-8_179-1 21 Zaharia M,Chowdhury M,Das T,et al.Resilient distributed datasets:A Fault-Tolerant abstraction for In-Memory cluster computingC/9th USENIX Symposium on Networked Systems Design and Implementation(NSDI 12).2012:15-28.22 Francis N,Green A,Guagliardo P,et al.Cypher:An evolving query language for property graphsC/Proceedingsof the 2018 international conference on management of data.2018:1433-1445.23 Manhaeve R,Dumani S,Kimmig A,et al.Neural probabilistic logic programming in DeepProbLogJ.ArtificialIntelligence,2021:103504.DOI:10.1016/j.artint.2021.103504.24 Shindo H,Dhami D S,Kersting K.Neuro-Symbolic Forward ReasoningJ.2021.DOI:10.48550/arXiv.2110.09383.25 Riegel R,Gray A,Luus F,et al.Logical Neural NetworksJ.2020.DOI:10.48550/arXiv.2006.13155.26 Weidi Xu,Jianshan He,Jingwei Wang,Hongting Zhou,Xiaopei Wan,Taifeng Wang,Ruopeng Li,Wei Chu,AnEfficient Mean-field Approach to High-Order Markov Logic.https:/ 27 Xu J,Zhang Z,Friedman T,et al.A Semantic Loss Function for Deep Learning with Symbolic KnowledgeJ.2017.DOI:10.48550/arXiv.1711.11157.28 Zhang Y,Chen X,Yang Y,et al.Efficient Probabilistic Logic Reasoning with Graph Neural NetworksJ.arXivpreprint arXiv:2001.11850,2020.
目录闪存控制器闪存介质层闪存设备盘闪存存储系统结束语,层数进化,奠定成本降低的基础,寿命进化到,堆叠必争制高点,的考验,中国元素,的话题,高性能还是低功耗,分区存储技术的最新发展,磁盘和,企业级与消费.
书站式指标平台产品书录概述指标平台的起源与发展指标平台的价值公司及产品公司简介关键特点及技术优势指标平台与具的关系指标平台的层级主要技术优势核能统的指标录指标语开放性,数智助理产品能特性部署式指标定义.
点击查看更多哈尔滨工业大学:大模型时代的可信自然语言处理(2023)(38页).pdf精彩内容。
版权声明版权声明 本白皮书版权属于网络通信与安全紫金山实验室及其合作单位所有并受法律保护,任何个人或是组织在转载、摘编或以其他方式引用本白皮书中的文字、数据、图片或者观点时,应注明“来源:来源:网络网络通信与安全紫金山实验室等通信与安全紫金山实验室等”。否则将可能违反中国有关知识产权的相关法律和法规,对此网络通信与安全紫金山实验室有权追究侵权者的相关法律责任。编写说明编写说明 主要编写单位:主要编写单位:网络通信与安全紫金山实验室 北京邮电大学 主要编写人员:主要编写人员:肖玉明、黄韬、张晨、汪硕、谢人超、朱海龙、刘江、刘韵洁 I 前 言 随着数字化经济的强力驱动,互联网创新发展与新一轮工业革命形成历史性交汇,推动互联网由传统消费领域向生产领域转型,催生出如工业互联网、算力互联网等新兴业务场景,从超大带宽、超低时延抖动、零丢包、万亿级连接等方面对网络服务质量(QoS)提出全新诉求。然而,当前广域网在应对上述需求时面临容量受限、质量难承诺与资源效率不足等挑战,难以提供“按需定制”的服务能力,其根本原因在于光传送与数通领域长期独立发展,未能形成有效合力。因此广域网技术体系应进一步面向光电融合演进升级,从传统带宽驱动的通道式网络向业务驱动的定制化网络演进,构建网络即服务(NaaS)的新型承载模式。本白皮书结合广域网业务与技术发展需求,提出了光电融合的服务定制广域网架构(CustomWAN),聚焦多维 QoS 量化可承诺的核心目标,构建光电传送弹性化、拓扑融合可重构、分组跨层确定性等多项基本能力,解决光电融合组网与统一调度问题,围绕用户个性化需求提供灵活的资源适配能力,实现用户与用户、用户与云/边数据中心间的高质量互联。本白皮书旨在通过构建 CustomWAN 目标架构,推动业界共同努力,加速推进广域网的技术演化与产业升级,全力建设国际领先的信息通信网络,为网络强国、制造强国、“东数西算”等重大国家战略贡献力量。II 目 录 前 言.I 目 录.II 一、背景.1(一)广域网发展新挑战.1(二)光电融合新机遇.2 二、传统广域网技术综述.4(一)组网结构.5(二)新型光/电传送技术.7(三)数通技术.10 三、业界光电融合技术方案.20 1.Cisco:Routed Optical Networking(RON).20 2.Juniper:Converged Optical Routing Architecture(CORA).21 3.华为:基于 NCE 的 IP 光协同.22 4.中兴:基于 SDN 的 IP 光协同.24 四、CustomWAN 的技术创新与探索.25(一)技术目标.25(二)总体架构.31(三)关键技术.34(四)业务调度流程.46 III 五、经济模型与定价机制.46(一)运营商传统定价模型.47(二)面向 QoS 的服务定价模型.48 六、总结与展望.50(一)CustomWAN 的优势.51(二)CustomWAN 的不足与未来展望.51 附录 A:术语与缩略语.53 参考文献.56 1 一、背景一、背景 广域网作为支撑信息时代的核心基础设施,强力推动了 21 世纪初消费型互联网的创新繁荣。但随着数字经济的快速发展,广域网在应用场景与技术能力上面临全新挑战。本章将重点分析广域网的新型业务需求与技术发展趋势。(一)广域网发展新挑战(一)广域网发展新挑战 随着与实体经济的加速渗透融合,全球互联网已逐步由消费型向生产型转变,并催生出诸多新型业务场景,如工业互联网、算力互联网、全息通信等。传统消费型业务对服务质量(QoS,Quality of Service)并不敏感,而新兴业务场景对时延、抖动、丢包等 QoS 指标提出了全新诉求:(1)工业互联网是对传统制造业生产管理过程实现数字化的新型生产模式,通过传感器采集设备生产数据,经由网络传输至云端进行存储、分析与处理,并由云端 PLC(Programmable Logic Controller)向现场设备发送远程控制指令,从而提升企业生产效率、降低成本与风险。为实现上述愿景,广域网将面临超低时延抖动、万亿级连接等严峻挑战;(2)算力互联网是一种基于互联网的算力资源共享模式,其通过网络集群优势突破单点算力的性能极限,实现跨异地数据中心的高 2 质量互联,从而提升算力的整体规模,支持如超算、智算等算力密集型应用需求。然而,算力互联的实现要求网络提供超大带宽、超低时延、零丢包的承载能力,满足业务对算力“随需使用”与“跨异地无感知”的需求;(3)新型消费互联网是一种基于数字化手段的全新服务模式,以扩展现实(XR,eXtended Reality)技术为代表,通过使用计算、显示、传感等设备,对环境与人物进行数字化模拟,实现人与虚拟现实环境间的智能交互。如图 1-1 所示,以 VR 游戏人机交互为例,其要求网络传输的往返时延被压缩至 6ms 以内,从而保证终端与云端的渲染、编解码、动作捕捉等处理要求。为实现上述目标,广域网将面临超大带宽、超低时延的承载挑战。图 1-1 VR 游戏人机交互时延预算(二)光电融合新机遇(二)光电融合新机遇 为支撑工业互联网、算网、新型消费互联网等业务的高效运转,广域网应重点围绕 QoS 质量保证进行演进,以提供“按需定制”的网 3 络承载能力。按需定制体现了“网络即服务(按需定制体现了“网络即服务(NaaS)”的思想)”的思想,其允许应用主动向网络提出定性/定量的 QoS 需求,同时要求网络对于差异化需求给予服务质量承诺。解决广域 QoS 问题存在两种思路:一是提升传输容量,类似于拓宽“马路”;另一是强化网络调度能力,类似于通过路口“红绿灯”调控各方向流量。其中,传输容量是保证QoS 性能的前提,因为时延、抖动等指标都是传输能力的附属产物,若带宽充足即可避免节点排队、拥塞等问题。运营商的传统解决方式便是基于该思想,通过不断拓宽马路来减少拥堵,却一定程度上忽视了红绿灯调度逻辑的重要性。事实上,网络容量升级势必增加可观的成本投入,并且随着业务增多,若缺乏有效的红绿灯调度,即使马路再宽也难以完全避免拥堵问题。因此,广域网靠单纯提升速率已无法满足未来需求,而是应将 NaaS 作为广域网演进的新思路,使其能够提供类似云计算服务的弹性带宽、确定性传输能力,从而定量地满足用户 QoS 需求。从技术实现角度来看,光传送技术是拓宽马路的重要手段,且原生具备时延、抖动等确定性能力,但同时也面临带宽粒度大与资源低效等问题;数通技术是强化红绿灯逻辑的重要手段,提供分组承载与统计复用能力,但却面临非确定的承载缺陷。随着新兴业务的持续驱动,光与数通领域都在不断尝试克服自身短板。例如,光传送不断向细粒度演进,形成如 OSU(Optical Service Unit)、FGU(Fine Granularity Unit)等小颗粒技术;在数通方面,以 DIP、DetNet 为代表的分组确定性技术,通过结合分组交换与电路交换思想,在保证调度灵活性的 4 同时提升确定性能力。然而,光与数通两者长期处于独立发展的状态,导致在独立面对按需定制要求时存在诸多问题。一方面,光通道再细仍是刚性管道,并且无法区分同一管道内的不同业务,因此其资源效率受限且无法解决逐业务确定性的问题;另一方面,数通不感知底层光路的选择与变化,而光路更改可能导致时延变化甚至违约,从而无法真正意义上承诺 QoS 质量。为克服光与数通各自短板,构建未来广域 NaaS 能力,必须推进光电融合进程。光电融合并非新话题,但当时缺乏足够的需求驱动,因此运营商只将其作为网络预规划的手段而非在线调度方式,并且主要面向选路与带宽分配,不具备多维 QoS 量化可承诺的承载能力。然而,当下新兴业务对服务质量的要求日益严格,同时上升至理论高度来看,NaaS与按需定制的实现也对光电融合提出了必然诉求,因此光电融合将迎因此光电融合将迎来窗口期机遇来窗口期机遇。为实现上述目标,未来广域网应深入推进光电融合进程,强化光域技术实现大容量、长距离的数据传输,融合光、电传送特质提供灵活组网与弹性资源能力,构建广域网操作系统对业务需求/属性与光电资源进行建模,支持面向路由器队列与缓存的精准调控,最终实现服务定制的承载愿景。二、传统广域网技术综二、传统广域网技术综述述 光传送与数通技术是实现广域网长距离、大容量、灵活承载的基础,为分析光电领域各自的技术优势,本章重点围绕组网结构、光传 5 送与数通等方面对当前广域网技术展开讨论。(一)组网结构(一)组网结构 1.IP-over-WDM 组网结构(组网结构(IPoWDM)SDH 在上世纪 90 年代承担了话音与数据业务的传输任务,但随着业务体量的急速增长,其容量受限、成本高的劣势逐渐显露。波分复用技术(WDM,Wavelength Division Multiplexing)的出现解决了SDH 的困境,其提供多波长的共纤传输能力,极大拓展了单纤容量,且设备造价远低于新建光缆线路。在 IP-over-WDM 初始阶段,路由器通过外部 WDM 设备实现光电转换,并且不支持光层交换,因此不具备波长路由能力。光传输技术发展推动了学术界对 IP-over-WDM 的研究改善,并逐步引入光层交换能力,形成如图 2-1 所示的组网结构。其中,IP 层由核心路由器构成实现业务流量汇聚,光层由光转发器与光线路系统组成,为上层提供基于波长交换的光连接,光线路中需部署光放大器以保障长距传输。在发送端,路由器与光转发设备相连完成光电转换,从而将业务流调制到对应的光载波上,不同载波经复用器耦合实现共纤传输;接收端基于波长交换实现对应波长的下路操作,并经光电变换传递至路由器不同接口。综上所述,IPoWDM 系统实现简单,支持对码率、数据格式的透明传输且扩容便捷,是一种经济有效的广域承载解决方案,但面临带 6 宽粒度过大、调度灵活性不足的问题。图 2-1 IPoWDM 组网结构 2.IP-over-OTN 组网结构(组网结构(IPoOTN)为解决传统 WDM 对于子波长调度能力不足、管理僵化的问题,通过借鉴 SDH 中 TDM 与 OAM 理念,并结合 WDM 形成了 OTN(Optical Transport Network)技术体制。OTN 定义了多种速率等级的容器,满足不同带宽粒度的承载要求,同时引入电交叉能力以实现子波长级的路由调度,同时保留了光交叉能力实现在站点内各方向之间波长信号的自由调度。此外,OTN 在帧结构中引入丰富的监控开销,提供从光层到电层的多级监控能力。IP-over-OTN 组网结构如图 2-2所示,IP 层由核心路由器构成,OTN 电层引入 ODU 容器提供基于子波长的交叉能力,OTN 光层提供基于波长的交叉能力,核心路由器与 OTN 之间通过以太网接口相连。对于大带宽业务,可通过 OTN 电层或光层直通对端,回避 IP 层的转发处理,在减少路由器过境流量的同时降低端到端时延。7 相比于 IPoWDM,传统 IPoOTN 具备更高的调度灵活性与资源效率,但仍存在如下不足:i)从业务角度而言,ODU 带宽粒度仍较大(吉比特级),导致底层通道资源效率与连接数受限;ii)IP 与光层各自独立算路,整体算路效率与优化性能较低。图 2-2 IPoOTN 组网结构(二)新型光(二)新型光/电传送技术电传送技术 1.分组切片网(分组切片网(SPN)如图 2-3 所示,该方案采用 IP-over-FlexE-over-WDM 组网结构,通过 FlexE 构建 1.5 层时隙通道,实现物理层与 MAC 层速率解耦,提供类似于 OTN 的 TDM 低时延电交叉能力,但其封装更为简洁高效。ITU-T 标准规范时隙粒度为 5Gbps,与 ODU 速率处于同级别。为向下拓展 Sub-1G 速率粒度,SPN 提出了基于 GFU(Fine Grained Unit)的小颗粒通道能力,通过综合考虑芯片设计的复杂度、大小、成本、功耗等因素,将时隙粒度定为 10Mb/s。总体而言,SPN 具备如下优势:i)顺应业务以太化发展趋势,扩展支持主流以太口,与 IP、8 MPLS 等分组技术高度兼容,可保护已有技术投资;ii)提供时隙交叉能力,支持低时延承载;iii)支持多速率的端到端通道构建,提供通道的连通性检测与性能监测能力;iv)支持小颗粒通道带宽的无损调整。虽然 SPN 优势巨大,但仍存在如下不足:i)SPN 虽能通过构建端到端时隙通道保证路由与带宽的确定性,但无法解决同一时隙通道内的逐流确定性问题。其原因是 SPN 确定性的实现绕过了分组层,因此从根本上无法解决“分组”的问题。当然,SPN 可通过分配冗余带宽来保证确定性,但这会导致资源效率下降;ii)时隙粒度的细化会增加数据在 SPN 节点的等待时间。因为受链路传播与节点处理延迟影响,数据到达 SPN 节点后未必能被立刻转发,须等待所分配的时隙到来,然而粒度细化导致同一时隙的两次发送间隔变大,导致数据等待时间延长;iii)SPN 淡化了光层交叉能力,导致光路配置灵活性受限。图 2-3 SPN 网络架构示意图 2.下一代光传送网(下一代光传送网(NG-OTN)如图 2-4 所示,NG-OTN 继承了传统 OTN 的固有能力,并向下 9 拓展了基于 OSU 的 Sub-1G 容器粒度,从而将 OTN 组网延伸至接入侧。业务通过 OSU 接入网络,并在城域汇聚/核心节点复用至 ODUk中,骨干 OTN 提供传统 ODUk 交叉能力,构建基于 OTN 单层网络的端到端连接。该方案支持分组业务(具有保证带宽要求)、及固定速率业务(STM-1/STM-4 等)的接入,并提供无损带宽调整能力(最小调整步长为 10Mbps)。此外,NG-OTN 通过简化映射层级,降低业务封装与交换时延。NG-OTN 提供了低时延、大连接、灵活无损带宽调整的技术优势,可显著提升网络服务质量与带宽效率。但 NG-OTN 在面向未来业务场景时仍存在如下不足:i)NG-OTN 继承了传统 OTN 的固有能力,支持低阶 ODU 向高阶 ODU 复用,不同阶 ODU 之间通过 GMP 协议封装,然而阶数过多导致多级重复封装,引入额外处理时延;ii)NG-OTN 虽然向下拓展了细粒度容器,但其本质上仍是刚性传输通道,因此带宽效率问题仍未从根本上被解决,尤其在面对较强突发性的分组业务时;iii)虽然基于电路交换的 NG-OTN 可保证端到端时延与抖动,但其对上层业务透明传输,难以满足同一容器内的逐流确定性要求。造成上述问题的原因是 NG-OTN 未与分组层进行联动。图 2-4 NG-OTN 网络架构示意图 10(三)数通技术(三)数通技术 1.流量调节与整形技术流量调节与整形技术 流量调节(Policing)旨在限制进入网络的某一类业务流量,通过在网络入口对不同类型数据流量采取不同措施,以决定数据分组是否进入网络。通常采用令牌桶算法实现,如单速率双色桶与双速率三色桶。令牌桶类似于入口闸机,获得令牌的分组便可进入网络,未获得令牌的分组则继续等待。网络可为不同类别的业务单独设置令牌桶,通过调节桶深与令牌发放速度进行控制,其中桶深用于限制业务的突发量,令牌发放速度用于限制业务速率。流量整形(Shaping)用于调控网络中某一链路的业务突发,使数据分组能以相对均匀的速率发送。由于数据业务突发性问题的存在,若瞬时流量过大可能导致网络产生拥塞。流量整形通常基于漏桶算法实现,限定链路上各个时刻流量速率的上限。未来广域网中仍需沿用流量调节与整形技术,例如,保证用户侧发送速率符合 SLA 约定,以及对业务进行入口整形为端到端 QoS 质量保障提供辅助作用。2.路径选择与资源预留技术路径选择与资源预留技术(1)MPLS-TE MPLS-TE 是解决大型骨干网中流量工程问题的有效方案,其通过结合 MPLS 技术与流量工程,在无连接的 IP 网络上实现了面向连 11 接的服务。MPLS-TE 具体操作如下:i)除网络拓扑信息外,所有节点还需收集各链路 TE 参数及负载信息。MPLS-TE 通过扩展 IGP 协议来发布链路状态信息,包括最大链路带宽、最大可预留带宽、当前预留带宽、链路颜色等,在设备上形成链路状态数据库;ii)通过 CSPF算法与链路状态数据库,计算满足带宽、颜色、显示路径等约束的路由;iii)通过 RSVP-TE 或 CR-LDP 协议建立标签交换路径并预留资源;iv)基于 MPLS 进行数据面转发。MPLS-TE 可预先确定路由并预留带宽资源,从而为服务质量提供保证。但其在面向未来业务场景时却存在如下不足:i)路由选择主要面向分组层,并不能对光层选路进行决策;ii)高度依赖最新、准确的链路 TE 状态,若状态信息不准确,将导致 QoS 性能下降;iii)向全网节点频繁更新链路 TE 状态,将导致网络传输负担加重;iv)受传输距离影响,链路状态的更新同步存在延迟,影响状态的时效性与准确性,进而限制组网规模;v)CSPF 能够一定程度实现定制化承载,但仅限于自治域内,无法提供跨域的定制化能力。(2)RSVP RSVP 是针对 InterServ 模型而设计的传输层协议,用于在沿路节点上传递资源预留的控制信息。RSVP 定义了一整套消息机制实现QoS 请求、资源预留、预留路径维护、资源释放等功能,其中以 PATH与 RESV 消息为核心,其它消息则由其演化而来。PATH 消息由发端向收端定期发送,在途经节点上建立或刷新 Path 状态。由于预留状态是有时间限制的软状态,因此需周期性刷新。RESV 消息则沿反方 12 向从收端向发端逐跳传递,在途经节点上建立或刷新 Resv 状态,执行接纳控制与资源预留操作。RSVP 事先在数据流传输路径上预留了一定带宽资源,因此可提供业务所期望的服务质量。RSVP 解决了带宽维度的 QoS 保障问题,但在面对未来广域网应用时仍存在如下不足:i)虽然支持用户提出的差异化带宽需求,但只针对已有路径预留带宽,无法通过信令触发路由的方式实现差异化选路;ii)RSVP 带宽预留成功率有限;iii)不支持时延、抖动、丢包等多维度的 QoS 定制;iv)跨域资源预留实现复杂度高,导致业务开通慢。(3)IPv4 源路由源路由 区别于逐跳查表转发的路由方式,IPv4 源路由是一种无状态转发机制,通过在 IPv4 包头携带完整路由信息,转发节点根据该信息进行端口匹配实现数据转发,从而极大减少转发设备的转发表项,降低控制面与数据面频繁交互引入的通信开销。其实现方式是:源端将路由信息(如每跳的 IP 地址)添加至 IP 数据包的 Option 字段,路由器根据报头中 IP 地址进行转发处理,从而在无连接的 IP 网络上提供一定程度的 QoS 保障能力。IPv4 源路由分为两类,即严格源路由与松散源路由,其中严格源路由要求严格按照IP列表中的地址顺序转发;松散源路由则只提供必须经过的路由器地址信息,非直连路由器间还需依靠传统 IP 寻址完成路由转发。IPv4 源路由允许发端指定数据包的完整路径,从而具备一定程度的路由控制与网络调优能力,但在面向未来广域网应用时仍存在如下 13 不足:i)Option 字段长度不能超过 40 字节,导致路由跳数受限;ii)只支持指定路由,无法指定沿路的资源配置;iii)无法指定光层传输路径。(4)SR-MPLS 分段路由技术(SR,Segment Routing)解决了 MPLS 中协议种类多、信令复杂、可扩展性差等问题。SR 基于源路由思想,将网络路径划分为多段并以 SID 来标识各段与转发节点,通过有序排列段与节点形成传输路径,节点根据 SID 执行分组转发。SR 支持 MPLS 与IPv6数据面,并形成SR-MPLS与SRv6 两条技术路线,其中SR-MPLS以 MPLS 标签作为 SID 进行数据包转发。SR-MPLS 改用 IGP 代替LDP 分发标签,同时集中化控制面规避 RSVP 导致的大量节点间交互过程,实现路径标签的集中计算与下发,因此除源节点外其它节点无需维护路径状态。SR-MPLS 简化了设备控制平面,具备更强的扩展性,但在面向未来业务需求时仍存在如下不足:i)与 IPv4 源路由类似,只支持指定路由,无法指定沿路资源配置,因此不具备多维 QoS 定制能力;ii)不关注底层光路的选择与变化,因此无法实现真正意义上的路由定制。(5)SRv6 SRv6 是基于 IPv6 封装格式的 SR 技术,在原始报文中新增了扩展头 SRH,并在 SRH 内直接使用 IPv6 地址空间来编码与表达 SID,无需额外的标签协议。当传输数据时,SRv6 在发端将路径 SID 写入 14 SRH 形成 Segment List,转发节点根据 SID 进行分组转发,若节点不支持 SRv6 则仍可沿用传统 IPv6 方式进行转发,从而保护现网投资。此外,SRv6 基于 IPv6 极大的地址空间提供强大的网络编程能力,例如 SID 间的灵活组合、自定义 SID 结构与功能等,从而支持更丰富的网络服务。相比 SR-MPLS 与 MPLS 技术,SRv6 具备协议简化、兼容性强、网络可编程等优势,但在面向未来广域网应用时存在如下不足:i)仍然不具备指定沿路资源配置的能力,因此无法实现时延、抖动、丢包等指标的量化承诺;ii)不支持对光层路由的感知与定制。3.队列调度技术队列调度技术 队列调度用于解决多分组竞争同一出口时的发送排序问题,尤其在待发数据速率高于出口速率上限的时候能够发挥显著作用。队列调度要求既能提供高等级业务的优先级保证能力,又要兼顾低等级业务对带宽使用的公平性。传统队列技术包括 PQ、CQ、LLQ,WFQ,CBWFQ 等:(1)PQ:优先级队列,使用优先级为 High、Medium、Normal、Low 的四个子队列。PQ 机制优先服务高优先级子队列,若高优先级子队列中无待发数据,则再服务顺位优先级队列。若 PQ 在服务中等优先级队列时,高优先级队列中有数据分组到达,则高优先级队列会对中等优先级队列的发送过程进行抢占。PQ 中每个子队列都对应一个最大队列深度,若超过该值则进行队尾丢弃。PQ 的优势在于为高 15 优先级队列数据提供了低时延转发能力,其缺点在于会导致低优先级队列被饿死,并且当大量高优先级分组到来时,PQ 无法保证每个高优先级分组的排队时延。(2)CQ:用户定制队列,通过配置多个子队列,并指明各队列所适配的业务类型、长度以及每次轮询所能连续发送的字节数等。其中,0 号子队列优先级最高,只有在该队列报文发送完后才会处理其它队列,其它队列使用 Round-Robin(RR)机制进行循环调度,被 RR机制调度的队列其优先级相同。此外,还有改进版的 RR 机制,即WRR,其允许用户为每个队列分配一个权值,根据权值为各队列分配一定接口带宽,其中权值表征了一次轮训中各队列可发送的字节数。CQ 的优势在于既保证关键业务能获得较多带宽,又可避免非关键业务被饿死。但缺点在于 CQ 无法保证实时业务获得像 PQ 一样优质的时延指标。(3)WFQ:加权公平队列,通过业务优先级配置权重,将带宽公平地分给不同类型的业务。WFQ 采用 IP 优先级作为分配带宽的权重,权重计算方式为 4096/(IP 优先级 1)。WFQ 优势在于能较公平地提供带宽服务,且配置相对简单。但缺点在于单纯从带宽(即平均速率)角度考虑转发,保证不了突发情况下逐分组的时延与抖动要求,并且对于进入同一队列中的流量无法再做区分,无法提供逐流的 QoS保证。(4)CBWFQ:基于类别的加权公平队列,允许用户通过 ACL、入接口、DSCP 值等自主定义队列,并且允许给每个队列分配最小保 16 证带宽,各队列均基于 FIFO 的调度方式,默认采用尾丢弃机制。若无拥塞发生时,各队列所占带宽可超过其保证带宽,并在发生拥塞时能提供最小带宽保证。CBWFQ 的优势在于支持用户自主定义业务分类,但由于未改变 WFQ 的公平性本质,因此其缺点与 WFQ 相同。(5)LLQ:低时延队列,在 CBWFQ 中添加一个严格优先级队列用于时延敏感流量的转发(如语音业务),保证该队列优先级高于其它所有队列,从而保证时延敏感型业务的快速转发。该高优先级队列存在最小保证带宽的约束,在拥塞发生时该队列所占带宽不能超过保证带宽,否则会被丢弃。LLQ 在 CBWFQ 公平性的基础上提供了低时延转发能力,但其缺陷在于未对最高优先级做进一步的定量化区分,若同时到达大量实时性业务(事实上不同实时性业务的 QoS 需求在数值上存在差异性),则势必引发 LLQ 内超长排队,甚至导致队尾业务被丢弃。上述所有队列机制都是从带宽角度出发解决业务 QoS 问题,然而带宽是一种统计概念,用于衡量每秒转发的数据量,并不能刻画业务分组的到达情况,从而导致业务各分组在队列中的等待时间无法被精确控制。另一方面,上述队列机制对于低时延需求的解决思路是采用“尽快转发”,而“尽快转发”只是一种模糊的定性保证手段,并不能提供定量化的QoS承诺,因而在面向未来业务需求时存在不足。4.确定性技术确定性技术(1)确定性)确定性 IP(Deterministic IP)17 DIP 网络架构如图 2-5 所示,包括入口边缘节点、核心节点、出口边缘节点等。发送端通过 UNI 向网络提出业务需求,入口边缘节点为各业务流选择发送周期,核心节点则执行聚合周期调度。下文将从控制面与转发面两个角度对 DIP 的具体技术进行说明。图 2-5 DIP 网络架构(1)控制面:i)准入控制。DIP 入口边缘节点的控制面记录各流的资源预留状态,包括流标识、预留带宽、起始时间与结束时间。入口节点通过资源预留结果,决定该流是否被允许入网。当数据流违背 SLA 合约时(如超速),入口节点可直接丢弃分组或按 BE 类型转发;ii)路径规划与资源预留。基于分布式或集中式路由算法预先计算路径,并沿途进行静态或动态资源预留。其中,静态预留可通过集中控制单元为沿途转发节点下发资源需求,或通过入口节点发送资源预留信令;动态资源预留采用信令方式,其流程通过人工、控制单元、数据流等方式动态触发实现。(2)数据面:改进 TSN 循环排队转发(CQF)技术思想,不要求所有网络节点间的严格时间同步。DIP 通过在时域划分等长时隙周期,使数据包按照时隙周期进行排队与转发,要求发送节点同一周期内被转发的所有分组,在接收节点也被调度到同一周期进行下一跳转发,具体实现包括:i)路由绑定。DIP 在沿路节点上预留资源,并使 18 各分组与对应路径绑定,上述绑定可通过携带转发标签实现;ii)基于时隙的确定性转发。入口节点将分组的发送周期编号写入分组头中,中间节点则根据上下游节点间的周期映射关系选择对应的发送周期,并重复上述过程直到分组抵达出口节点。IP 网络中分组的处理与链路传播时延相对固定,上下游相邻节点可维持稳定的周期映射关系。DIP 是基于时隙思想的分组确定性技术代表,具备良好的可扩展性,但同时面临如下不足:i)基于时隙思想的调度导致时间调控精度受限,使得抖动存在两倍时隙宽度的理论上限;ii)基于首节点的时隙规划方式,限制了业务调度的求解空间,进而降低了业务承载量;iii)DIP 基于底层网络连接不变的设计原则,而事实上底层网络连接在光路断裂、OSNR 劣化时都可能发生改变,但上层对其并不感知,因而可能导致 QoS 性能不稳定甚至违约。(2)指定周期排队转发()指定周期排队转发(CSQF)如图 2-6 所示,基于 CSQF 机制的转发设备在其出口开辟定长时隙周期,并设立 M 个循环队列,各队列按轮询方式进行发送。任意时刻只能存在一个队列发送数据,而其它队列则执行数据接收操作,通过多队列机制可实现数据延迟发送(最多延迟 M-1 个周期)。与 DIP出口规划方式不同,CSQF 支持逐跳周期规划。此外,CSQF 要求各转发节点保持频率同步并且维护与相邻节点间的周期映射关系。其中,周期映射关系表征相邻节点间因物理距离而导致的周期偏差,即明确上游节点某一周期所发数据将在下游节点的哪一周期到达(例如节点A 周期 1 的数据到达节点 B 时会横跨周期 Y 与 Y 1)。CSQF 作为一 19 种队列机制,通常与源路由技术配合使用,将包含路由与时隙信息的标签写入分组头中,转发节点解析分组头并查询转发表执行转发。图 2-6 CSQF 转发原理示意图 CSQF 一定程度解决了 DIP 求解空间不足的问题,但仍面临如下挑战:i)与 DIP 类似,基于时隙思想的调度将导致时间调控精度受限,同周期内分组先后顺序不可控,并且无法实现“定时定点”的严格确定性要求;ii)CSQF 支持逐跳周期规划并提供最多 N-1 个周期的出队延迟选择,虽优于 DIP 但仍限制着业务调度的求解空间,进而降低业务承载量。综上所述,为实现对新型业务场景的高质量承载,广域网需要进一步深化光电融合组网进程,通过光层技术创新,保证大容量长距离的数据传输;通过提升组网与资源分配灵活性,构建跨层联合选路与资源调配机制,克服各层独立规划而导致的低效性与不可靠问题;保留分组层统计复用与底层电路交换的各自优势,在实现 QoS 质量可承诺的同时强化综合资源效率,降本运维成本、提升运营收益与用户体验。20 三、三、业界业界光电融合技术方案光电融合技术方案 光电融合并非新话题,经过多年发展已经形成多种不同技术体系,本章针对国内外已有的光电融合承载方案进行介绍,并结合未来广域网应用场景与技术需求展开分析。1.Cisco:Routed Optical Networking(RON)如图 3-1 所示,RON 采用 IP-over-WDM 组网结构,但将光模块集成入路由器从而移除外部 WDM 转发设备,并摒弃 L1/L0 层的时隙与波长交叉能力,依靠分组层实现流量汇聚与转发,从而形成单平面组网结构。RON 在路由器各接口上集成大容量相干光模块,通过复用器耦合多波长实现共纤传输,并在下一跳路由节点处进行解复用,随后将各路波长信号传递至对应的路由器接口。RON 通过路由器互联实现组网,基于 Hop-by-Hop 方式进行数据转发,并引入 SR-TE 优化网络性能与资源效率。RON 有利于简化网络架构、降低组网成本,但在面向未来广域应用时却存在如下不足:i)接口为 100G 起步,颗粒度过大,仅适用于大带宽互联场景;ii)缺乏电层、光层交叉能力,无法实现 L1/L0 层穿通,难以保证超低时延传输;iii)长距离传输致使跳数过多,在增加端到端时延的同时提升了节点排队的可能,加剧了时延、抖动的不确定性;iv)RON 将所有类型的业务转发都交由路由器处理,增加了路由器负担;v)不具备多维 QoS 量化定制能力。21 图 3-1 RON 组网结构示意图 2.Juniper:Converged Optical Routing Architecture(CORA)与 Cisco RON 技术思想类似,CORA 将自研 400G 相干光模块直接插入 IP 路由器,实现 IPoDWDM 的扁平式组网结构。CORA 具备如下能力:i)简化光层结构。CORA 通过移除外部 DWDM 转发设备,减少对电源与空间的需求以降低成本;ii)支持多速率长距覆盖。可提供超过 500 公里的 400G DWDM 链路、900 公里的 300G DWDM链路,以及 2000 公里的 200G DWDM 链路能力,并支持后续向 800G容量扩展;iii)光路监测与重路由。CORA 利用光收发器遥测技术,支持对质量降级的光路进行重路由,从而避免服务中断;iv)减少保护冗余。CORA 将 IP 作为控制平面进行整体调度规划,并释放传统光网络用于 1:1 保护的闲置波长,改由在服务层进行保护,从而以消耗少量额外带宽为代价保护关键流量。CORA 以路由器为核心并简化光层结构,可显著降低控制面组件与调度逻辑的复杂性,但在面向未来广域应用时却存在与 RON 类似 22 的不足:i)接口颗粒度过大,仅适用于大带宽互联场景,并且难以提供细粒度的硬隔离能力;ii)移除了电层&光层路由能力,无法实现L1/L0 层穿通,难以保证超低时延传输;iii)长距离传输致使跳数过多,在增加端到端时延的同时提升了节点排队的可能,加剧了时延、抖动的不确定性;iv)无法提供多维 QoS 量化定制能力。3.华为:基于华为:基于 NCE 的的 IP 光协同光协同 NCE 采用 IP-over-OTN 的组网结构,通过 IP/MPLS 进行分组层路由转发,基于 ASON 技术提供灵活的光路调控能力。NCE 采用层次化的管控架构,引入如图 3-2 所示的 NCE-Super、NCE-IP 与 NCE-T 控制面角色。其中,NCE-Super 负责全局调度、跨层管理等任务,NCE-IP 负责 IP 网络配置、资源发现、网络流量监控、IP 集中算路等任务,NCE-T 负责光网络配置、开通光路等任务。NCE 具备如下光电协同能力:i)由 IP 层连接驱动光层建路。先由用户在 IP 层明确要创建的跨层连接(ML Link),随后由 NCE-Super 根据层间连接关系确定出待建光路的光层源宿设备,并交由 NCE-T 进行算路,综合考虑时延、ERO、SRLG 等约束;ii)资源池化。NCE 将路由器端口与光层资源作为资源池,支持按需的带宽资源分配;iii)基于阈值扩容。实时监测 ML Link 流量,若发现超过阈值则进行扩容,增加路由器端口或光层波长等;iv)三维跨层拓扑可视。NCE 提供三维的跨层拓扑视图,并在其上呈现 L0L3 网元与链路、跨层连接、隧道信息等,并对跨层连接提供时延、资源利用率信息。23 NCE提供了基于多层结构的光电协同解决思路,具备资源高效、自动化运维等优势,但在面向未来广域网应用时仍需进一步强化 QoS能力,具体包括:i)目前只支持带宽量化定制能力,无法严格保证时延、抖动、丢包性能。虽然在创建 ML Link 时考虑了时延因素,但主要针对光路传播时延,并未对分组层排队时延与跨层资源适配导致的等待时延进行调控。事实上,多维 QoS 量化定制的实现要求分组层与传送层共同参与,从路由选择与资源分配两个角度进行控制,一方面保证路由的确定性,另一方面建立分组与转发时间的映射关系(即用对资源);ii)跨层连接的建立是先确定分组层连接关系,然后向光层映射需求从而开辟光路,本质上还是各层独立选路并通过控制器进行拉通(Overlay),并没有将各层对等地融合在一起进行联合选路(Peer-to-Peer),从而缺乏全局调度与优化的能力。图 3-2(a)基于 NCE 的 IP 光协同方案;(b)跨层连接创建过程 24 4.中兴:基于中兴:基于 SDN 的的 IP 光协同光协同 如图 3-3 所示,该方案采用 IP-over-OTN 的组网结构,并基于层次化管控架构实现对 IP 层与光层的联合调度。该方案创新性地将数据中心对计算资源的调度与管理模式引入至广域网中,具备如下能力:i)资源池化。面向路由器端口与光传输资源,支持在单个路由器物理端口上创建多个虚拟端口,实现路由器端口资源的池化与去方向性,并基于 ODU 容器、波长等光电资源为其建立带宽按需的传输通道,通道带宽可随业务流量变化而弹性伸缩,从而节省路由器与 OTN 端口资源,解决网络拥塞、流量不均衡等问题;ii)基于虚实映射的光电协同。通过将 L3 及以上层级与物理资源池解耦,支持上层协议的灵活配置,并通过 UNI 接口实现 IP 层与光层的互通。具体操作为:首先为业务创建 IP 虚拟网络,随后将 IP 虚拟网络作为业务请求触发光层建路,并综合考虑带宽、时延、SRLG 等约束。该方案提供了面向 IP-over-OTN 的光电协同解决思路,具备资源弹性、按需建路的优势,但与 NCE 类似还应进一步强化多维 QoS 定制能力:i)目前只提供了跨层连接按需创建、带宽弹性分配等功能,未解决同一跨层连接中的 QoS 定制问题,同时未从确定性要求角度探讨跨层资源适配的方式;ii)该方案由 IP 层需求驱动光路建立,虽然优于传统 IP、光层独立规划或预先规划的方式,但本质上还是各层独立路由,缺乏全局优化能力。25 图 3-3(a)SDN IP 光方案总体架构;(b)基于虚实映射的光电协同 四、四、CustomWAN 的技术创新的技术创新与探索与探索 本白皮书提出服务定制广域网(CustomWAN,Customizing Wide Area Network)架构,旨在实现 NaaS 的新型服务模式,提供多维 QoS可承诺的分组传送能力,从而定量地满足差异化业务需求,支撑工业互联网、算力互联网、新型消费互联网等新兴应用的高效运转。本章将对 CustomWAN 技术目标与实现原理展开详细阐述。(一)技术目标(一)技术目标“服务定制”是未来网络广域网必须攻克的核心问题,其总体要求可概括为“需求表达差异化”与“网络承载定制化”。“差异化”指支持业务定性或定量地向网络主动表达自身需求与属性。其中,需求指业务 QoS 诉求,包括带宽、时延、抖动、丢包等;属性指对业务流特征的刻画,包括分组达到规律、突发长度等。“定制”指根据差异 26 化业务需求灵活调控承载网络,从而提供个性化服务。然而,目前广域网面临容量受限、QoS 难承等挑战,难以提供“按需定制”的服务能力,其根本原因在于光传送与数通领域长期独立发展,未能形成有效合力,因此广域网技术体系应进一步面向光电融合演进升级,充分发挥各层的独特技术优势。CustomWAN 重点解决融合组网与灵活调度问题,通过底层全光互联实现大容量长距离的广域传输,融合光电域的多资源维度与全颗粒调度能力,实现资源池化并提供弹性化承载通道,同时构建面向分组的端到端确定性传输能力,最终围绕用户要求提供灵活网络调度与资源按需适配能力,实现用户与用户、用户与云/边数据中心间的高质量传输。1.大容量长距离传输大容量长距离传输 根据中国互联网信息中心发布的第 51 次中国互联网络发展状况统计报告 显示,截至 2022 年 12 月,我国网民规模达到 10.67 亿,互联网普及率突破 75%,移动互联网接入流量达到 2618 亿 GB,同比增长 18.1%,互联网已经深入渗透零售、餐饮、金融、交通物流等行业,从而推动用户流量、接入设备数量的急速增长。同时随着计算密集型应用的铺开,算力互联也进一步加重了未来广域网的带宽压力,例如,为支持“东数西算”八大枢纽节点的互联,要求承载网具备大容量、长距离的传输能力;中国天眼 Fast 每天要产生 500ZB 的数据回传至数据中心处理。因此从客观趋势而言,对广域网进行容量升级是不争的事实,另一方面大容量也是保证服务质量的基础。此外,广 27 域网承担着跨数十甚至数千公里的数据传输任务,如何降低传输路径损耗也是一项关键问题。2.光电传送弹性化光电传送弹性化 业务数据量的持续攀升导致网络带宽压力剧增,一种解决思路是扩容,但这代表着更多的成本投入;另一种思路是挖掘现网的资源效率,提升工作链路每比特的平均业务承载量。这就要求打破传统物理接口的容量边界,对各节点传输资源进行池化处理,同时引入高效的资源分配策略,实现资源按需弹性配置、避免闲置。具体方式包括:i)传统广域网光层采用 WDM 固定栅格分配频谱资源,限制了频谱分配的灵活性,致使业务速率与光层带宽颗粒难以匹配,引发频谱资源闲置问题,如图 4-1-所示;ii)传统网络以物理接口为资源调度的基本单位,然而接口速率不能按需适配业务,加之接口存在方向性(如固定配置去往某节点),从而导致各接口/波长带宽不能被充分利用,如图 4-1-所示;iii)随着互联网与垂直行业的加速融合,不同行业提出了差异化的隔离性要求,然而传统网络不具备资源池化能力,即无法灵活地划分资源集合并定义其边界,从而只能以牺牲部分资源为代价满足隔离性要求,如图 4-1-所示;iv)互联网业务呈现波动特性,即其数据速率随用户行为(如位置移动、操作频率等)以及时间推移而持续变化,因此网络资源供给也应随业务需求变化而弹性伸缩,进而既保证 QoS 质量又能提升资源效率。然而,如图 4-1-所示,受物理接口额定速率所限,当前网络难以实现该情况下的扩缩容。28 图 4-1 网络不支持资源池化导致的一系列问题 对此,融合网络应具备带宽资源池化能力,突破物理接口的容量边界,实现承载资源池化并提供统一调度能力。然而,当前光层技术还无法提供面向逐业务的接口粒度,因此本白皮书认为可在光层与分组层之间引入 TDM 层,以弥补细粒度物理通道能力的不足,从而构建三层的分组传送融合网络结构,满足资源按需适配的要求。3.拓扑融合可重构拓扑融合可重构 新兴业务对网络提出超低时延、确定性抖动等要求。反观数通分组层与光传送层特性,分组层可提供统计复用能力,但其转发时延相对较高,并且无法保证底层网络路由与带宽的确定性;传送层可通过电路交换方式构建光&电刚性管道保证路由与带宽的稳定,但缺点是无统计复用能力,导致资源效率与连接数量受限。分组层与传送层的各自优势,对于构建未来广域网都有极大助益,因此两者间存在强烈的融合动力,以实现优势互补。为推进融合进程,应构建多层一体的网络拓扑,从而面向多元需求提供定制化的跨层路由与资源适配能力,29 具体包括:i)算路一体化。基于各层对等协作的设计理念,以全局视角进行多层一体化算路,扩大路由规划的求解空间,打破当前各层独立算路效率低、优化不足的困境。同时提供清晰化的业务端到端跨层路由结果,提升多层统一排障效率;ii)多目标优化。支持面向用户或运营者设计专用化链路权重,适配收益、能效、QoS 等多元优化目标,例如自动选择光层/TDM 层旁路以实现超低时延传送;iii)灵活可重构。由业务请求触发各层网络连接的建立与拆除,支持阶段性调整拓扑结构以优化全局或局部性能。4.分组跨层确定性分组跨层确定性 未来广域网将全面支持工业互联网、算力互联网与元宇宙等新兴业务场景,分组确定性传输是服务上述业务的核心网络能力。确定性技术的设计应兼顾可扩展性与精确性,并支持与光层、TDM 层联动。一方面,分组确定性实现的前提是路由确定,即为业务构建明确的传输路径,从而保证链路传播时延稳定,如图 4-2(a)所示。若底层路径频繁改变将会导致业务时延变化剧烈,甚至违背 SLA 承诺。因此,分组层应与 TDM 层、光层联动构建明确的传输路径,形成光层直通、光层多跳、TDM 层多跳等多种路由形式;另一方面,分组确定性的实现还要求资源分配确定,即将各分组与传输所需的时空资源进行精确映射,从而实现转发时延的逐跳可控。传统网络主要从带宽角度实行资源分配,而带宽是一个统计性概念,用于衡量每秒内的数据传输量,无法精确限定各分组的发送时刻进而导致不确定性。如图 4-2(b)30 所示,若两个连续到达的分组分别在 1 秒区间的首端与尾端发送,则其转发时延差距为秒级,进而引发巨大抖动;若对两个分组的可能发送区间进行适当限制,则可减少抖动。然而,分组发送时间的调控精度越高将导致规划复杂度越高,进而限制网络扩展性。因此,如何平衡精确性与扩展性是广域网应重点解决的问题。图 4-2 路由与资源分配对分组确定性的影响 此外,广域网还应具备多级确定性的承载能力,本白皮书从不同“确定性”需求的实现难度出发,将其划分为五个等级:i)不确定性,指对所有 QoS 指标都无要求,如 Best-effort 业务;ii)弱确定性,指对时延、抖动无要求,但对带宽或丢包有要求。承载该类业务无需复杂的规划调度,可通过传统资源预留技术予以实现(如 RSVP);iii)一般确定性,指对时延有要求但对抖动无要求(对时延有要求隐含了对带宽也存在要求,比如 1 bit/s 带宽必然无法满足 100 Kb/s 业务的时延要求),该种情况要求对路由与沿路资源进行规划,但相较 ivv级而言其解空间较大,系统实现难度较小;iv)强确定性,指对时延、抖动皆有要求,该种情况在 iii 级的基础上进一步加强了资源分配的求解约束,其系统实现难度较 iii 而言更大;v)超强确定性,要求分组在特定时刻到达目的端,该种情况下路由与资源分配的解空间极小,31 因此对资源调控的精度要求极高。值得注意地是,iiiv 级实现难度高于 ii 级,是因为带宽、丢包指标是面向业务流而言,是对一批分组传输成功与否的统计结果,其容错性较大,无需严格实现逐分组调控;而为满足时延、抖动需求则须进行逐分组调度,其系统实现难度较大。当前 DIP、CSQF 等广域确定性技术从原理上而言可满足 iiv 类要求。(二)(二)总体架构总体架构 CustomWAN 总体架构如图 4-3 所示,包括网络控制平面与基础设施平面。其中,控制平面由决策中枢与域控制器组成,承担业务跨域跨层规划与资源调度控制等任务;基础设施平面由光电转发设备与网关组成,形成“分组 TDM 光”的多层融合转发模式,并通过网关衔接不同自治域提供跨域 QoS 定制能力,实现用户与用户、用户与云/边数据中心间的高质量传输控制。CustomWAN 重点解决光电融合组网与灵活调度问题,通过底层全光互联实现大容量长距离的广域传输,融合光电域的多资源维度与多颗粒调度能力,实现资源池化并提供弹性承载通道,构建面向分组的端到端确定性传输能力,最终围绕用户要求提供多维 QoS 量化可承诺的分组传送能力,实现长距离大容量、确定性、弹性化的高效传输控制。具体包括:32 图 4-3 CustomWAN 总体架构(1)CustomWAN 支持跨域服务定制。支持跨域服务定制。通过在域间引入独立的网关角色衔接各域,并在物理网络之上形成网关平面进行全域统筹,从而解决各域因商业竞争与私密性等客观原因导致的难协同问题。CustomWAN对各域QoS能力进行抽象形成“接口”向网关平面提供,网关平面根据业务需求对其进行组合,基于指标分解方式实现跨域QoS 定制,其实现思想为:首先,各域控制器收集本域所有链路及其上资源信息,构建完整的域内拓扑并对其抽象,并将抽象后的虚拟拓 33 扑呈报 CustomWAN 操作系统。操作系统收集各域虚拟拓扑并构建全局虚拟拓扑视图;其次,当业务请求到达并向操作系统提交需求信息,操作系统根据虚拟拓扑中的链路度量值,选择从源域至宿域的候选路径集。随后根据候选路径的跨域情况,对业务时延、抖动等指标进行逐域分解,并将分解后的指标需求传递给相应的域控制器;最后,各域控制器在域内规划满足该分解需求的 QoS 路径。(2)CustomWAN 支持域内服务定制。支持域内服务定制。在域内构建基于“分组 TDM 光”的多层组网结构,突破传统物理接口的容量边界,实现承载资源池化并提供统一调度能力,同时结合各层提供不同的数据交换能力与资源调控粒度,实现跨层资源间的协同规划及高效适配。通过发挥 TDM 层与光层的刚性通道能力,满足带宽定制化与路由确定性要求,通过在分组层引入确定性调度机制,解决分组与转发时间的精准映射问题,实现同一接口内的各业务带宽、时延、抖动、丢包的定制化。(3)CustomWAN 操作系统支操作系统支持全域调度控制持全域调度控制,向下实现对底层物理资源的虚拟化抽象与统一控制,向上提供面向多元业务的跨域跨层规划功能,如图 4-4 所示。操作系统由决策中枢与控制器两部分构成,控制器直接对接各域转发设备下发控制指令,同时将采集到的网络信息呈报决策中枢;决策中枢负责解析业务需求并提供个性化的编排策略,同时存储、归纳、分析采集到的网络信息,执行趋势预测、性能评估等操作。CustomWAN 操作系统的关键功能描述如下:i)资源抽象与按需调度。通过构建时、频、空多维资源的统一抽象方法与 34 归一化度量模型,实现对网元资源的抽象并构建资源池进行统一管控与调配;ii)跨域联合编排。基于网关平面所形成的全局虚拟拓扑与虚拟链路 TE 参数,进行跨域 QoS 路由与指标分解;iii)多层联合调度。在域内综合考虑指标分解后的带宽、时延等需求,以及量不同网元的资源容与交换能力,通过多层联合路由机制实现跨层一体化路由。通过一体化路由可充分发挥统计复用的资源效率优势,以及电路交换的严格带宽保障与路由确定性,同时提供灵活按需的资源隔离与共享能力,构建域内的 QoS 定制化通道。虽然虽然 CustomWAN 提升了跨层提升了跨层调度的灵活性与层间协调性,但也增加了控制面的实现复杂度。调度的灵活性与层间协调性,但也增加了控制面的实现复杂度。(三)(三)关键关键技术技术 1.大容量长距离传输技术大容量长距离传输技术 CustomWAN 提升容量从三方面入手:一是提升资源维度(从时域、频域到空域),二是提升单维度下的资源跨度(如频谱宽度、纤芯数量),三是提高单位资源的比特效率(如调制格式等)。具体实现方式涉及:i)在资源维度方面,可通过部署空分复用技术,包括多芯复用、模分复用、轨道角动量复用等,拓展物理信道的利用率;ii)采用多波段承载技术,从传统 C 波段承载向 C 、C L 或 C L S 波段扩展以增加波道数。例如,C 频谱宽度被拓展至 6THz,相比传统C 波段增加了 50%,使得系统从传统 80 波道提升至 120 波道;C L波段频谱宽度拓展至 9.6THz,满配波道数量超过 180,传输容量提升 35 1倍;iii)突破高速光调制技术,包括引入高阶QAM调制,如128QAM、256QAM 等,以及使用更窄频谱的调制方式,如 OFDM、超奈奎斯特、概率整形等。此外,延伸系统传输距离可通过突破超宽放大、超低损光纤、空芯光纤等技术实现。2.光电融合组网结构光电融合组网结构 CustomWAN 采用“分组层 TDM 层 光层”的组网结构,力求实现各层的深度融合与一体化调度,从而在满足服务定制要求的同时提升网络资源效率。如图 4-5 所示,CustomWAN 站点由路由器、T-box(Transport Box)与BV-OXC(Bandwidth Variable Optical Cross Connect)设备组成,其中:i)路由器承担分组转发任务,通过队列调度机制实现对各分组排队时延的精确控制。此外,考虑到光通道间隔粒度相对业务而言较大,因此在分组层与光层间插入 TDM 层以构建小颗粒度的传输接口(TDM 层的实现技术不唯一,本白皮书基于 FGU 方案进行探讨,但对其帧格式进行改进,合并冗余项提升传输效率),同时支持数据基于 TDM 时隙进行交换,从而绕过分组层实现低时延转发。路由器通过 FlexE PHYs 接口与 T-box 对接;ii)T-box 通过读取 FlexE开销明确各 PHY 中的时隙使用情况,从而移除空闲时隙,并针对实际数据量配置光收发器速率。T-box 线路侧配置了可切片的带宽可变收发器(S-BVT,Sliceable Bandwidth Variable Transponder),可虚拟出多个子收发器支持弹性光谱分配(信道中心频率步长为 6.25GHz,频谱宽度粒度为 12.5 GHz),从而解决频谱效率问题;iii)为实现灵 36 活可切片的光层路由,CustomWAN 引入带宽可变光交叉连接器 BV-OXC,代替传统 ROADM 实现对任意连续频谱的上/下路与交叉调度。图 4-5 CustomWAN 三层结构 通过将 CustomWAN 各层传输资源进行池化,从而为业务构建速率适配的传输接口,具体实现思想如下:i)为单个/多个业务流建立独立的分组层接口,该接口是一种逻辑概念,即在物理口上虚拟出多个子接口。各分组层接口对应一定数量的 FGU 时隙,以 FGU 为例作讨论是因其属于 Ethernet 体系,成本更低且产业开放;ii)TDM 层将单个/多个 PHY 口捆绑形成一个 TDM Group,即为 TDM 层接口;iii)T-box 通过解析时隙开销将一个 Group 内的空闲时隙移除,随后S-BVT 为各个 Group 分配频隙与调制格式,形成光层接口。基于上述组网架构与资源池化思想,本白皮书进一步探讨多层联合调度机制以解决业务流的定制化路由与转发问题。3.多层联合路由机制多层联合路由机制 CustomWAN 通过跨层联合调度保证域内 QoS 质量与资源效率。37 跨层联合调度实现的基础是构建多层融合网络拓扑,传统网络拓扑是面向单层而言(如分组层、光层等),而 CustomWAN 要求建立横跨三层的网络拓扑,能同时反应同层节点间与相邻层节点间的连接关系,并根据使用对象或优化场景的不同设计专用的链路权重。基于上述思想,CustomWAN 跨层联合调度机制的要点描述如下:(1)构建融合拓扑)构建融合拓扑 传统网络拓扑主要面向单层构建,因此只能反映该层内的路由情况,无法反映跨层及其它层内的传输过程,从而导致各层协同性不足,进而对层间资源适配效率、QoS 质量以及可靠性等方面造成不利影响。为解决上述问题,本白皮书构建了三层融合拓扑,支持跨层路由与资源协同配置,并将之存储于 CustomWAN 操作系统中。如图 4-6 所示,融合拓扑由上而下分别对应分组层、TDM 层与光层,拓扑中节点命名采用“层名 站点名 编号”的方式,例如 PA0 表示分组层站点A第 0 号节点;拓扑内“In”与“Out”节点分别表示业务通过该站点接入与离开本域,该类节点的作用为标定业务源宿位置,进而方便执行路由算法;各层“0”号与“1”号节点分别表示该层的“输入”与“输出”过程,其中“输入”表示从低层向高层传递数据,“输出”表示相反过程;站内的同层“输入”节点可向“输出”节点传递数据,表示层内的数据交换操作,如分组交换、时隙交叉等。初始拓扑中,相邻站点(即通过物理光纤相连)的光层节点间存在两条单向连接,分别表示两个传输方向,如 OA1OB0、OB1OA0。38 图 4-6 CustomWAN 融合拓扑 图4-6所示拓扑中存在两种链路类型,即逻辑链路与非逻辑链路。其中,非逻辑链路一定程度上反映网络中设备间的实际连接关系,在融合拓扑中表现为所有纵向链路以及光层横向链路,例如 PA1TA1表示站点 A 中分组层与 TDM 层相连通,OA1OC0 表示站点 A 与站点 C 通过光纤链路连通。非逻辑链路采用静态生成方式,其由网络建设的实际拓扑所决定,通常情况下不发生改变(除非物理网络发生变化);逻辑链路表示设备间建立的连接,在拓扑中表现为分组层与TDM 层的横向链路,例如 PA1PB0 的分组层逻辑连接,与TA1TB0 的 TDM 层逻辑连接。逻辑链路采用动态生成方式,只有在设备间建立连接后才会被触发生成,并在连接拆除时从拓扑中删除。在拓扑中加入逻辑链路可使得后续业务在选路时复用已建立的各层接口,解决 TDM 层与光层刚性通道的资源闲置问题,从而提升网络资源利用效率。(2)多层联合选路多层联合选路 基于一体化拓扑,通过路由算法选出多条候选路径,并按权重排 39 列形成候选路径集合。上述路径可表现为光层直通(即分组层一跳)或跨越多层等形式,如图 4-7 所示,(a)中展示了光层两跳、分组层一跳的候选路径。先在站点 A 中新建分组层、TDM 层接口,然后在A 与 B 间新建一条光层通道,并在 B 中经光层交叉传输至 C,对应地 C 中也需新建三层接口;(b)中展示了复用已有 TDM 层接口的候选路径。在 A 中新建分组层接口,然后复用站点 A 与 B 间已建立的TDM 层通道,并在 B 中经时隙交叉至新建的 TDM 层接口,对应地C 中也需新建三层接口;(c)中展示了复用已有分组层接口的候选路径。复用站点 A 与 B 间已有分组层通道,然后在 B 中经分组交换至B、C 间新建的跨越三层的传输通道。图 4-7 基于融合拓扑的跨层选路示意图 然后,根据业务 QoS 需求对候选路径进行资源规划,直至选出满足要求的最佳路径。该过程中涉及两类链路情况:i)若所选为逻辑链路(即复用同层间已建连接),则应对其上已 40 有接口进行容量判断,选出一个符合要求的接口。若所有接口皆无法满足需求,则可采取如下两种措施:其一是放弃该路径,对候选集中其余路径重复上述操作;其二是对接口扩容。其中,分组层扩容即增加 FGU 时隙数量,TDM 层扩容即增加 PHY 数量,光层扩容即拓展频隙。ii)若所选为非逻辑链路,则表示应为业务创建新接口,并分配时隙、频隙及调制格式。对于 TDM 层,应根据业务服务速率与时隙重复周期进一步规划,从而合理分配时隙数量与相邻时隙间隔(服务速率的含义将在下一节中阐释);对于光层,应根据 TDM 层每跳的光传输距离选择调制格式,为其分配对应数量的频隙。4.多维多维 QoS 调度机制调度机制 上节阐述了如何为业务在融合拓扑中预选端到端跨层路由,本节在此基础上进一步阐述各层资源分配与确定性分组转发的实现原理。(1)网络时延组成分析)网络时延组成分析 如图 4-8 所示,网络时延由节点处理时延(Tp)、排队时延(Tq)、序列化时延(Ts)、及链路传播时延(Ti,j,i,j 表示链路两端点)四部分构成。其中,i)处理时延(即查表、校验、交换等)对分组而言可视为定值;ii)传播时延由 TDM 层与光层构建的传输通道所决定,涉及底层的传播、处理与光电交叉等操作。一旦底层传输通道建立,其时延也可视为定值;iii)发送时延由接口速率及分组长度决定,由于一般情况下分组长度与接口速率量级差距较大,因而只会引入少量时 41 延;iv)排队时延指分组在发送队列中的等待时间,受节点负载、多打一等情形影响,是造成网络时延不确定的核心因素。因此,确定性转发技术旨在解决节点排队时延的可控问题。图 4-8 分组层时延组成(2)跨层确定性实现原理)跨层确定性实现原理 CustomWAN 确定性机制由两部分组成,即沿路资源规划与队列调度。其中,沿路资源规划指针对业务 QoS 需求在分组层沿路节点上规划资源预留方案,并为分组层逐跳创建/选择适配的 TDM 层与光层通道。然而,考虑到资源预留还不足以解决实际转发节点内多业务的出口竞争问题,还需设计对应的 QoS 队列调度机制,其设计要旨是能将队列调度的计算处理解耦下放到各节点设备上,从而回避编排器对全网分组进行集中规划而引入的计算复杂度。2-1)分组层沿路资源规划)分组层沿路资源规划 首先,在业务时延需求中扣除各层的固定时延(即传播、处理、交换时延),将剩余量作为分组层的时延预算。如图 4-9 所示,业务经过分组层三跳传输,则其时延预算为:=, , ,,其中 L 为业务时延需求;,、,与,分别表示两站点间 TDM 层与光层的传播、处理、交叉时延总和,该时延在通道建 42 立完成后便相对固定。之后,根据上述时延预算进行分组层的确定性调度规划。图 4-9 分组层时延预算规划示意图 通过对分组层使用确定网络演算理论,得出如式(4-1)(4-2)所示关于时延、抖动、丢包率、资源容限的不等式组,并联立求解不等式组,若能求得一组解(,)T则进行后续接口容量适配操作,若不等式组无解则对后续候选路径重复上述流程。20()()1()()e essist LTtmin binff Dt (4-1)20:()()(,)se ebugetssup inf dttdmin LJ (4-2)式(4-1)&(4-2)中:a)2()表示分组层的端到端服务曲线函数。其中,2()=12(0,),为第 i 个“输出”节点为业务 s 提供的服务曲线函数(i1n,n 为沿路“输出”节点总数)。令()=(),表示该节点为业务 s 配置的服务速率,值得注意地是 并不代表业务实际占用带宽,而是指当缓存队列中存在业务数据时应以速率进行转发,以满足其 43 时延、抖动等需求。()表示业务的到达曲线(如图 4-8(a)所示),该曲线可根据用户对业务特征的描述生成,或由入口节点对业务达到规律进行拟合生成。为推迟发送时长容限。b)min()即为沿路所有节点中分配的最小缓存值,令各节点分配相同的缓存资源从而方便求解不等式。由于到达曲线与服务曲线量纲皆为比特,因此需将比特损失与丢包数之间进行函数转换,即=()。c)J、D 分别表示业务抖动、丢包需求。事实上,QoS 需求并非决定服务速率大小的唯一因素,通信双方间的物理距离也会对其产生影响。例如,设业务 1(S1)的通信距离为 195km、时延需求为 1ms,业务 2(S2)的通信距离为 1km、时延需求为 100s,两者带宽需求相同。从数值角度出发,S1 的 QoS 指标低于 S2。但实际上,除去链路传播时延(考虑在理想的光纤传输情况下,即 5s/km),S2 留给沿路节点的转发时延预算为 95s,而 S1 的预算只有 25s,因此其服务速率极有可能超过 S2。2-2)TDM 与光层资源适配与光层资源适配 TDM 层:层:SPN 与 M-OTN 中提出小粒度时隙的出发点是承载小带宽业务,并提供物理隔离能力。然而,时隙粒度的细化将对分组层时延、抖动造成影响。如图 4-10 所示,粒度细化将导致同一时隙两次发送的时间间隔增加,对于 FlexE 5G 时隙而言,其间隔约为 13ns,FGU 间隔约为 50s,OSU 间隔约为 630s。对此,CustomWAN 提出一种新型 TDM 时隙分配机制,根据业务突发大小与突发间隔周期化 44 地分配时隙,从而避免粒度细化对业务时延、抖动的影响。光层:光层:移除 TDM 层接口内的空闲时隙后,应根据 TDM 层每跳的光传输距离,查表选择阶数最高的调制格式,然后为其分配对应数量的频隙,要求所分配频隙的总容量不小于移除空闲时隙后的 TDM接口带宽。图 4-10 TDM 时隙细化对业务时延抖动的影响 2-3)Deadline 驱动的队列调度驱动的队列调度 对于多业务竞争同一分组层接口的情况,应构建出口队列机制保障逐业务分组的确定性转发。对此,将上述不等式组求得的(,)T参数下发至沿途路由器,路由器在对应分组层接口上为业务创建独立的转发队列 q,队列转发时要求实际服务曲线值在任意时刻都不低于理论服务曲线,且按“先到先服务”转发,实际服务曲线与理论服务曲线的差值即为,如图 4-11(b)所示。45 图 4-11(a)业务到达曲线与服务曲线关系;(b)队列调度执行思想 如图 4-12 所示,每个队列是否可发送分组由“门”控制。节点内控制器通过计算各队列 值并对其升序排列生成调度表,根据表中 排序先后决定“门”开启顺序,对于 v 级确定性要求的业务则在=0时进行发送。随着分组的不断发送,调度表内队列排序也需持续更新。该队列调度机制中的“Deadline”包含两层“界限”含义:其一是转发参数(,)T是以业务 QoS 需求为上界计算而出,其二是以理论服务曲线为下界进行转发控制。该队列机制要求节点间进行频率同步,但不要求时间同步。图 4-12 节点队列结构及调度方式 46(四)业务调度流程(四)业务调度流程 CustomWAN 业务流程如图 4-13 所示,主要分为 5 项步骤:i)发起业务请求。用户向 CustomWAN 业务系统发起业务请求,请求中包括源宿位置、业务属性、QoS 需求等;ii)跨域规划。业务系统将请求下达给操作系统,并对需要跨域传输的业务请求执行指标分解策略,业务端到端指标(时延、抖动、丢包)进行逐域分解;iii)各域/网关独立规划。各域按照分解后的指标进行域内独立规划,执行上述多维 QoS 调度机制。网关也同步执行 QoS 调度机制,避免成为服务质量的性能瓶颈;iv)下达调度策略。将规划结果下达给各域控制器以及沿途网关节点;v)下达设备配置指令。各域控制器将调度策略转换为设备控制指令,并向下达给各层设备,各层设备完成配置后通知控制器,控制器再通知操作系统,最后通知业务发送数据。图 4-13 CustomWAN 业务调度流程 五、经济模型与定价机制五、经济模型与定价机制 NaaS 服务模式势必重新定义网络定价方式,使得运营商能够从 47 增强的服务能力中获益,最终推动基于流量的传统计费模式向基于QoS 计费转变。因此,如何确立“面向 QoS 的服务定价模型”将成为构建未来网络经济新生态应重点解决的问题。(一)运营商传统定价模型(一)运营商传统定价模型 1.平滑定价模型平滑定价模型 该模型不关注用户对网络的实际使用量,而是让用户在特定时间段内为网络服务支付固定费用,例如按月或按年付费。该模型优势在于实现简单、运作方便,同时便于运营商对自身营收进行预测与规划。然而,该模型却存在如下不足:i)该模型本质上使得用户费用被平摊,各用户从自身利益出发都将尽量多地传输数据,从而加快了网络拥塞进程,引发“公地悲剧”问题;ii)一刀切的定价方式无法满足多元QoS 指标的差异化定价要求。2.使用量定价模型使用量定价模型 该模型摒弃了固定费率的定价思想,而是根据用户对网络的实际使用情况进行计费,如流量、时长等。该模型有利于运营商更准确地跟踪与分配资源,同时一定程度规避了“公地悲剧”问题。然而,该模型却存在如下不足:i)该模型本质上不区分业务,无法面向差异化QoS 需求进行针对性定价;ii)费用与用户实际使用量挂钩,费用的不可预测性导致用户对该模型的使用积极性下降。48 3.拥塞感知定价模型拥塞感知定价模型 该模型引入动态计费思想,使服务定价随网络负载实时调整,即负载越高则定价越高。该模型的优势在于促使用户在高峰期时减少网络使用,从而一定程度缓解网络拥塞问题,辅助运营商管理调度网络资源。然而,该模型却存在如下不足:i)与上述模型一样,无法面向多元 QoS 需求进行针对性定价;ii)定价波动使得用户付费存在不可预测性,导致用户对该模型的使用积极性下降。事实上,未来网络将从承载技术角度解决拥塞问题,同时构建网络准入机制,拒绝高负载情形下的低优先级业务接入,因此未来网络的定价模型无需考虑拥塞问题。4.优先级定价模型优先级定价模型 该模型继承了 IP 网络中的优先级体系,并对按优先级分类后的业务进行差异化定价,从而为高付费业务提供更优质的服务质量。然而,由于优先级本质上是对业务 QoS 需求的一种定性区分,使得该模型无法解决定量化 QoS 指标(如 1ms,100s)的定价问题,因此很大程度上限制了业务的区分粒度,进一步导致无法为 QoS 可承诺的网络承载能力提供匹配的服务定价。(二)面向(二)面向 QoS 的服务定价模型的服务定价模型 广域网服务能力与技术形态正经历从“尽力而为”向“服务定制”49 变革,进而为用户提供多维 QoS 量化可承诺的承载能力,实现服务体验的跨越式升级。然而,服务能力的升级势必重新定义网络计价方式,进而推动基于流量的传统计费模式向基于 QoS 计费转变。虽然现有定价模型也一定程度考虑了 QoS 因素,例如优先级定价模型与QoS 违约补偿机制,然而前者对于 QoS 需求的区分粒度不足,只能提供基于人为设定的定性化业务区分,难以满足定量 QoS 指标的针对性定价要求;而后者只能在网络未满足 SLA 合约时被动地补偿用户,无法主动针对 QoS 指标进行合理化定价。为克服传统模型存在的不足,CustomWAN 提出了一种面向 QoS的新型网络定价模型,通过联合考虑资源需求及服务质量两项因素,实现面向差异化需求的针对性定价。i)在服务质量方面,通过综合考虑业务 QoS 需求、生命周期长度、用户地理位置等因素计算服务速率,从而将多维需求的复杂组合转化为单一变量进行表征,并围绕服务速率进行定价。高服务速率使分组进入节点后能被更快转发,从而避免过长的排队延迟,这表示网络对该类分组提供更及时的转发响应,一定意义上类似于“转发优先级”更高。但这与传统优先级概念又有所区别,并非要求先发完高优先级业务才能转发低优先级业务,而是不同优先级可穿插发送。因为低优先级业务也存在 Deadline,一旦抵近 Deadline 则应被转发,相对而言高优先级业务的 Deadline 来临会更快。对此,用户应为高服务速率支付更多服务费用。然而服务速率并非指用户实际消耗的物理带宽,因此还需对资源消耗进行额外定价。ii)在物理资源方面,围绕业务承载所预留的沿路带宽与缓存资源进 50 行定价,即资源消耗越多则用户付费越高。此外,网络还需在业务生命周期内对其传输性能进行监测,若发现存在违背SLA合约的情况,网络应根据指标偏离程度通过预定规则对用户进行赔偿。CustomWAN 将上述两种因素纳入定价考虑的原因在于:首先,业务传输需消耗物理资源且其消耗可被量化统计,因此面向资源消耗定价具备合理性;其次,若仅按资源消耗定价则存在问题,这意味着为业务分配对应数量的资源即可保证 QoS。然而事实并非如此,虽然现网可按量分配资源,但却无法承诺 QoS 质量。这是因为保证 QoS不仅要求提供足量资源,还要求精准地控制资源窗口的时域分布,这便要求网络进一步增强服务控制能力,因而对该附加能力进行计费也具备合理性。因此,CustomWAN 根据资源消耗与服务能力进行联合定价,若用户欲获得 QoS 承诺,则既要购买物理资源也要购买服务能力。面向 QoS 的定价模型对于现网而言是一种补充,在网络长期演进过程中可与传统定价模型配合使用,即若用户想体验 QoS 可承诺的网络服务时则可订购,若用户不订购该服务则仍可按传统定价模型进行计费。六、总结与展望六、总结与展望 本白皮书结合广域网业务场景与技术发展需求,提出了光电融合的服务定制广域网架构,以多维 QoS 量化定制为核心实现目标,构 51 建了网络即服务(NaaS)的新型承载模式。本章总结 CustomWAN 技术体系存在的优劣势,并对其后续发展方向进行展望。(一)(一)CustomWAN 的优势的优势 CustomWAN 聚焦构建广域服务定制能力,重点攻关光电融合组网与多维 QoS 调度问题。CustomWAN 通过引入网关平面统筹各域,从而实现跨域 QoS 定制,通过构建三层组网结构以融合各层优势,从而围绕用户 QoS 需求提供灵活网络调度与资源按需适配能力。对比现有组网架构 CustomWAN 优势在于:i)构建融合拓扑提供多层联合规划能力,克服各层独立规划而导致的低效性、优化性不足的问题,支持业务承载通道与接口速率的按需触发;ii)通过各层的高效协同,提升了路由灵活性、资源效率与连接数;iii)拓展了业务承载的颗粒度,增强了场景适用性,同时基于TDM层与光层交叉能力,支持L1/L0层的穿通以实现低时延传输;iv)具备多级确定性转发能力,并通过多层联动实现端到端 QoS 可承诺的网络承载;v)支持 QoS 流与 Best-effort 流的混合传输,在实现定制化承载的同时提升网络资源效率。(二)(二)CustomWAN 的不足与未的不足与未来展望来展望 CustomWAN 提供了一种光电融合广域网的架构理念与技术形态,能够初步提供服务定制能力,但仍存在如下不足还需进一步强完善:i)组网结构复杂。为实现更高的调度灵活度与 QoS 性能保证,CustomWAN 采用“分组 TDM 光”的三层组网结构,其组网与设备 52 形态比当前 RON、CORA 等单层结构复杂,因此将引入额外的站点建设成本;ii)控制面设计复杂。CustomWAN 构建了 WAN 操作系统,提供面向业务与传输/缓存资源的建模能力,并基于此提供三层联动的多维 QoS 调度功能,实现对时域、空域资源的精准调控,因此导致控制面组件数量增多且交互频繁、控制逻辑更为复杂;iii)在时域调度方面,CustomWAN 还应进一步优化上下游节点间的时钟频率依赖。CustomWAN 后续还应深入加强安全、运维方面的技术突破,以应对网络复杂化而导致的各种安全、故障隐患,同时可考虑引入数字孪生技术对网络存在的安全、故障隐藏风险进行模拟挖掘,从而提前制定应对策略。CustomWAN 还应积极拓展学科交叉维度,例如构建网络领域的大模型,强化用户对需求描述的准确性与清晰度,降低用户使用各类网络能力的技术门槛,同时加深网络对于用户意图的理解与把握,从而提供更为优质的服务定制能力。53 附录 A:术语与缩略语 中文中文名称名称 英文缩写英文缩写 英文全拼英文全拼 访问控制列表 ACL Access Control List 尽力而为 BE Best-effort 带宽可变交叉连接器 BV-OXC Bandwidth Variable Optical Cross Connect 基于类的加权公平队列 CBWFQ Class-Based Weighted Fair Queue 融合光路由架构 CORA Converged Optical Routing Architecture 可定制队列 CQ Customized Queue 循环排队转发 CQF Cyclic Queueing and Forwarding 基于路由受限标签分发协议 CR-LDP Constraint-based Routing Label Distribution Protocol 约束式最短路径优先 CSPF Constrained Shortest Path First 指定周期的循环排队转发 CSQF Cycle Specified Queueing and Forwarding 服务定制广域网 CustomWAN Customizing Wide Area Network 确定性 DetNet Deterministic Network 确定性 IP DIP Deterministic IP 差分服务码点 DSCP Differentiated Services Code Point 密集波分复用 DWDM Dense Wavelength Division Multiplexing 显式路由对象 ERO Explicit Route Object 细粒度单元 FGU Fine Granularity Unit 先入先出 FIFO First-in-First-Out 通用映射规程 GMP Generic Mapping Procedure 内部网关协议 IGP Interior Gateway Protocol 基于 OTN 的 IP 承载 IPoOTN IP-over-OTN 54 基于 WDM 的 IP 承载 IPoWDM IP-over-WDM 标签分发协议 LDP Label Distribution Protocol 低时延队列 LLQ Low Latency Queue 媒体接入控制 MAC Media Access Control 多协议标签交换 MPLS Multi-Protocol Label Switching 网络即服务 NaaS Network as a Service 下一代 OTN NG-OTN Next Generation OTN 操作维护管理 OAM Operation Administration and Maintenance 光数据单元 ODU Optical Data Unit 正交频分复用 OFDM Orthogonal Frequency Division Multiplexing 光信噪比 OSNR Optical Signal Noise Ratio 光业务单元 OSU Optical Service Unit 光传送网 OTN Optical Transport Network 可编程逻辑控制 PLC Programmable Logic Control 优先级队列 PQ Priority Queue 正交振幅调制 QAM Quadrature Amplitude Modulation 服务质量 QoS Quality of Service 可重构光分插复用器 ROADM Reconfigurable Optical Add-Drop Multiplexer 路由光网络 RON Routed Optical Networking 轮询调度 RR Round-Robin 资源预留协议 RSVP Resource Reservation Protocol 同步数字体系 SDH Synchronous Digital Hierarchy 软件定义网络 SDN Software Defined Network 分段标识 SID Segment ID 服务等级协议 SLA Service-Level Agreement 切片分组网 SPN Slicing Packet Network 分段路由 SR Segment Routing 共享风险链路组 SRLG Shared Risk Link Groups 扩展头 SRH Segment Routing Header 55 基于 IPv6 的分段路由 SRv6 Segment Routing IPv6 传送盒 T-box Transport Box 时分复用 TDM Time Division Multiplexing 流量工程 TE Traffic Engineering 时间敏感网络 TSN Time Sensitive Network 用户网络接口 UNI User Network Interface 虚拟现实 VR Virtual Reality 波分复用 WDM Wavelength Division Multiplexing 加权公平队列 WFQ Weighted Fair Queue 加权轮询调度 WRR Weighted Round-Robin 扩展现实 XR eXtended Reality 56 参考文献 1 中国互联网络信息中心.第 51 次中国互联网络发展状况统计报告EB/OL.https:/ Solotko,S.The Instantaneous Cloud:Emerging Consumer Applications of 5G Wireless Networks.TIRIAS Research,2018.3 Melle,S.,Ahuja,S.,Turkcu,O.,&Hand,S.J.Comparison of converged packet-optical core network architecturesC.Proc of Optical Fiber Communication Conference(OFC),2014.4 中国移动.“九州”算力光网目标网络架构白皮书.2023-06.5 中国移动.SPN 2.0 技术白皮书.2022.6 Jing,R.,Zhang,C.,.&Huo,X.Innovation and demonstration of optical service unit-based metro-optimized OTN technologies.Journal of Optical Communications and Networking,vol.14,no.4,pp.236-247,2022.7 新华三.MPLS TE 技术白皮书.2023-06.8 中兴通讯.SRv6 技术白皮书.2020-07.9 网络通信与安全紫金山实验室.确定性网络技术体系白皮书.2021.10 Cisco.Routed Optical Networking Solution Guide Release 2.0.2022-10.11 Juniper.Reimagine IP over DWDM with Juniper CORA Whiter Paper.2023.12 华为.IP 光协同解决方案 V100R020C10.2021-05.13 中兴通讯.SDN IP 光解决方案.2019.14 ITU-T G.694.1.Spectral grids for WDM applications:WDM frequency grid.2020-10.15 Ozianyi,V.G.,Ventura,N.,&Golovins,E.A novel pricing approach to support QoS in 3G networks.Computer Networks,vol.52,no.7,pp.1433-1450,2008.
软件物料清单(软件物料清单(SBOM)发展)发展 洞察报告洞察报告(2023年年)云计算开源产业联盟云计算开源产业联盟 OpenSource Cloud Alliance for industry,OSCAR 2023年年8月月 版权声明 本报告版权属于云计算开源产业联盟,并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的,应注明“来源:云计算开源产业联盟”。违反上述声明者,本联盟将追究其相关法律责任。编制人员:王媛媛、吴江伟、郭雪、刘帅、张锐刚、郑志强、郑杭杰,钟志军,成涛、曾林青、高晟,傅逍螣,陶天一,孙肖仪,杨威、董国伟、张淼、严雪伦、子芽、王雪松、陈曙光、王玮琪,刘军、杨剑、徐锋,朱雅汶,刘永瑞、张达、但吉兵,王媛媛,魏弋钧、滕召智,梁尧、高尉峰,白婧婧,李博、胡晓娜,闫小涛,冯飞,王佳敏、陈曦、周杰明、沈凯文,王书辉,夏营、胡向亮、王盛昱 报告在编写过程中,历经概念策划、提纲设计、内容起草、征求意见等阶段,得到了诸多单位的大力支持,包括:中国信息通信研究院云计算与大数据研究所、华为云计算技术有限公司、建信金融科技有限责任公司、阿里云计算有限公司、蚂蚁科技集团股份有限公司、奇安信网神信息技术(北京)股份有限公司、华为技术有限公司、悬镜安全、深圳开源互联网安全技术有限公 司、联通软件研究院、北京神州绿盟科技有限公司、北京天融信网络安全技术有限公司、杭州孝道科技有限公司、中电金信软件有限公司、苏州棱镜七彩信息科技有限公司、OpenSDV 汽车软件开源联盟、中移系统集成有限公司、三六零数字安全科技集团有限公司、北京奇虎科技有限公司、深圳奥思网络科技有限公司(开源中国)、北京云起无垠科技有限公司、杭州安恒信息技术股份有限公司,在此一并致谢。引引 言言 软件物料清单(SBOM)指软件成分列表,列出了软件组件、有关这些组件的信息以及它们之间的依赖关系。近年来软件供应链安全事件频发,提高软件供应链透明度,规避软件供应链安全问题成为业界关注热点与共同诉求。软件物料清单通过明确识别和详细记录软件组件及其相互关系以提升软件透明度,成为软件供应链安全治理的重要抓手。目前,越来越多的企业意识到维护软件供应链安全的重要性,并在软件物料清单技术、工具和实践等多方面进行探索。在此背景下,搭建软件物料清单理论体系,构建可信软件物料清单理念,为企业落地软件物料清单体系提供行之有效的建设路径刻不容缓。本报告首先明确软件物料清单基本概念,系统梳理国内外软件物料清单发展现状。其次,围绕供需双方视角剖析企业落地建设软件物料清单体系面临的挑战并提出对策建议。此外,针对现阶段企业面临缺乏统一规范的标准指导其落地建设软件物料清单的难题,本报告从构建者视角出发,搭建可信软件物料清单建设模型,涵盖管理层、数据层、生成层、交付层四大维度,为企业落地建设软件物料清单体系提供参考,并分析落地成效。最后,结合当前现状初步研判软件物料清单未来的发展趋势和方向。目目 录录 一、软件物料清单明确软件组成及依赖关系,助力降低软件供应链安全风险.1(一)软件物料清单明确软件组成及依赖关系.1(二)软件物料清单旨在加强软件供应链安全管理.2 二、各国积极探索软件物料清单理论应用研究.3(一)全球重点国家和企业组织积极推进软件物料清单理论研究.3(二)国际标准及相关组织逐步建立软件物料清单标准格式共识.7(三)美国及欧盟陆续推动软件物料清单应用实践.11(四)我国初步探索软件物料清单相关研究.13 三、落地软件物料清单建设面临的挑战和对策建议.14(一)企业落地建设软件物料清单体系面临多重挑战.14(二)促进企业落地建设软件物料清单体系的对策建议.17 四、搭建可信软件物料清单建设模型,助力企业安全管控.21(一)可信软件物料清单建设模型.23(二)软件物料清单多角度助力企业安全管控.27 五、软件物料清单发展趋势展望.30 附录 软件物料清单企业落地实践.32(一)建信金科:基于 IED 插件的软件物料清单(SBOM)管理实践.32(二)联通软研院:软件物料清单(SBOM)建设实践.35 图图 目目 录录 图 1 软件物料清单树状概念图.20 图 2 软件物料清单实践使用率.22 图 3 可信软件物料清单建设模型.23 图 4 软件物料清单最小数据要素 1.24 图 5 软件物料清单最小数据要素 2.25 表表 目目 录录 表 1 软件物料清单数据字段及说明.2 表 2 软件物料清单最小元素.6 表 3 CycloneDX 数据类型.10 表 4 软件物料清单表状概念图.19 云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)1 一、软件物料清单明确软件组成及依赖关系,助力降低软件供应链安全风险(一)(一)软件物料清单明确软件组成及依赖关系软件物料清单明确软件组成及依赖关系 软件物料清单(SBOM,Software Bill of Materials)概念最早是由美国国会众议院在 2014 年引入的一份名为网络供应链管理与透明度法案的提案中正式提出。2018 年,美国商务部国家电信和信息管理局(NTIA)针对提高软件组件透明度发起了一个网络安全计划,目标是培育一个软件组件透明度更高的市场,建立并推广软件物料清单体系,“软件物料清单”这一概念正式问世。软件供应链攻击事件爆发,软件物料清单成为关注重点。SolarWinds 攻击事件和 Log4j2 漏洞曝光后,软件供应链渗透和安全问题成为美国政府和产业界关注的重中之重,软件物料清单作为有助于大幅提升软件供应链透明度的一个解决方案被寄予厚望。软件物料清单指软件成分列表,识别并列出了软件组件、相关组件的信息以及它们之间的供应链关系。软件物料清单的概念由传统物料的概念衍生而来,指一个软件产品的物料清单,列出了软件组件、组件信息以及它们之间的供应链关系,能够为软件生产人员、购买者和运营者提供软件开发过程中所采用的所有“原材料”相关信息及其供应链上下游依赖关系。软件物料清单包含每个组件的基准信息。软件物料清单字段信息至少应包括供应商名称、组件名称、组件版本、其他唯一标识符、依赖关系、SBOM 数据作者和时间戳,详见表 1。由于软件供应链的透明度随时间、技术进步等因素发生变化,上述最云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)2 小字段只是软件物料清单文件的基本构成,组织机构可根据业务需求增加更多的字段来描述软件物料清单。由于软件的命名复杂且缺少统一的命名规范,为了更加方便地识别组件,可以将组件名称命名为具备可读性的字符串,或使用符合相关标准的组件识别名称。数据字段 Data Fields 描述 供应商名称 Supplier Name 创建、定义和识别组件的实体名称 组件名称 Component Name 原供应商定义的软件名称 组件版本 Version of the Component 供应商用于指定软件版本变化的标识符 其它唯一标识符 Other Unique Identifiers 其它用于识别组件标识符,或作为相关数据库的查询键 依赖关系 Dependency Relationship 表征一个上游组件 X 包含在软件 Y 中的关系 SBOM 数据作者 Author of SBOM Data 为该组件创建 SBOM 数据的实体名称 时间戳 Timestamp 记录 SBOM 数据的日期和时间 数据来源:NTIA,The Minimum Elements For a Software Bill of Materials(SBOM),2021 年 7 月 表 1 软件物料清单数据字段及说明(二二)软件物料清单软件物料清单旨在加强软件供应链安全管理旨在加强软件供应链安全管理 软件供应链是由多个上游与下游组织相互连接形成的网链结构。新技术飞速发展导致软件供应链复杂性增加。容器、中间件、微服务等技术的演进推动软件行业快速发展,同时带来软件设计开发复杂度不断提升,软件供应链愈发复杂,全链路安全防护难度不断加大等问题。在具体场景中,当软件设计复杂度增加时,其供应链的复杂性也云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)3 会随之提升,具体构成关系、供应链上下游的依赖关系也随之模糊,从而进一步降低软件供应链整体透明度。软件供应链安全成为关注焦点,降低软件供应链安全风险成为业界共识。随着用户安全意识及内外部安全需求的不断提升,对软件及其供应链精准管控,保障软件供应链安全成为业界关注焦点和企业共同诉求。软件物料清单旨在提升软件供应链透明度。软件物料清单自诞生之初便有明确目标,即提高软件组件及供应链透明度。软件物料清单提供了一组附加信息,把软件的组成成分和依赖关系等信息可视化,并统一记录管理,大大提升了软件供应链整体透明度,对于降低软件使用和维护成本,保障软件供应链安全具有重要意义。二、各国积极探索软件物料清单理论应用研究(一)(一)全全球重点国家球重点国家和和企业企业组织积极推进软件物料清组织积极推进软件物料清单理论研究单理论研究 1.美国率先探索软件物料清单理论研究 NTIA 首次推广软件物料清单体系用于提升软件供应透明度。2018 年 6 月,NTIA 启动了一项旨在提升软件供应链透明度的项目,其核心是建立并推广软件物料清单体系,通过在软件产品中嵌入一个技术文档,来体现该产品在开发过程中所采用的所有物料、来源及供应商关系。美国成立专项工作组分模块研究软件物料清单并发布研究成果报告。2018 年 7 月,NTIA 组织召开了第一次利益相关方大会,会议决定成立 4 个专项工作组,分别负责框架研究、用例与实践现状、标准与格式以及医疗领域概念验证。2019 年 11 月,4 个专项工作组云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)4 分别发布了研究成果报告,分别为软件成分透明度框架:建立通用的 SBOM、SBOM 在整个供应链中的角色和益处、现有 SBOM格式和标准调研、医疗健康领域概念验证。此后,考虑到用例与实践现状专项工作组任务已完成,以及研究成果报告明确了下一步的工作难点,NTIA 将 4 个专项工作组的工作方向进行了调整。2021年 2 月到 3 月,各专项工作组陆续发布了 4 项中期成果文件,分别为SBOM 选项和决策点、软件身份:挑战和指引、SBOM 工具分类方法、SBOM 分享和交换。美国软件物料清单专项工作组较早展开软件物料清单相关研究,分两个阶段输出大量成果文件,为后续其他国家及组织研究软件物料清单奠定了坚实的理论基础。从项目推动进程来看,软件物料清单项目进入攻坚阶段。2019 年发布的研究成果报告内容详实,目标远大并明确指出了下一步推进的难点所在,而 2021 年发布的中期成果文件字数寥寥且避重就轻,并未为第一阶段指出的难点提出可行的技术解决方案。究其原因,一是该项目本身涉及的技术因素复杂,二是在推动相关企业改变其既有实践方面遇阻。SolarWinds 安全事件爆发成为软件物料清单关注转折。软件物料清单项目自 2018 年启动后,政府及行业机构对软件物料清单的重视程度并不高。2020 年 3 月国会网络空间日光浴委员会(CSC)曾提议增加对软件物料清单项目的资源投入,但并未被采纳进入 2021 年度国防预算授权法案。2021 年,随着美国 SolarWinds 网络攻击事件曝光后,部分业内人士将目光重新投向软件物料清单,认为它将有效提云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)5 升软件供应链透明度,从而减少软件供应链漏洞和风险。美国发布系列政策及制度文件大力推动软件物料清单发展。2021 年 5 月 12 日,美国总统拜登签署发布改善国家网络安全行政令,明确提出改善软件供应链安全,要求为出售给政府的软件开发建立基线安全标准,不仅提供应用程序,而且还必须提供软件物料清单,提升组成该应用程序组件的透明度,构建更有弹性且安全的软件供应链环境,确保美国国家安全。同年 7 月,NTIA 发布了 软件物料清单的最小元素,定义如何考虑最小元素的范围,描述了软件物料清单用例以提高软件供应链的透明度,并为未来的发展提供了方向,具体见表 2。2022 年2 月,美国国家标准与技术研究院(NIST)发布 安全软件开发框架,主要涉及标识和管理第三方组件、软件物料清单生成、维护和共享相关内容,并建议要求供应商提供软件物料清单以及在购买和部署软件时使用软件物料清单等。美国拜登政府签署的行政令大力推进了软件物料清单发展,多方发布的成果报告使软件物料清单理论研究框架逐步完善。云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)6 最小元素 描述 数据字段 应当予以追踪的每个组件的文档基准信息:供应商、组件名称、组件版本、其它唯一标识符、依赖关系、软件物料清单数据作者以及时间戳 自动化支持 支持自动化,包括通过自动生成和机器可读性扩展至软件生态系统。生成并使用软件物料清单的数据格式包括SPDX、CycloneDX 和 SWID 标记 实践和流程 定义软件物料清单请求操作、生成和使用,包括频率、深度、已知的未知、分布式和交付、访问控制和错误缓解 数据来源:NTIA,The Minimum Elements For a Software Bill of Materials(SBOM),2021 年 7 月 表 2 软件物料清单最小元素 2.其他重点国家和企业组织积极发布相关研究成果 多个重点国家及企业组织强调需制定公认的软件物料清单标准化格式。自美国 2018 年正式推广软件物料清单体系后,其他重点国家及企业组织也提升对软件物料清单重视程度,积极推进相关政策发布,探索软件物料清单理论研究。国家层面,2021 年,荷兰国家网络安全中心(NCSC)发布使用 SBOM 增强网络安全白皮书,提供了关于如何创建,使用和维护软件物料清单的实践建议,以及如何将软件物料清单集成到更广泛的网络安全策略中。除此之外,NCSC 定期组织研讨会和训练课程,向 IT 专业人员和决策者传授关于软件物料清单的知识和技能。2022 年,英国国家网络安全中心 设备安全指南中指出可利用软件物料清单进行漏洞管理,建议甲方企业可通过提供软件物料清单帮助相关人员了解漏洞修复情况,确保设备及软件更新到最新补丁。2023 年,加拿大网络安全中心(CCCS)发布保云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)7 护组织免受软件供应链威胁中建议在供应商审查过程中,考察供应商是否使用软件物料清单来跟踪组件,并审计软件物料清单包含的信息及其安全性。企业组织层面,2020 年,商业软件联盟(BSA)发布BSA 联盟安全软件框架,强调了软件物料清单在软件供应链管理中的重要性和作用,并认为制定公认的标准化格式对于实现信息共享和协作至关重要。整体来说,其他重点国家主要集中在荷兰、英国、加拿大等发达国家,政府出台相关报告、白皮书等推进软件物料清单建设,将软件物料清单视为降低软件供应链安全风险的有效解决方案已成为共识。(二)(二)国际标准及相关组织国际标准及相关组织逐步建立逐步建立软件物料清单软件物料清单标标准格式准格式共识共识 为充分实现软件物料清单和软件组件透明度的优势,需要通过创建标准化的数据格式实现软件物料清单的传输和可读。NTIA 在软件物料清单的最小元素中从众多格式中选择了 SPDX、CycloneDX和 SWID 并指定其为批准的标准格式。1.SPDX:Linux 基金会开发的软件物料清单数据格式,侧重开源许可合规 SPDX 规范提供了通用的数据交换格式,核心重点是开源许可证合规。SPDX(Software Package Data Exchange)是一个由 Linux 基金会托管的开源项目,其定义了一种数据交换格式以通用格式收集和共享有关软件包和相关内容的信息。2021 年 8 月,ISO/IEC 5962:2021信息技术 SPDX 规范 V2.2.1(以下简称“SPDX 规范”)发布,被云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)8 公认为安全性、许可证合规性和其他软件供应链组件的国际开放标准。自 2010 年以来,Linux 基金会一直在开发和完善 SPDX 标准,并把SPDX 的核心重点放在开源许可证的合规性上。SPDX 规范描述了生成有效 SPDX 文档所需的部分和字段,全量详细地描述了软件组成信息。每个 SPDX 文档由创建信息、软件包信息、文件信息、代码片段信息、其它许可信息(SPDX 许可证格式列表之外的许可证格式)、SPDX 中各元素之间关系描述与注释信息组成,可以帮助开发者、供应商和用户更好地合规性管理软件包的安全、许可证和知识产权等方面的要求。SPDX 能够以多种文件格式表达,提高软件物料信息收集与共享过程中的效率以及准确性。SPDX 信息可与特定的软件产品、组件、组件集、文件以及代码片段相关联,其重点是创建一种“语言”,描述可交换的软件物料清单数据。SPDX 文档可以表示为多种文件格式(RDFa、.xlsx、.spdx),并且正在扩展为其他格式(.xml、.json 和.yaml),通过在不同的输出格式之间进行传递与交换,并对文档的正确性进行正式验证,从而提高效率与准确性。多个企业使用 SPDX 格式共享和传递软件物料清单信息,以确保在全球软件供应链中实现合规和安全开发。SPDX 通过为组织和社区提供共享重要数据的通用格式来减少冗余工作,从而提高软件物料清单的合规性、安全性和可靠性。目前,包括英特尔、微软、西门子、索尼、新思科技、VMware 和 WindRiver 在内的众多公司已经使用SPDX 在政策或工具中传达软件物料清单信息。2.CycloneDX:OWASP 创建的轻量级软件物料清单标准云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)9 格式,侧重安全风险管理 2017 年,OWASP 组织创立 CycloneDX 并成立专门的开源项目来开发规范、实现和推广,现由 CycloneDX Core 工作组负责标准的战略方向和维护。CycloneDX 是一种轻量级的软件物料清单标准,侧重于网络安全风险管理。CycloneDX 最初旨在解决开源组件的漏洞识别、许可证合规性和组件分析问题,在后续版本中添加了其他功能。CycloneDX 规范描述了一个规定性的对象模型,其数据内容包括软件物料清单元数据、组件、服务、依赖关系、组合、扩展等信息,可用于软件组件和服务清单描述、漏洞分析和修复、软件供应链风险评估和证明、许可证合规性等。CycloneDX 包含六种不同类型的数据,其轻量级特性使其在多行业被广泛应用。CycloneDX 可以表示为不同的文件格式(.xml、.json),包含六种不同类型的数据:软件物料清单元数据、组件、服务、依赖、组件、漏洞,具体描述见表 3。CycloneDX是适用于多行业用途的轻量级标准,具备易于学习和采用的规定性对象模型、高度自动化、支持多种组件标识标准、规范可扩展、表示组件谱系等特点。目前,金融服务、制造、政府、软件和安全公司等行业组织机构正在生产和使用 CycloneDX 格式的软件物料清单。数据类型 描述 元数据 包含有关应用程序或产品本身的信息 组件 包含一个完整的描述列表,涵盖闭源组件和开源组件 服务 描述了软件调用的外部 API,包括服务的 URI(统一资源标识符)、身份验证要求、软件和服务之间的数据流向和数据类型 依赖 包括软件组件的直接依赖和间接依赖关系描述 云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)10 组件 描述了软件的组成部件及其完备性 漏洞 用于表述和传递组件的漏洞信息 数据来源:https:/cyclonedx.org 表 3 CycloneDX 数据类型 3.SWID:通过标签形式定义组件信息及依赖关系,目前已成为国际标准 在上世纪末,ISO 开始建立一个可机读的软件组件标签标准。SWID 的第一版于 2009 年发布,并于 2015 年成为国际标准 ISO/IEC 19770-2:2015。SWID 标签旨在为组织提供一种透明度方式来跟踪安装在其托管设备上的软件。SWID(Software Identification,软件标识)标签文件包含有关软件产品特定版本的描述性信息,通过带有产品名称和版本详细信息的一致标签,在设备上显示软件产品存在的标准指标。SWID规范定义了4种主要类型的标签,分别为主标签(Primary)、补丁标签(Patch)、语料库标签(Corpus)和补充标签(Supplemental)。SWID 标签可在整个软件生命周期中更轻松地发现、识别和情境化软件,帮助企业创建准确的软件清单。SWID 标准获 NIST 支持,NIST建议软件生产商采用 SWID 标签,包括 TCG(可信计算组)和 IETF(互联网工程任务组)在内的多个标准机构在其标准中使用 SWID 标签。NIST 研究表明,SWID 标准定义了一个生命周期,其中 SWID 标签作为软件产品安装过程的一部分添加到端点,并在产品卸载过程中被删除。当遵循此生命周期时,给定 SWID 标签的存在直接对应于标签描述的软件产品的存在。多个企业使用 SWID 标签助力企业资产和漏洞管理,包括微软、Adobe、IBM、Symantec、Flexera 等公司广泛云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)11 使用 SWID 标签来描述其软件产品,旨在使客户更清楚地了解安全的软件组件和版本信息,并帮助企业管理软件资产、许可证及漏洞信息,提升软件供应链的可追溯性。(三)(三)美国美国及及欧盟欧盟陆续陆续推动软件物料清单推动软件物料清单应用应用实践实践 1.美国多行业将软件物料清单视为安全建设的重要途径 美国在医疗、汽车、能源领域率先探索软件物料清单应用实践,鼓励各方共同研究软件物料清单标准及最佳实践。美国多行业政府机构发布软件物料清单相关政策文件,建议在提交软件设备的同时提供软件物料清单,包括医疗行业、汽车行业、能源行业等。FDA 要求制造商提供设备的软件物料清单信息。2020 年 4 月,美国食品和药物管理局(FDA)发布 医疗设备网络安全草案,要求制造商在向 FDA提交设备的安全评估报告时,必须提供设备的软件物料清单信息。草案建议 FDA 可以与行业各方共同研究开发最佳实践,包括软件物料清单的编制和共享等,以确保在设备供应链和部署过程中,软件物料清单信息的准确性和实用性。随着现代汽车对软件系统的依赖程度提高,NHTSA 将软件物料清单视为降低汽车行业软件供应链安全风险的有效工具。2021 年 1 月,美国国家公路交通安全局(NHTSA)发布现代车辆安全性的网络安全最佳实践,重点是通过信息共享、规范化和供应链管理来提高现代车辆的安全性,并认为软件物料清单可以作为一种有效的工具,帮助厂商更好地了解供应商提供的主要组件的来源并评估风险。该实践建议 NHTSA 和其他相关利益相关者应云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)12 共同协作,制定统一的软件物料清单标准和格式。多机构联合发布软件物料清单共享框架助力能源部门安全建设。2023 年 4 月,美国能源部网络安全、能源安全和应急响应办公室(CESER)和美国国土安全部网络安全和基础设施安全局(CISA)联合发布新的软件物料清单共享框架,以指导软件开发人员和用户寻求共享软件物料清单,助力美国能源部门的安全性和弹性建设。美国政府机构积极响应软件物料清单建设需求,建议多行业的软件、设备提供商在提供软件、设备的同时提供软件物料清单,但目前暂未成为强制性要求。2.欧盟重点在医疗行业探索软件物料清单应用实践 欧盟从医疗行业出发积极推进软件物料清单落地。欧盟对软件透明度有高度要求的领域是医疗器械认证领域,欧盟发布多项政策规定要求设备制造商保留医疗器械组件的完整可追溯记录,目前已成为CE 认证的强制性要求。欧盟的 CE 认证是欧盟法律对产品提出的一种强制性要求,不论是欧盟内部企业生产的产品,还是其他国家生产的产品,要想在欧盟市场上自由流通,就必须加贴 CE 标志。在欧盟市场中,CE 标志属强制性认证标志。医疗器械 CE 认证要求软件组件追溯清单。CE 针对医疗器械的认证要求设备制造商保留医疗器械组件的完整可追溯记录,软件组件的完整可追溯清单是获得 CE 认证的强制性要求,这种软件透明度的完整可追溯性清单与软件物料清单内容非常相似。在安全性方面,CE 认证标准要求医疗器械生产商将其医疗器械安全漏洞主动告知用户。但欧盟 CE 认证标准关于软件组件追溯清单的要求仍有改进的余地。目前,生产商提供的漏洞信息并云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)13 未统一标准数据格式,资产管理系统和安全运营平台难以将其自动化处理。ENISA 报告中建议生产物联网设备和医疗器械时生成软件物料清单。2020 年,欧盟网络安全局(ENISA)发布两本报告,提出软件物料清单是一种提高安全性的措施。物联网安全指南阐述物联网供应链安全准则,在报告中 ENISA 建议将软件物料清单用于物联网设备,并建议使用工具识别底层依赖软件并生成软件物料清单。医疗机构网络安全采购指南为医院在采购服务、产品和基础设施时提供网络安全指南,并鼓励在选择医疗器械时考虑要求供应商提供软件物料清单。欧盟医疗器械行业已将组件的完整可追溯记录视为强制性要求,同时提出利益相关者应共同协作,制定统一的软件物料清单标准和格式,以提高 SBOM 的可用性的诉求。(四四)我国我国初步探索初步探索软件物料清单软件物料清单相关相关研究研究 我国积极推进软件物料清单建设,但仍存较大提升空间。标准层面,在研国标 信息安全技术 软件供应链安全要求(征求意见稿)中提出软件构成图谱相关概念。在研团标软件物料清单总体能力要求从数据层、生成层、交付层、应用层四大维度明确软件物料清单构建能力,为企业构建软件物料清单提供参考。政策层面,当前软件物料清单在国内尚缺乏广泛的认知和了解,暂未出台相关的政策法规,顶层的标准与行业要求也处于研究阶段,企业生成软件物料清单缺乏统一的规范指导。应用层面,金融机构、软件头部企业、少部分工具厂商等初步探索软件物料清单落地实践,包括制度建设、工具选型等,但大部分中小企业仍未开展相关建设研究。据 2022 年度 DevSecOps云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)14 行业洞察报告显示,截止目前为止仅有 3%的受调者所在企业组织保留了完整的软件物料清单。在中国信息通信研究院的调研中,超过50%的企业缺乏软件成分分析工具,且尚未建立软件物料清单的生成与管理机制。三、落地软件物料清单建设面临的挑战和对策建议(一一)企业落地建设软件物料清单体系面临企业落地建设软件物料清单体系面临多重挑战多重挑战 软件物料清单通过提高软件透明度成为软件供应链治理的重要抓手,已成为国际公认的重要方法论。但目前国内企业软件物料清单体系建设仍存在较多难点与挑战,具体表现为:1.统一的软件物料清单标准体系和行业共识亟待建设 缺乏统一规范的标准和指南指导企业落地建设软件物料清单。现阶段面临的一大难题是国内尚无明确的软件物料清单标准,缺乏统一的标准与指南。SPDX、CycloneDX、SWID 标准仅明确软件物料清单数据格式,其侧重点各不相同,且与企业落地建设软件物料清单实践流程仍存偏差。企业只能参考国内外的一些最佳实践做法,其实施方案缺少具体的执行标准与规范,其落地效果缺少评价体系给与定量的评价。企业面临“如何做”、“做到什么程度”、“如何证明做得好”等诸多问题。此外,各企业和组织通过独立解读规范并建立软件物料清单,造成大量重复工作。不同行业企业缺乏共识导致软件物料清单数据不兼容。当前,现有法律政策侧重结果呈现,而非过程要求。现行规定对清单标准格式、生成工具等缺乏规范性指导,不同的企业或组织可能使用不同命名和标识方式来描述软件物料,导致数据的混乱云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)15 和不一致,而不同的数据格式和结构导致数据的互操作性较低。因此,亟需建设具备行业共识的执行标准和评估体系,为企业建设软件物料清单提供指引。2.软件系统复杂多样加大软件物料清单数据收集难度 现代软件系统软件组成多样、功能复杂,软件物料清单数据难以收集。多重原因导致软件物料清单数据收集较为困难,具体如下:现代软件系统通常由多个软件和组件组成,这些软件和组件可能来自不同的供应商,使用不同的编程语言和技术。这种多样性使得创建和维护软件物料清单变得更加复杂,需要对各种不同类型的软件和组件进行分析和评估。其次,现代软件系统往往具有复杂的功能和交互逻辑,涉及到多个模块和子系统。这增加了对软件物料清单中软件和组件之间关系的理解和管理的挑战。企业需要确保软件物料清单能够准确地反映出软件系统的功能结构,并能够追踪和管理各个模块之间的依赖关系。此外,现代软件系统通常依赖于第三方库、框架和服务,用于实现特定的功能或提供额外的功能。这些第三方组件可能是开源的或商业的,需要对其进行评估和管理。因此,企业亟需采用科学的方法收集并维护软件物料清单数据。3.软件物料清单数据完整性和准确性难以保证 软件供应链上下游企业建设能力不平衡使得软件物料清单数据完整性难以保证。理想情况下,每个软件供应商都会为其软件组件创建软件物料清单。然而,软件物料清单的概念和知识较新并且正在发展,很多企业的软件暂无软件物料清单,下游产品供应商需要根据上云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)16 游软件组件的信息创建。如果上游软件缺少软件物料清单,就可能导致最终产品的软件物料清单信息不完备。目前上下游企业的软件物料清单建设能力不足,会导致企业在建设软件物料清单体系过程中部分直接和间接软件物料依赖信息的缺失,软件物料清单数据完备性难以保证。软件更新迭代速度过快和较高的维护成本导致软件物料清单数据准确性难以保证。在软件物料清单建立过程中,人为错误或系统的限制可能导致清单不完整,组件或库的版本迭代速度迅速,可能会出现更新不及时的情况。由于人员的流动及管理的缺失也可能导致存量软件中的组件已经无法追溯其准确的信息。此外,一些组件或库引入后没有被实际使用,但由于维护成本过高,冗余及不准确数据难以从清单中去除。4.软件物料清单或将加大数据泄露和滥用风险 软件物料清单通过标准的格式在上下游组织之间进行信息的传递交换,以增进整个软件生命周期供应链的透明性,协助上下游厂商应对潜在的风险和威胁。软件物料清单数据信息暴露资产核心数据造成潜在安全风险。一旦企业生成了完整、真实的软件物料清单,这就成为其软件资产组成及其潜在漏洞风险的数据库,是关乎企业软件产品命脉的核心数据。软件物料清单数据泄露可能会暴露软件的所有组件和依赖关系,这对于恶意攻击者来说是一份宝贵的信息,他们可以利用这些信息找到软件的弱点进行攻击。软件物料清单数据泄露或将暴露商业秘密。软件物料清单数据泄露可能会让竞争对手了解到公司的软件开发策略、技术细节和供应商关系等带来的商业秘密风险,尤云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)17 其企业自主研发的软件可能涉及专利和商业秘密等知识产权。缺乏相关法律法规确保软件物料清单数据安全和创作者相关权益。软件物料清单在多次复制和传递过程中,容易被非授权方窃取,同时存储和传输中的数据如何防止被篡改是亟待解决的问题。另外目前暂无明确的法律法规保障软件物料清单创建者的相关权益。(二二)促进促进企业落地建设企业落地建设软件物料清单软件物料清单体系的体系的对策建对策建议议 1.促进行业共识,推进软件物料清单标准化建设 各行业企业应积极贡献,推进软件物料清单共识。各行业内应建立相关标准的讨论和工作组,从软件物料清单供需双方视角出发,明确规定清单内容、格式等,促进行业共识。通过制定统一的数据格式和结构规范,以确保不同系统和平台之间能够正确地解析和处理软件物料清单数据。各企业及组织参考同样的标准和约定,可保证软件物料清单的可靠性和互操作性。此后,可以逐步制定更加具体和普遍适用的标准,帮助各企业更有效地创建软件物料清单,提高软件产品的安全性和质量。中国信息通信研究院云计算与大数据研究所相关团队积极开展软件物料清单标准研究,编写 软件物料清单总体能力要求标准。标准从数据层、生成层、交付层、应用层四大维度提出软件物料清单建设要求,通过明确软件物料清单的关键数据要素、使用场景以及生产流程等各个必备要素成分,进一步建立软件物料清单的整个安全生态。标准适用于企业及组织在构建软件物料清单时进行参考,云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)18 同时为用户选择合适的工具提供选型指导,也可为第三方机构对于企业及组织软件物料清单管理能力审查和评估提供标准依据。2.人工工具结合,多方式收集软件物料清单数据 企业可通过人工手动收集或工具自动化收集软件物料清单数据。人工方式收集可利用开发和产品团队资源收集软件物料清单数据。首先,获得代码库基本信息需要寻求开发团队管理者的支持。通常情况下,开发经理可以提供已经形成并已在维护中的组件列表,或可根据要求创建组件列表。其次,代码库基本信息还可来自于产品经理。产品需求经理通常会指定软件的安全需求,这种情况下应充分考虑软件物料清单需求。无论采用哪种方法,产品需求人员都可以充当开发团队和安全团队之间的桥梁,帮助收集软件物料清单数据。最后,系统设计文档、详细设计文档、版本描述文档和构建脚本等产品开发文档通常能够提供软件组成的详细信息。工具方式收集可利用软件组成分析工具自动化收集软件物料清单数据。若开发和产品管理团队均无法提供数据,可使用软件组成分析工具对软件进行扫描,识别包含的组件。企业可收集和整合来自不同来源的数据构建完整和准确的软件物料清单,包括代码仓库、依赖关系、开源库等,企业可使用自动化工具来收集这些数据,并建立一个集中的信息库,以便整理、审查和更新软件物料清单。3.加强责任意识,共同建设可信软件物料清单 企业以断言形式描述未知信息,通过互相补充共同完善软件物料清单数据。企业可将软件物料清单的完备性信息以断言的形式写入软云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)19 件物料清单“依赖关系”数据字段中,具体包括初级组件和下级组件的完备性断言:初级组件(软件的顶层组件)的完备性断言是初级组件包含下级组件的知识,下级组件的完备性断言是下级组件包含其下一级组件的知识,初级组件和下级组件的断言类别均包括未知、部分、已知和无四种。软件供应链上下游企业可增强责任意识,通过断言类别为“未知”和“部分”的组件进行数据的补充和完善,共同逐步完善软件物料清单信息。图 2 和表 3 分别用表状概念图和树状概念图两种形式展示了同一个软件产品 Acme 公司“Application”的软件物料清单,其中包括了断言信息。Component Name Application|-Browser|-Compression Engine|-Buffer Supplier Name Acme Bob Carol Bingo Version String 1.1 2.1 3.1 2.2 Author Acme Bob Acme Acme Hash 0 x123 0 x223 0 x323 0 x423 UID 234 334 434 534 Relationship Self Included in Included in Included in Relationship Assertion Known Partial None Unknown 数据来源:NTIA,Framing Software Component Transparency:Establishing a Common Software Bill of Materials(SBOM),2021 年 10 月 表 4 软件物料清单表状概念图 云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)20 数据来源:NTIA,Framing Software Component Transparency:Establishing a Common Software Bill of Materials(SBOM),2021 年 10 月 图 1 软件物料清单树状概念图 企业需强化相关人员的责任意识,并使用可信的工具确保组件信息准确。在软件开发周期中,每个团队都必须理解软件物料清单的重要性,并且清楚自己的责任范围和目标,通过统一的流程和规范来确保清单可以从源头到终点完整地记录下来,确保所有的软件组件都能够被正确记录。此外,应该利用可信的自动化工具,通过自动扫描、识别和分析软件组件来保障清单的完整性和准确性。同时,需要加强对软件组件的管理,及时更新组件信息,避免存在未使用的组件或库的情况,从而更有效地提高软件物料清单整体质量。4.建立互信机制,合规使用软件物料清单信息 企业可通过多重安全措施降低软件物料清单数据的篡改风险。企业可利用数字签名、访问控制等手段,强化文件的完整性验证和安全访问,防止数据泄密和被窃取。同时,企业需要各部门通力合作,解决采集、生成、传输和安全性等方面的共性需求,通过流程改进、标云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)21 准实施和安全加固措施,以降低软件物料清单建设的复杂度,减少软件物料清单数据泄露的可能。合规地获取和使用软件物料清单,避免产生知识产权纠纷。为保护软件物料清单信息创建者的相关权益以及对软件物料清单的修改和分发进行规范,各行业可参考开源组件许可证划分,就相关许可协议和使用条款等达成共识。建立行业互信机制,实现上下游协作过程中数据的可信和安全。软件供应链下游对上游的要求是可信,上游对下游的要求是安全,可信和安全是决定软件物料清单能否有效地在产业链上下游中实现流转,能否切实起到其应有效果的关键因素。行业间建立互信机制,就软件物料清单如何安全、合规地向下游组织传递,下游组织如何合理地使用等问题进行仔细论证并达成共识,共建软件物料清单可信安全生态。四、搭建可信软件物料清单建设模型,助力企业安全管控 目前国内外企业在落地软件物料清单体系建设时仍缺乏实践指导。Anchore2022 软件供应链安全报告指出,尽管软件物料清单在提高软件供应链透明度方面发挥着重要作用,但仍只有三分之一的组织遵循软件物料清单最佳实践,具体数据见图 1。云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)22 图片来源:Anchore,Software Supply Chain Security Report,2022 年 图 2 软件物料清单实践使用率 在此背景下,本报告将从软件物料清单构建方视角出发,从软件物料清单构建管理层、数据层、生成层、交付层四大维度搭建软件物料清单建设模型,为企业及组织在构建软件物料清单体系时进行参考,见图 3。图片来源:中国信息通信研究院 云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)23 图 3 可信软件物料清单建设模型(一)(一)可信软件物料清单建设模型可信软件物料清单建设模型 1.管理层:建立清晰的制度体系和专业的技术团队 企业可将组织建设、制度流程和专业培训纳入到软件物料清单全生命管理周期中,推动软件物料清单的落地实施。明确的组织架构是推动软件物料清单建设的基础。在企业建设软件物料清单过程中,首先是建立组织责任体系,制定组织层面的建设策略和目标。企业需建立专门的管理团队或指定专人负责软件物料清单的收集和管理工作,明确岗位职责、权利以及义务。清晰的制度流程是实现软件物料清单落地的保障。企业需制定完善的软件物料清单建设的制度和管理规范,建立统一的基线,保障各个环节都能够被及时响应,各项任务能够被顺利传递、衔接,确保建设流程清晰透明。此外,企业可建立软件物料清单安全评估和风险管理机制,保证软件使用过程中的安全性和合规性。专业的技术团队是完成软件物料清单实践的有力支撑。企业针对软件物料清单建设相关人员进行必要的技术培训和专业知识学习,提升员工的专业能力与意识水平,必要时可进行相应的考核管理。2.数据层:逐步涵盖根节点至叶子节点全部组成信息 数据层明确构建软件物料清单所应具备的最小数据要素。软件物料清单既包含构成该软件的组件的基本信息,也包含组件之间的依赖关联关系。软件物料清单应明确软件组成,详细展示组件信息,从根节点和叶子节点可划分为多个层级。目前,由于软件物料清单建设处于初级阶段,企业可从记录清单创建信息、软件信息、组件信息三部云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)24 分进行记录,具体内容见图 4。清单创建信息是指在软件物料清单中应对清单创建方、清单创建时间、清单创建阶段、清单唯一标识符等内容进行明确。软件包信息是指在软件物料清单中,针对软件包维度,应对于软件包名称、软件包版本、软件包来源、唯一标识符、供应商信息、许可证信息、引入组件数量等内容进行明确。组件信息是指在软件物料清单中,针对组件维度,应对于组件名称、组件版本、唯一标识符、组件依赖关系、许可证信息等内容进行明确。图片来源:中国信息通信研究院 图 4 软件物料清单最小数据要素 1 随着企业建设能力的提升,后续可将软件物料清单数据逐步完善。企业可根据自身建设能力和业务需求,将数据颗粒度细化至文件信息和代码片段信息,具体内容见图 5。文件信息是指在软件物料清单中,针对文件维度,应对于文件名称、参与者、类型、校验云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)25 码等内容进行明确。代码片段信息是指在软件物料清单中,针对代码片段维度,应对于代码片段唯一标识符、代码片段行范围等内容进行明确。图片来源:中国信息通信研究院 图 5 软件物料清单最小数据要素 2 3.生成层:多角度提升软件物料清单可追溯性和准确性 生成层明确基于收集的数据要素软件物料清单的生成方式。软件物料清单数据生成涉及到生成方式、生成深度、生成频率和更新校验机制等多方面内容。生成方式和生成深度可提升软件物料清单的完备性和可追溯性。生成方式包括人工生成和自动化生成两种方式,其中人工生成方式可能适合组件数目较少的项目,通过表格或文件等形式手动列出所有软件组件,以及每个组件的版本、许可证、依赖项和任何其他相关信息,应明确收集阶段和收集方法。自动化生成是将生成软件物料清单的自动化工具整合到持续集成和持续交付管道中,扫描所有软件项目并列出专有和开源软件组件以及相关属性,例如许可证和对第三方库的依赖关系,并根据需要更新其相关组件,应记录生成云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)26 的阶段及采用的自动化工具信息,以便后期回溯。生成深度要求软件物料清单应包含所有主要(顶层)组件,并列出其中包括的直接依赖,对于可以直接获取到完整依赖树的技术栈,应记录从根节点到叶子节点全部深度的清单。此外,软件物料清单用户可通过下级组件层级的数量或运营技术指定生成深度要求,如按照软件属性、软件功能列出相应的组件信息。生成频率和更新校验机制提升软件物料清单的准确性。生成频率要求当软件组件以新版本或发布的形式更新,应创建新的相对应版本的软件物料清单,包括集成已更新组件或依赖的组件版本。同时,当软件物料清单创建者更正已有软件物料清单数据中的错误,应第一时间发布新的经过修订的软件物料清单。更新校验机制要求建立动态更新机制,手动或者自动记录操作人、操作时间、操作结果等,确保软件物料清单的可靠性。此外,软件物料清单生成要求包括软件物料清单创建者应通过加密或数字签名的方式对软件物料清单的真实性和完整性进行保证。4.交付层:通过明确软件物料清单传输方式确保交付安全 软件物料清单主要的传递机制是将清单作为交付物之一通过供应链从供应商直接到用户,需明确交付流程。交付双方应建立完善的软件物料清单交付流程,包括但不限于制度流程、验收方式等。此外,交付双方应明确软件清单交付物详情,包括但不限于明确软件物料清单交付数据最小要素、文件格式、说明、版本等。软件物料清单交付云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)27 方式可分为直接交付和动态访问。直接交付指供应商应将软件物料清单作为交付物之一交付至软件需求方,一些现有格式如 SPDX、CycloneDX 和 SWID,可作为软件的附加文件提供。由于软件生态系统的多样性,单一的软件物料清单传递机制并不能完全满足需要,对于本地存储资源和电源有限制条件的 IoT 等设备来说,动态访问是一个很好的选择,包括但不限于软件物料清单订阅平台、URL 等。通过采用安全的访问控制和传输方式确保软件物料清单的安全传输。企业应通过技术方案和工具对交付两端进行主体身份鉴别和认证,同时对交付通道和软件物料清单采用加密保护措施,保证传输链路安全,如基于网络的信息传输可采用 HTTPS 加密协议,对双方的身份进行验证,有效防止信息泄露。(二二)软件物料清单多角度助力企业安全管控)软件物料清单多角度助力企业安全管控 1.软件物料清单助力提高软件系统透明度 目前,软件行业尚未形成一些标准化的产品组成信息交换方式,软件供应链中上下游供应商不透明的开发过程可能造成严重的软件质量安全问题,阻碍软件行业的整体发展,组织和机构普遍缺乏对系统中产品和服务的可见度的能力已成为软件安全亟需解决的问题之一。软件物料清单明确软件组成,助力提高软件系统的透明度。软件物料清单提供了一个全面而准确的组件清单,详细记录了软件中所使用的组件及其关键信息,使得软件的构成和来源可追溯。企业可通过软件物料清单清晰地了解其软件的组件构成及依赖关系,发现系统内云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)28 不需要的、存在安全风险的组件,提高软件系统的透明度,从而降低软件安全风险。2.软件物料清单助力优化资产全局化管理 软件物料清单加强软件资产可追溯性,助力企业实现软件资产全局化管理。软件物料清单通过对软件内部组成成分的精细化拆解与风险关联,成为打开软件资产“黑匣子”的关键钥匙。企业可借助软件物料清单准确掌握各类业务系统所使用的软件资产并关联各类许可证信息、漏洞信息,对软件资产实现全局化管理。此外,企业可通过软件物料清单信息的记录,准确地追踪软件中使用的各个组件的来源和演变历程,了解软件资产的起源、变更历史以及所涉及的风险和合规性问题。软件物料清单助力提升企业的决策能力、制定合规策略和优化资产管理。首先,决策者可通过准确的软件物料清单获得关键的信息,从而更有效地做出决策。软件物料清单揭示了潜在的冲突、重复或过时的组件,为软件更新、合并或替换提供指导。其次,软件物料清单能够准确识别和跟踪软件资产中使用的开源组件和相关许可证信息,有助于企业制定合规策略,确保软件符合适用的许可证要求,并避免潜在的合规风险。最后,软件物料清单提供了全面的资产视图,组织可以优化软件采购、部署和维护过程,减少资源浪费和成本。此外,软件物料清单提升了供应链的透明度,企业能够更好地管理和评估供应商之间的关系,为企业在软件资产管理方面的合理规划和决策提供参考,提高资产的价值和降低风险。3.软件物料清单助力提供清晰的漏洞视图 云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)29 软件物料清单提供了组件漏洞的清晰视图,助力企业软件漏洞管理。漏洞管理是信息安全管理的重要组成部分。一旦漏洞被恶意攻击者利用,可能会导致系统遭受入侵、数据泄露和信息窃取等风险,对个人隐私、公司机密和国家安全都将构成巨大威胁。漏洞的发现、修补与管理一直是软件安全领域的重要工作,漏洞管理的本质是在漏洞被利用之前有效开展漏洞修复工作。在漏洞管理中,时间是至关重要的,但修复已部署系统的时间可能会延长到数月甚至数年,因为每个利益相关者都必须等待上游供应商的披露。然而,软件物料清单提供了对组件漏洞的清晰视图,使得利益相关者无需等待供应商的披露即可开始评估漏洞,这使得组织能够更快地采取措施,修复潜在的漏洞,并降低安全风险。软件物料清单降低企业对上游供应商的依赖,更早识别评估潜在的安全风险。现阶段,由于软件的低透明度导致软件组件的位置及其依赖并不明晰,漏洞定位及上下游组件的脆弱性分析,是一件耗时耗财的工作,大部分下游企业需从供应商处获得漏洞信息。而软件物料清单中的数据能够帮助漏洞管理平台或相关人员发现漏洞位置,有利于供应商、用户和安全厂商评估组件漏洞所带来的潜在安全风险,每个下游用户都能自我评估潜在影响,并采取快速和准确的应对措施。这使得防御者能够独立地做出决策,并采取必要的纠正措施,以降低漏洞利用的风险。4.软件物料清单助力提升安全事件响应速度 通过软件物料清单可快递定位受影响的系统和版本,提高安全事件响应速度。在低透明度的软件供应链末端,企业从相关软件组件漏云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)30 洞披露到修复已部署的受该漏洞影响的信息系统时,往往需要几个月甚至是数年的时间。软件物料清单记录了软件的组成信息,当一个已知的漏洞被公开或被发现时,企业无需花大量时间逐一排查即可快速定位受影响系统和版本,进行评估风险并推动相关方面进行漏洞修复,缩短安全事件响应周期。软件物料清单提高软件供应链上下游企业安全管理能力,共建可信安全生态。以往漏洞出现时,软件供应链下游的企业需等待上游软件供应商提供软件补丁,才可以进行漏洞修复,在等待的时间内,下游企业往往会面临无法预知的安全风险。而软件物料清单可确定在某个应用程序中部署了哪些组件,当出现重大漏洞时,企业便可向所有受影响的应用程序团队,包括软件供应链的上下游企业,及时生成风险通知和漏洞预警,使各方及时知悉相关安全风险。此外,企业能够与供应商、开发者和其他相关方快速进行沟通合作,共同应对安全事件,共同建设可信安全生态。五、软件物料清单发展趋势展望 当下,软件成为数字经济发展基础的同时,软件供应链安全的重要性不言而喻。软件物料清单以其提升供应链透明的独特优势成为推动软件供应链安全管理工作落地的重要抓手。软件物料清单的推广、建设、应用涉及监管机构、开发者、供应商和用户等多重角色,通过跨角色合作,推动软件物料清单标准化、自动化、产业化,对于构建安全、透明、可信的软件供应链安全生态具有重要意义。从监管角度来说,目前已明确看到国家层面推动软件物料清单数据格式需求的出台。未来可以预见将会进一步完善软件物料清单的标云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)31 准体系,为开发者和供应商提供更详实的软件物料清单,用户选择具备可信软件物料清单信息的软件提供指导参考。开发者和供应商作为软件的创造者、传递者,将会进一步加强责任意识,一方面将更加关注软件的依赖管理和版本控制,实施更严格的审核和验证流程,确保组件的来源可靠和安全可用,同时通过自动化工具收集维护软件物料清单数据。另一方面将可能会采用区块链、隐私计算等技术,确保物料清单信息的不可篡改性和可追溯性,为软件物料清单的推广使用贡献力量。用户作为软件的使用者与软件物料清单的接收者,随着软件物料清单的普及,将更注重软件的安全性和隐私保护。一方面将选择合适的工具判别软件物料清单的可信性,增强软件供应链的可靠性。另一方面将优先选择软件物料清单信息完善的软件,以降低软件使用过程中的安全合规风险,这也将促进开发者和供应商维护完备的软件物料清单信息,推动软件供应链安全生态的建设。整体而言,软件物料清单的发展落地需要各个角色的积极参与和努力,监管机构的引领推动,开发者的责任落实,供应商的透明可信,用户的选择激励都将助力软件物料清单的普及推广。通过跨角色合作,软件物料清单终将成为行业共识,推动建立更加安全、可信的数字生态系统,为数字经济的可持续发展提供坚实基础。云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)32 附录 软件物料清单企业落地实践(一一)建信金科:基于建信金科:基于 IED 插件的软件插件的软件物料清单物料清单管理实管理实践践 1.软件物料清单管理平台总体架构 建信金科基于软件物料清单理念建立软件物料清单管理控制台,实现对组件的软件成分扫描和软件物料管理,总体架构图如下。建信金科软件物料清单管控平台功能分为三大部分:1)SCA 扫描引擎,2)软件物料清单管控平台,3)软件物料清单插件。SCA 扫描引擎支持 10 种主流开发语言的第三方开源组件识别;支持二进制制品识别;支持镜像识别;支持按软件物料清单规则生成对应的文件内容。软件物料清单管控平台支持软件物料清单管理,包括软件物料清云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)33 单模板管理、软件物料清单映射规则、软件物料清单生成规则设定、手工创建软件物料清单等功能。同时对于开源资产、自研资产、商业软件资产进行统一管理。2.软件物料清单插件执行过程 软件物料清单插件执行过程具体可分为三步,一是在开发工具中选中目标项目,在视图中设置管控平台地址、软件物料清单文件导出路径、导出格式。设置管控平台地址后可以测试网络连通性,连接成功则可执行后续操作。二是用户点击软件物料清单生成按钮,自动生成软件物料清单,导出事件绑定的触发器。触发器操作包括:(1)判断插件工作目录下是否存在扫描引擎,如果不存在直接从管控平台侧下载扫描引擎;如果存在扫描引擎则获取当前扫描引擎版本信息,调用管控平台扫描器版本查询接口比对两者差异,如果版本不匹配则下载最新版本扫描引擎。(2)从管控平台获取软件物料清单映射规则,将软件物料清单映射规则存储为本地文件,供扫描器生成软件物料清单文件时使用。(3)扫描器解析项目依赖第三方组件数据,将数据按软件物料清单映射规则进行转换,并按照指定模板写入指定文件中。三是监听器持续监听管控平台软件物料清单映射规则,一旦收到软件物料清单映射规则变更信息,则立即更新软件物料清单映射规则对应的本地文件。具体架构如下图所示。云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)34 3.软件物料清单检测应用场景 软件物料清单检测具体分为两大场景。一是将软件物料清单管控平台与 DevOps 流水线对接,在开发阶段将软件物料清单插件集成到IEDA 上,支持研发人员及时对引入的组件进行扫描并且输出软件物料清单检测报告。二是将软件物料清单管控平台与安全运营平台对接,建立软件物料清单-漏洞数据库,使运营人员清晰地了解应用程序中使用的组件的标准清单和基本信息。云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)35(二二)联通软研院联通软研院:软件:软件物料清单建设物料清单建设实践实践 联通软研院为降低软件供应链安全风险,计划将软件物料清单集成到整个研发流程中,更好地保护其软件和系统免受潜在的安全威胁。从而加强开发团队与安全团队之间的合作,促进安全文化的建立,并提高软件交付的质量和安全性。1.联通软研院软件物料平台建设 根据联通软研院现状建设的软件物料平台核心功能如下:1)供应链场景管理:主要包含应用包威胁审查,编码实现分析,二进制成分分析。实现对应用的组件依赖检测,漏洞检测,许可证检测能力,并支持多种场景的扫描。2)资产分析与管理:主要包含组件风险管理,漏洞风险管理,许可证风险管理等功能。可以快速识别、跟踪和处理软件中的各种风险,降低软件系统的风险和管理软件中的各种风险,提高软件质量。3)规则配置与管理:主要包含组件版本基线和漏洞黑白名单功能。可以对特别版本组件进行管理并记录已知漏洞并阻止使用拥有该漏洞的组件。更好地管理组件并能有效的确保软件的安全性、稳定性和质量。4)组件库及漏洞库:主要存储和管理软件开发中常用的组件和记录已知漏洞信息的仓库,包括漏洞类型、风险等级、修复方案等。为开发人员提供可靠,准确的查询工具、可以提高开发效率,同时也能可靠地保证软件质量和安全性。云计算开源产业联盟 软件物料清单(SBOM)发展洞察报告(2023)36 2.软件物料平台与 DevOps 集成实践 联通软研院正在将软件物料平台集成到 DevOps 流程中,本地开发阶段通过 IDEA 插件进行本地工程进行扫描,进行物料分析,并设立第一道安全门禁,通过组件漏洞许可证情况对工程进行评估,如工程不满足安全需求,将会阻止代码进行提交,防止有安全风险的组件污染功能代码同时也帮助研发人员更早的识别组件风险。在构建节点设置第二道安全门禁,构建工程时进行软件物料分析,如不满足安全需求,将中止应用构建,防止软件带伤上阵。在预发布节点,进行第三道安全门禁,对工程进行上线前最好的物料分析,如满足安全需求,可以正常发布,不满足组织发布。在软件运行阶段,进行运行时依赖检查,并实时监控如发现有风险组件进行及时的通知和预警。同时支持手动或者自动的形式对代码仓库进行检测,并定期对企业maven 等仓库进行扫描,识别出有风险组件。持续更新组件库和漏洞库帮助发现和修补软件中的安全漏洞。新的漏洞和安全威胁不断出现,通过持续更新,可以及时修复已知的漏洞,降低系统遭受攻击的风险。
信息技术生僻字处理指南(第一版)全国信标委字符集与编码分委会二二三年八月信息技术生僻字处理指南(第一版)编写编写单位单位(排名不分先后)(排名不分先后)中国电子技术标准化研究院中国科学院软件研究所中信银行股份有限公司招商银行股份有限公司文化艺术出版社有限公司中国出版集团中华字库工程办公室北京冠群信息技术股份有限公司思旦达(北京)技术有限公司万达信息股份有限公司永中软件股份有限公司蚂蚁科技集团股份有限公司深圳市腾讯计算机系统有限公司北京搜狗科技发展有限公司北京北大方正电子有限公司北京汉仪创新科技股份有限公司北京金融科技产业联盟北京国家金融科技认证中心北京银行股份有限公司广发银行股份有限公司重庆国家金融科技认证中心电子科技大学DICOM 标准国家地方联合工程实验室潍坊北大青鸟华光照排有限公司中科方德软件有限公司福昕鲲鹏(北京)信息科技有限公司北京金山办公软件股份有限公司江苏中威科技软件系统有限公司北京数科网维技术有限责任公司麒麟软件有限公司赞同科技有限公司北京点聚信息技术有限公司友虹(北京)科技有限公司北京百度网讯科技有限公司佳能医疗系统(中国)有限公司拉萨净土信息安全服务中心有限公司北京卓玛之裕科技有限公司信息技术生僻字处理指南(第一版)编写编写组成员组成员(排名不分先后)(排名不分先后)范科峰董建杨磊黄姗姗王欣陈壮陈亚军陈晓研崔晓琳何正安吴健刘汇丹江激扬徐晓剑刘文涛孙炎森刘伟马良有纪熙东陈永聪陶扬薛馨枫刘江涛谢史颉陈克穆玉静梁勇王长胜吴庆敏陆碧波刘杰任翔鲁剑冯雷尹方卉张建国陈恳张国荣陈金娣冷怀晶郑乃玉胡达川李寻李振李博文祖宇飞王子健周宗明孙梦赵华伟毕小文秦逞吴娟邹见效蒲立新徐昆范计朋何明杰高忠军殷建民张宏康凯王新政胡昆冯建茹冯倩倩严伟施东海蔡亚军梁维添陈林战茅杨丽霞刘丹王少康秦聪陆猛刘赛赛陈庆功李伟范敏虎常敏强赵兰平黄岩王威凯屈伟晨杨秋虹卓玛普赤李巍刘巧焕孟岩蒋增增代威版权声明版权声明本文件版权属于全国信息技术标准化技术委员会字符集与编码分委会(SAC/TC28/SC2,简称“全国信标委SC2”)。使用说明:未经全国信标委SC2书面授权,不得以任何方式复制、抄袭、影印、翻译本文件的任何部分。凡转载或引用本文的观点、数据,请注明“来源:全国信标委字符集与编码分委会”。目录CONTENTSCONTENTS前言.1第一章 认识信息系统“生僻字”问题.21.1 信息系统“生僻字”的概念.21.2 造成的影响.21.2.1 生僻字受困群众面临的困难.21.2.2 服务机构的业务困境.6第二章 问题形成的原因.72.1 历史原因.72.1.1 中文信息处理技术的发展.72.1.2 相关标准的发展过程.82.1.3 汉字编码的工作机制.92.2 现状成因.102.2.1 产品不支持生僻字的情况.102.2.2 信息系统不支持生僻字处理的情况.132.2.3 管理层面的原因.132.2.4 人员层面的原因.142.3 原因总结.15第三章 相关工作基础.163.1 各行业已开展的工作.163.2 相关标准/文件.18第四章 编码字符集使用指南.214.1 编码字符集标准的使用.214.2 码位的使用.21第五章 信息处理产品支持生僻字指南.235.1 通用要求.235.1.1 编码字符集要求.235.1.2 汉字字型要求.235.1.3 汉字输入要求.235.2 系统软件.235.3 支撑软件.255.4 应用软件.26第六章 信息处理系统建设改造指南.276.1 通用原则.276.2 各环节改造要求.276.2.1 输入.276.2.2 显示.296.2.3 打印.296.2.4 信息交换.306.2.5 内部处理.326.2.6 存储.33第七章 组织和个人生僻字处理指南.357.1 组织.357.1.1 技术管理机制.357.1.2 服务管理机制.357.2 个人用户.36第八章 测试评估.378.1 信息处理产品的标准符合性测试.378.1.1 编码字符集测试.378.1.2 字型测试.398.1.3 输入法测试.408.2 信息处理系统生僻字处理能力评估.408.2.1 定义.408.2.2 标准符合性.408.2.3 易扩展性.418.2.4 经济适用性.418.2.5 兼容性.418.2.6 易用性.418.2.7 统一性.428.3 服务机构业务生僻字处理能力评估.428.3.1 定义.428.3.2 技术管理机制.428.3.3 服务管理机制.42第九章 实用工具及资源.449.1 对本章所列资源的说明.449.2 软件产品.449.2.1 超大字符集字库.449.2.2 输入法.479.3 相关工具.509.3.1 字符转码工具.509.3.2 字符转义工具.509.3.3 公共组件.509.4 论文文献.51第十章 实施案例.5310.1 公共服务机构的系统内改造案例.5310.2 大规模、跨系统场景的生僻字问题解决.5810.3 用字单位解决内部用字需求的办法.6210.4 软件产品支持生僻字的解决方案.64附件:提交补充编码汉字的技术要求.68一、待编码汉字的范围.68二、提交申请的单位.68三、接受待编码汉字申请的单位.68四、申请资料的技术要求.68信息技术生僻字处理指南(第一版)1前 言国务院办公厅关于全面加强新时代语言文字工作的意见提出,到 2025年,语言文字规范化、标准化、信息化水平要进一步提高。国家通用语言文字作为信息交互的载体,在数字经济发展建设中发挥着越来越重要的作用。特别是在政务服务和公共服务行业,随着“互联网 ”业务模式日趋成熟,人民群众随时可以通过网络实名认证等方式在线办理各类业务,极大地提升了办事效率和服务体验。然而,在语言文字信息技术高速演进的同时,信息系统生僻字问题的严峻性也在逐渐凸显。由于一些信息系统对于生僻汉字的支持不充分,致使人名、地名中的生僻汉字难以正常输入、显示、打印、传输,相关群众在办事时屡屡受阻,形成了难以逾越的“数字鸿沟”。作为影响产业发展与民生福祉的一大痼疾,信息系统生僻字问题的解决时不我待,势在必行。为形成适用于各行业领域信息系统的综合、协调、务实、可行的生僻字解决方案,全面实现人名、地名生僻汉字在政务服务和公共服务行业内的互联互通,全国信标委字符集与编码分委会组织相关产学研用单位,共同编写形成信息技术生僻字处理指南(第一版)(以下简称“指南”)。指南主要提出了以下内容:一是针对信息系统生僻字问题的现状与成因进行系统性总结与分析;二是对信息系统生僻字处理提供全方位指导;三是梳理与信息系统生僻字处理相关的标准文件、工具资源以及各行业实施案例。同时,对于无标准编码的生僻汉字给出了申请编码的技术要求与渠道。指南力求为各相关方提供有效指导和参考,加快推动信息系统生僻字问题的解决,进一步促进国家通用语言文字信息处理水平的提升,助力国家语言文字事业和信息技术产业高质量发展。编写组2023 年 8 月信息技术生僻字处理指南(第一版)2第一章 认识信息系统“生僻字”问题1.1 信息系统信息系统“生僻字生僻字”的概念的概念从甲骨文到楷书,汉字经历了数千年的演变和传承。悠久的历史也导致了汉字的复杂性,不仅数量巨大,还难读、难写、难认。即便是最专业的汉字研究者与文字工作者,对汉字的认知也存在盲区。随着计算机技术的发展,汉字插上了信息技术的翅膀,从最初能录入计算机,到现在信息系统的广泛使用。汉字信息处理除了给人们生活带来了便利,也引发了新的问题。在信息时代,汉字需要在信息系统上输入、存储、处理、显示、打印,在不同系统之间流转共享,这一系列过程要由信息技术来保障汉字被正确处理,其中最主要的环节就是汉字编解码,也就是需要保证文字处理周期各个环节遵循同样的汉字编码标准。在日常生活中,人们一般把不常见的或自己不熟悉的汉字称为生僻字。对信息系统来说,“生僻字”是指需要通过一系列特殊处理才能被信息系统正确地输入、输出、处理、传输的汉字。一个字如果在输入、存储、打印、显示、交换等任意一个环节中处理不当,就会造成业务不能正常办理、信息核验失败等问题,给相关人群的生活与工作带来诸多不便。1.2 造成的影响造成的影响1.2.1 生僻字生僻字受困受困群众面临的困难群众面临的困难在信息时代,信息化系统已经深入到人们生活的方方面面。个人或机构的信息需要在各类信息化系统中录入、存储、流转,比如公安人口信息管理系统、居民身份证制证系统、社保系统、金融系统、工商系统、税务系统以及各种出行及政务服务系统。涉及生僻字处理的出版、科技、考古、历史等专业领域工作者们常会碰到所需生僻字无法被正确处理等问题。在政务服务、公共服务等业务场景,生僻字不能正确处理则会导致身份信息技术生僻字处理指南(第一版)3联网核查失败、户名校验失败、数据库信息乱码等问题,使群众办事遇到阻碍。姓名和地址中含有生僻字的群众,长期忍受着诸多不便。下面这些实例,是生僻字人群日常困境的真实写照。实例实例 1:要求实名认证的服务无法正常办理:要求实名认证的服务无法正常办理只要需要实名认证的地方,大多无法正常办理。例如手机号码无法实名制登记;使用购票软件和其他需要实名制登记的软件打不出名字或被拦截、报错,均无法实名;辽事通、盛世通、场所码、银行卡等,涉及医疗、保险、交通、通讯和金融领域,都遇到无法办理的情况,寸步难行。如图 1-1 所示。图 1-1难以通过实名认证(来源:网络)实例实例 2:证件不能正常打印姓名:证件不能正常打印姓名姓名中有生僻字,准考证上打印出问号,机动车登记证书打印不出姓名,机票/火车票上姓名生僻字只能手写或用拼音替代。如图 1-2 所示。信息技术生僻字处理指南(第一版)4图 1-2证照、机票/车票等不能正常打印出姓名生僻字(来源:网络)实例实例 3:无法申请健康码无法申请健康码因名字里有生僻字,八旬老人难办“健康码”。如图 1-3。图 1-3新闻截图“八旬老人难办健康码”(来源:湖北电视台)信息技术生僻字处理指南(第一版)5实例实例 4:无法领取退休金:无法领取退休金因姓氏是生僻字无法领取退休金,如图 1-4 所示。图 1-4新闻截图“因姓氏是生僻字无法领取退休金”(来源:网络)实例实例 5:无法申请信用卡,:无法申请信用卡,税务局无法自动扣税税务局无法自动扣税网友反映:因无法确认征信信息,无法申请信用卡、银行卡;税务局无法线上自动扣税,每次都需要去现场登记办理。网友姓名生僻字举例如图1-5。图 1-5网友姓名中的生僻字(来源:网络)实例实例 6:地名有生僻字无法线上办理出生证:地名有生僻字无法线上办理出生证因地名含有生僻字,无法在网上办理孩子的出生医学证明。如图 1-6。信息技术生僻字处理指南(第一版)6图 1-6网友住址中的生僻字(来源:网络)1.2.2 服务机构业务困境服务机构业务困境在办理业务过程中碰到生僻字难以处理的情况,群众固然不满意,服务机构也需要投入大量人力和时间来解释缘由、协商处理方式。处理结果也难以让群众满意,引发大量投诉。尽管有些机构设置了私有字库或生僻字处理流程,但是在跨机构、跨系统时仍然会遇到无法校验、显示和核查等问题。随着社会数字化程度的提高,要求实名制的场景越来越多。基于人名、身份证号的校验、核查愈发普遍,这就要求汉字的信息处理更加规范、标准。一些机构通过业务积累或搜集整理的方式建立了生僻字库,能满足一部分业务需求。但这样的做法需要这些机构单独维护生僻字库,投入较高的技术成本与人力成本。还有一些机构通过拼音、图片、临时造字等方式实现当下的业务办理乃至本系统内的信息流转。但在当前万物互联的时代背景下,跨机构、跨系统的应用越来越多,这样的处理方式治标不治本,问题依然没有解决。信息技术生僻字处理指南(第一版)7第二章 问题形成的原因2.1 历史原因历史原因全世界的文字,根据其记录语言的方式和性质,可划分为两类:一类是以英文、法文等为代表的表音文字,用字母来表示语音;另一类就是以汉字为代表的表意文字,用一定体系的象征性符号来表示语义。信息系统生僻字问题,是表意文字所特有的问题。要理解这一问题产生的原因,要从汉字的信息处理技术的原理及其标准化进程说起。2.1.1 中文信息处理技术的发展中文信息处理技术的发展计算机要处理中文信息,其基本原理可以概况为:一字、一形、一码。字,是指能被单独认知并反映独立意义的一个汉字;形,是指字形,是文字的精确显示,让机器能正确输出文字信息;码,是指编码,让机器认识文字,是文字信息处理的基础。三者之间一一对应,才能被计算机识别和处理。汉字作为表意文字,每个字都有相对独特的字形和含义,需要有单独的编码,并单独设计字形。对汉字进行编码的工作包括搜集、查证、去重、认同、赋码等一系列过程。汉字编码工作起步于上个世纪,我国第一个汉字编码字符集标准 GB2312-80(现为 GB/T 2312-1980)信息交换用汉字编码字符集基本集收录了 6763 个汉字。往后数年,经过各个国家和地区专家的经验积累,被编码的汉字数量急速增长,在 2005 年达到了 7 万多字,覆盖了绝大多数社会在用字。接下来的工作进度则逐渐趋于缓慢,因为尚未被编码的汉字大多是非常罕见的生僻字,搜集难、查证难,有时需要各个国家和地区专家开展大量考证工作,反复讨论审议,才能形成一致结论,为一个汉字分配合理的编码。汉字字形的校正工作也需要大量专业知识的积累和运用,要对数万个字信息技术生僻字处理指南(第一版)8形进行考证、校对,确保字形的正确性、规范性,形成符合我国语言文字规范的汉字字形集,避免汉字在文化传播中发生变异。汉字的数量又非常庞大2022 年发布的国家标准 GB 18030-2022信息技术中文编码字符集收录 88115 个汉字(含部首),中宣部“中华字库”工程搜集整理出了 30 万个汉字字形成果。为这样庞大数量的汉字分配编码和开发字库,所需的专业知识和工作量都是巨大的。2.1.2 相关标准的发展过程相关标准的发展过程标准化是现代社会一切产业的基本保障,是从手工作坊式的分散产业迈向大工厂生产乃至形成大规模产业链的必要手段。从最开始的 GB/T 2312 起步,我国已累计发布中文信息处理相关国家标准 180 余项,涵盖编码、字型、键盘布局、术语等基础性标准,构建了支持市场以及技术开发和应用的中文信息处理基础标准体系,支撑着我国中文信息处理产业的有序健康发展。解决生僻字问题首先要依靠编码字符集标准的完善,在标准中收录尽可能多的汉字字符,发展标准字库,推动标准在信息系统各个环节的落地。我国研究与制定的编码字符集标准从单字节到双字节、四字节编码,收录的字汇也在不断扩充,相关标准化历程可以用表 2-1 中的几个重要的国家标准/文件来概括:表 2-1 汉字编码发展历程中的几个重要标准/文件年份年份国家标准国家标准/文件名称文件名称汉字数量汉字数量(含部首含部首)1980GB/T 2312-1980信息交换用汉字编码字符集基本集67631995汉字扩展内码规范(GBK)210032000GB 18030-2000信息技术信息交换用汉字编码字符集基本集的扩充275332005GB 18030-2005信息技术中文编码字符集702442022GB 18030-2022信息技术中文编码字符集88115从表中可以看出编码汉字在数量上的两次跃升:一是 1995 年发布的信息技术生僻字处理指南(第一版)9GBK 文件,在 GB/T 2312 标准 6 千多个汉字的基础上扩充到了 2 万多个;二是 2005 年的 GB 18030-2005 标准,从其 2000 版的 2 万 7 千多个汉字扩充到了 7 万多个。在汉字字形的标准化方面,我国相继制订发布了数十项汉字点阵字型国家标准和电子行业标准,规定了汉字在点阵栅格中的字形,适用于汉字在点阵屏幕上的显示输出。其中现行有效的国家标准和行业标准有 40 余项,如GB/T 5007.1-2010信息技术汉字编码字符集(基本集)24 点阵字型、GB/T 22320-2019信息技术中文编码字符集汉字 1516 点阵字型等。随着信息技术水平的提升,使用点阵屏幕的设备逐渐减少。目前,我们日常使用的计算机和移动终端等设备上搭载的汉字字库都是曲线字型产品。国家标准 GB/T 11460-2009信息技术汉字字型要求和检测方法对曲线字型产品提出了笔形规范性、字形正确性,以及符合编码字符集标准等要求。2.1.3 汉字编码的工作机制汉字编码的工作机制从汉字编码的工作机制上来说,自 1990 年代至今,我国的汉字编码工作采用的是“国际标准引领,国家标准跟进”的模式。为了确保我国国家标准与国际标准的兼容性,计划新增的汉字首先提交国际标准 ISO/IEC 10646 信息技术通用编码字符集(UCS),待国际标准批准收录后转化为我国国家标准 GB/T 13000。同时,这些新增汉字也将收录进我国自主研发的强制性国家标准 GB 18030信息技术中文编码字符集。ISO/IEC 10646信息技术通用编码字符集(UCS)是对全球所有文种进行统一编码的国际标准,由 ISO/IEC JTC1/SC2(国际标准化组织和国际电工委员会第一联合技术委员会下属编码字符集分技术委员会)负责修订维护。其中,特别为汉字编码设立了 IRG(表意文字小组),负责审批来自中国、日本、韩国、越南等国家和地区的新增汉字编码申请。我国提交的新增汉字主要来自教育及出版印刷等行业相关单位。在经过全国信标委审核后,新增汉字的编码申请以中国国家提案的形式呈报 IRG,再经过 IRG 多轮严格的技术审查,最终提交 ISO/IEC JTC1/SC2 批准,在国际标准 ISO/IEC 10646中赋予正式编码。新增汉字编码的审核周期一般为 45 年。注:业界常说的产业规范 Unicode Standard 由美国 Unicode 联盟(Unicode信息技术生僻字处理指南(第一版)10Consortium)提出,其编码结构、收录字符与国际标准 ISO/IEC 10646(UCS)保持一致,不同之处在于 Unicode Standard 对各文种的编码实现作了更详细的规定。虽然从技术角度看,产业规范 Unicode Standard 与国际标准 ISO/IEC 10646 基本一致,但它并不等同于国际标准。从汉字编码的工作机制来看,收录生僻字的难点有两方面:一是为避免产生一字多码的问题,标准化组织对新增汉字的审查非常严格,有些字会被认为来源证据不足,或跟已收录的某个字是认同(unify)的,所以不能赋予单独编码;二是有些用字单位不会主动向标准化组织提交待编码的生僻字,标准化组织无从获取这些生僻字的信息。注:注:一字多码问题,是指在标准化过程中造成的下列情况:1)同一标准中同一图形字符出现在不同编码位置;2)存在编码映射关系的标准之间,因标准修订不同步,导致原映射关系变更至新码位;3)某些机构早期通过占用 PUA 对一批急用图形字符分配了自定义编码,导致这些字符与现行标准编码不一致。2.2 现状成因现状成因2.2.1 产品不支持生僻字的情况产品不支持生僻字的情况软硬件产品在进行中文信息处理和交换时不支持生僻字的情况,可能涉及输入法或字库不支持、软件底层编码不支持、软件前端/后端对代码的过滤,以及网页渲染等原因。下面对这些情况逐一进行分析。输入法输入法对于一般用户,输入法是最直接接触的环节,一个对用户友好的输入法包括输入码对应字符或字符序列的范围广度、候选框上屏显示效果、易混淆字形提示和词库联想提示等。GB 18030 和 GB/T 13000 本身并不直接提供所有字符的读音信息,若想使用汉语拼音做输入码基础来输入所有的字符并不现实。字形特征输入码(形码)也需要开发者做大量的研究工作,且目前任何一种形码都缺乏可以协调规则的技术委员会,如果各个输入法开发方都独力开发,最终输入码的结果可能不一致。有的字符本身不一样,但在小字号时,容易渲染得让用户信息技术生僻字处理指南(第一版)11分不清。比如“?”的 GB/T 13000 码位为 U 2BB42,GB 18030 码位为0 x99308834,与“田”字(GB/T 13000 码位 U 7530,GB 18030 码位为 0 xCCEF)的字形很像,但两者编码不同,是两个不同的字。在小字号渲染时,如果输入法没有提示,用户可能会输入错误。字库字库/字体库字体库/字体文件字体文件基于 OFF(开放式字体格式,参见 ISO/IEC 14496-22)封装的曲线字库封装时都会按照一定的历史字符集、字符子集或字形集(glyph collection)来安排字形(glyph),目前市场上大部分字库产品包含的汉字数量在几千到三万之间不等,不足以满足绝大部分生僻字处理需求。此外由于字库文件有容纳字数的限制,GB 18030-2022 收录的所有字符无法容纳在单个字库文件里,一旦系统或平台的渲染规则没处理好,超出当前选用字库包含字形的字符会回退(fallback)到系统默认字库。如果系统默认字库的字体风格(style)与当前选用字库不同,在排版上会显得突兀;如果系统默认字库不包含该字符的字形,会调用字库中的.notdef(一个替代缺字用的字形)来显示。另外,点阵字库在当代仍有广泛的使用环境。医院药房、地铁、公交等的点阵显示屏仍需要相应的点阵字体去支持显示。编码编码无论是从 GB/T 2312-1980 的通行编码实现到 GBK 再到 GB 18030,还是对 GB/T 13000(UCS)的编码实现,在发展过程中都发生过编码结构上的变化。目前国内仍有大量以前开发的软件或依据旧框架开发的新软件无法处理这些编码结构上的变化,这导致从根本上限制了软件能处理的字符数。比如,“?”的 UCS 码位为 U 2CC56,GB 18030 码位为 0 x9933C336,如果一个只支持 GBK 的环境接收到一个 GB 18030 编码的文档或信息系统报文,这个字会被处理成“36”;如果一个只支持 UCS-2(只包含 UCS 基本多文种平面的一种编码)的环境,接收到一个 UTF-16(覆盖 UCS 中所有平面的一种编码)的文档,这个字会被忽略掉,这些情况都属于没能正确处理编码。前端与后端前端与后端信息技术生僻字处理指南(第一版)12如果在操作系统与平台已经支持编码的前提下,应用系统选用了范围更窄或范围不对的编码(习惯称为 charset label),也会导致和前述相似的结果。比如,在 Oracle 数据库中选用了 ZHS16GBK,而不是 AL32UTF8;在 MySQL数据库中选用了 ucs2 或 utf8(utf8mb3),而不是 utf8mb4 或 utf16、utf16le等;在 html 或 XML 中选用了 GBK 或 gb2312,而不是 gb18030 或 utf-8 等。另一方面,国内很多登录界面习惯通过正则表达式限制输入的字符,常见的写法是u4e00-u9fa5,这等于把超出 GB/T 13000-1993 或 Unicode 1.0.1 定义的汉字以外的部分及人名中需要的其他符号(如汉字数字“”和少数民族姓名分隔符“”)排除在通过的范围内。网页渲染网页渲染一般汉字的视觉断行规则是任意两个汉字之间都可以断开,而拉丁字母等不能在任意两个字母之间断开,除非添加连字符(hyphen)。由于使用非UCS 正式码的生僻字(即定义在 PUA 和两个 SPUA 区)未定义断行属性,多数平台会直接使用等价于拉丁字母的断行行为。这样的渲染效果可能导致页面显示和打印时发生信息丢失。图 2-1 是一个网页对非标准码汉字进行了错误断行处理的效果:它把第一行空格后面的 5 个汉字认定为一个“单词”,在字符总长超过行长时,将这个“单词”整体放到了下一行。图 2-1错误的断行效果正确的断行处理应当如图 2-2 所示。图 2-2正确的断行效果信息技术生僻字处理指南(第一版)132.2.2 信息系统不支持生僻字处理的情况信息系统不支持生僻字处理的情况信息系统不能正确处理生僻字的原因则更加复杂。除了上一节所述软硬件产品本身对生僻字不支持的情况外,还要考虑系统运行的各个环节,包括输入、存储和输出等。输入输入信息系统中生僻字相关有效信息的输入既和软件有关,也和信息系统的用户有关。即便软件已开发完善,由于汉字本身的特性,用户从 GB/T 13000和 GB 18030 标准收录的近十万字中查找到需要的字也并不容易。例如有些字的同音字有几百个。此外,一些输入操作员在遇到生僻字不能输入时会使用替代办法,但不同人员、不同时间使用的替代办法没有固定规则,例如拆字、结构描述、替代字、拼音、替代符号、占用汉字码位修改字形等都有可能。存储存储在很多信息系统的编码与转码规则中,当前界面的编码不能支持的字符可能会被一个或多个“”或半角问号“?”等字符替代。生僻字在被不可逆替代后存储会丢失有效信息。另一方面,输入层面信息的不准确也会给存储带来不便。拆字、结构描述、拼音等方式都可能使字节数超出字段规定的长度,替代字、替代符号、占用汉字码位修改字形等可能会造成信息被误解。输出输出当包含生僻字的信息在输出时,会受到软件层面编码、字库、渲染、发音软件等输出能力不足的限制,导致即使在机器意义上信息准确,但显示或打印输出为空白、问号等现象,与一般用户与从业人员的认知严重脱节,影响群众办事进度。当点阵屏和热敏打印机等内置的点阵字库及其编码不支持生僻字时,可能打印出替代用的问号(?),有的还会发生字节丢失或错位解码等情况,使一般用户与从业人员无法从字面识读必要信息。2.2.3 管理层面的原因管理层面的原因从服务机构的管理层面来看,信息系统生僻字问题普遍存在,其主要原信息技术生僻字处理指南(第一版)14因还是服务机构各级相关方对生僻字问题的认知不清晰、对技术成因的不理解。比较常见的问题包括:误用误用 GBKGBK 仅收录了 21003 个汉字,绝大部分生僻字都不支持,且其中部分字符编码与现行国际/国家标准中的规定不一致。一些信息系统开发方不理解各个编码字符集标准/文件(包括 GB/T 2312、GBK、GB 18030-2000、GB18030-2005、GB 18030-2022、ISO/IEC 10646 和 Unicode)之间的差异和要求,误以为 GBK 仍是当下适用的汉字编码标准,在编写行业规范等文档时,规定使用 GBK 编码,使得大多数生僻字都无法被正确处理。错误使用错误使用 PUA 区区PUA(用户自定义区)缺乏有效的管理手段,导致各行业采用各自内部自定义 PUA 编码作为标准,导致无法跨行业互联交换。例如某信息处理产品使用 PUA 区对生僻字进行编码,用户使用该产品可以处理特定生僻字,但由于其编码不是标准码,在和其他系统进行信息交换时,则会引起错误。系统建设未遵循合理标准系统建设未遵循合理标准各类服务机构在系统建设方面,无论是自建还是外购承建,都存在前述的类似问题。而一些行业的复杂系统通常具有数据分布式管理、分系统承建单位不同等特点,在系统内数据交换的各个环节,任一环节不能支持生僻字处理,均会导致问题产生。2.2.4 人员层面的原因人员层面的原因直接面对生僻字受困群众的服务机构客服人员,普遍存在不了解问题、不会操作输入生僻字以及有概念误区等情况。生僻字受困群众自己,大多对问题的成因一知半解,也没有有效的方法来维护自己的合法权益。一线柜台或后台客服人员一线柜台或后台客服人员各个机构缺乏专业知识人员,通常难以建立完整的知识体系并进行有效信息技术生僻字处理指南(第一版)15的培训。在这方面做的比较好的案例是广东社保规程,规程对生僻字的范围进行了界定,对服务人员处理生僻字提出了明确的操作指导。生僻字生僻字受困受困群众群众生僻字受困群众往往也没有充足的认知,缺乏有效的方法和手段来维护自身权益。其中有些人会由于长期遭遇各种不便而被迫改姓(如“?”“惠”、“?”“蔄”)、改名(“”“龑”或“衍”、“?”“頔”或“迪”、“?”“平”)。2.3 原因总结原因总结由上述分析可知,信息系统生僻字问题长期存在而难以彻底解决,存在三方面原因:一是汉字的信息化难度高一是汉字的信息化难度高。汉字数量庞大,对每个汉字进行编码和字形规范化,工作量大、专业度高、标准化工作周期长。一个生僻字从被发现,到提交到标准化组织,再到被赋予编码,进入标准,要经历长期的过程;二是软硬件产品和业务系统对标准的支持程度良莠不齐二是软硬件产品和业务系统对标准的支持程度良莠不齐。一个业务系统包含各类软硬件产品以及输入、存储、处理、输出和控制等诸多环节,其中任何一个环节不支持生僻字处理,都可能导致业务办理不成功;三是大众对生僻字问题的认知不足三是大众对生僻字问题的认知不足。服务机构的管理人员和客服人员缺乏相关知识,采取的处理办法通常治标不治本,而生僻字人群本身也大多不了解问题根源,没有有效的方法和手段维护自身权益。信息技术生僻字处理指南(第一版)16第三章 相关工作基础3.1 各行业各行业已开展的已开展的工作工作信息系统生僻字问题给相关群众的生活带来极大不便,多年来相继有两会代表委员提出提案,要求解决信息系统生僻字问题;不同行业主管部门也早已注意到这一问题,尝试解决用字问题。例如:国家国家民民委及相关部委联合发文委及相关部委联合发文2016 年,国家民委联合多个有关部委发布关于在政府管理和社会公共服务信息系统中统一姓名采集应用规范的通知(民委发201633 号),提出了在信息系统设计研发工作中要实现对国家标准编码汉字 GB 18030 或GB 13000 的全覆盖等要求。公安人口信息专用字库公安人口信息专用字库公安部建立了公安人口信息专用字库,有效解决了绝大多数姓名中含有生僻字的公民正常办理户口登记和居民身份证的问题,但其他部门的信息系统无法正常处理且在跨系统时无法联动。社保、医保、社保卡社保、医保、社保卡社保、医保、社保卡方面的三个管理部门以及医院本世纪初统一使用一个造字软件支持生僻字的录入和显示,确保社保信息流闭环内生僻字处理规则的一致性,但这个软件已不再更新。2020 年起,人社部要求人力资源社会保障信息系统全部支持国家标准 GB 18030。在采集个人基础信息时,如果其姓名中包含生僻字,则信息系统中应采用该字的半角大写拼音字母加上半角中括号代替;在备注字段中对拼音标注、字形、读音等进行描述。例如“王?”,在信息系统的姓名字段中采用“王JIUDI”,在备注字段中说明“生僻字JIU字形上九下乙,音同九;生僻字DI字形左由右页,音同迪”。要求信息技术生僻字处理指南(第一版)17下属机构对生僻字的甄别严谨细致,不得将非生僻字的汉字擅自按照生僻字的方案处理。电信电信在电信领域实名登记方面,工业和信息化部为解决身份信息核验中生僻字的问题,一方面指导电信企业加快信息系统升级改造,另一方面采取相似字替换、添加备注等方式为用户提供便利。铁路客运铁路客运在铁路售票系统中,铁路部门积极研究解决方案,在确认旅客身份证号码无误的前提下,对生僻字进行模糊化对比处理,并进一步完善售票渠道功能,使姓名中包含生僻字的旅客通过互联网购票后,在人工窗口、自动售票机上均可办理取票业务。金融金融2022 年 6 月,中国人民银行发布了 金融服务生僻字处理指南(JR/T0253-2022)金融业标准,标准提供了行业通用的处理生僻字的方法,为金融业信息系统生僻字处理提供了指引,以改善生僻字受困群众在办理金融业务时遇到的各种障碍,助力提升金融业服务水平。同时,要求遵循新版信息技术中文编码字符集(GB 18030-2022)强制性国家标准。2022 年 9 月29 日,由国家金融标准化技术委员会秘书处指导北京金融科技产业联盟组织召开了金融业生僻字治理工作推进会,进一步落实相关要求。为填平生僻字这一历史和技术原因造成的“数字鸿沟”,解决人民群众“急难愁盼”问题,一些地方政府也进行了积极探索。例如:上海市上海市2021 年 9 月上海市经济和信息化委员会、上海市大数据中心联合发出了关于开展信息系统生僻字问题改造的通知,针对群众日常生活中常见服务事项涉及的信息系统进行生僻字支持改造,通过集中采购公安系统人口信息专用字库并依托“一网通办”技术体系建立生僻字云服务平台,支撑相关信息技术生僻字处理指南(第一版)18政府部门以及医院、药店等医疗机构,试点银行、保险等金融机构,水电煤等公共服务企业的信息系统对生僻字进行技术处理。改造后的各部门信息系统对生僻字的处理对标公安的身份证处理方法,在成本可接受的范围内从根本上解决姓名中含有生僻字的群众便捷办理公共服务事项的问题。3.2 相关标准相关标准/文件文件面向信息系统生僻字治理工作,可将支撑各类产品研发和信息系统建设的标准/文件划分为四大类,分别是 A 基础技术、B 产品要求、C 应用要求和D 测试评估。其中:A 基础技术:包括编码字符集、字型、键盘布局等支撑生僻字处理技术的基础标准;B 产品要求:围绕生僻字处理需求,分别面向软、硬件产品提出要求;C 应用要求:面向行业应用的标准、文件等;D 测试评估:相关测试方法、评估指南等。该支撑体系框架如图 3-1 所示。生僻字生僻字处理处理基础技术基础技术字型编码字符集键盘布局产品要求产品要求信息系统软件产品应用要求应用要求指导文件应用类标准测试评估测试评估评估指南测试要求图 3-1生僻字处理标准/文件体系框架在该体系下列出已发布的标准/文件清单如表 3-1 所示。信息技术生僻字处理指南(第一版)19表 3-1生僻字处理相关标准/文件清单大类大类小类小类标准标准/文件名称文件名称标准号标准号/文件号文件号文件性质文件性质A 基础技术类编码字符集信息技术中文编码字符集GB 18030-2022强制性国家标准信息技术通用多八位编码字符集(UCS)GB/T 13000等同采用国际标准ISO/IEC 10646信息技术通用编码字符集(UCS)ISO/IEC 10646国际标准字型汉字点阵字型标准多项(略)推荐性国家标准键盘布局汉字及少数民族文字键盘布局标准多项(略)推荐性国家标准B 产品要求通用要求信息技术产品国家语言文字使用管理规定教育部第 54 号令信息技术软件产品中文信息处理要求及测试方法拟立项推荐性国家标准软件产品信息技术数字键盘汉字输入通用要求GB/T 18031推荐性国家标准信息技术通用键盘汉字输入通用要求GB/T 19246推荐性国家标准联机手写汉字识别系统技术要求与测试规程GB/T 18790推荐性国家标准中文语音识别系统通用技术规范GB/T 21023推荐性国家标准印刷体汉字识别系统要求与测试方法GB/T 17961推荐性国家标准信息技术汉字字型要求和检测方法GB/T 11460推荐性国家标准信息技术生僻字处理要求第 1 部分:软件产品拟立项推荐性国家标准信息技术生僻字处理指南(第一版)20信息系统信息技术生僻字处理要求第 2 部分:业务系统拟立项推荐性国家标准C 应用要求通用关于在政府管理和社会公共服务信息系统中统一姓名采集应用规范的通知民委发201633 号金融行业金融服务生僻字处理指南JR/T 0253-2022人力资源和社会保障人力资源社会保障信息系统姓名生僻字处理方案(暂行)人社网信函201917号D 测试评估测试要求信息技术软件产品中文信息处理要求及测试方法拟立项推荐性国家标准信息技术汉字字型要求和检测方法GB/T 11460推荐性国家标准评估指南信息技术生僻字处理要求第 3 部分:服务机构拟立项推荐性国家标准信息技术生僻字处理指南(第一版)21第四章 编码字符集使用指南4.1 编码字符集标准的使用编码字符集标准的使用我国现行有效的汉字相关编码字符集国家标准主要包括 GB/T 2312、GB/T 13000 和 GB 18030 三项。GB/T 13000信息技术通用多八位编码字符集(UCS)等同采用国际标准 ISO/IEC 10646。业界常说的 Unicode 规范与国际标准 ISO/IEC 10646在编码和字汇层面保持一致,当前版本收录全球各文种字符约 14 万。国际标准 ISO/IEC 10646(GB/T 13000)定义的交换码包括 UTF-8、UTF-16、UTF-32等,当前编码空间共启用 17 个平面,共计 111 万多个码位,归类为大字符集编码,可以处理生僻字。GB 18030信息技术中文编码字符集是强制性国家标准,是我国自主研制的编码字符集标准,其编码空间中共有 161 万多个码位。在 GB/T13000 的码位空间内,GB 18030 的码位与 GB/T 13000 的码位一一映射,可以认为二者的表达能力是等价的。因此,GB18030 编码也归类为大字符集编码,能够处理生僻字。GB/T 2312信息交换用汉字编码字符集基本集仅收录了 6763 个汉字,无法处理生僻字,归类为小字符集编码。汉字扩展内码规范(GBK)不是标准,而是一个技术规范指导性文件。该文件已于 2000 年废止。GBK 编码收录 21003 个汉字,无法处理生僻字,应立即停止使用,并尽快升级为GB 18030编码或UTF-8、UTF-16、UTF-32等编码。4.2 码位的使用码位的使用对于 GB 18030 中已经收录的汉字,应当使用 GB 18030 中的码位(或GB/T 13000 中的对应码位),对于 GB 18030 中未收录,但 GB/T 13000(或ISO/IEC 10646)中已收录的字,应当使用 GB/T 13000(或 ISO/IEC 10646)信息技术生僻字处理指南(第一版)22中规定的码位。ISO/IEC 10646 中预留的码位(GB 18030 中已经占用的部分除外)是为未来增补字符使用,一般机构和个人不应占用。ISO/IEC 10646 和 GB 18030 中均定义了用户自定义区(私用区,PUA),按照标准规定,用户自定义区可以由最终用户使用。由于 PUA 使用的自由性导致互不兼容,PUA 码位的使用应严格遵循最小范围原则。任何需要与外部做信息交换的场景都不应使用PUA码位。对于GB 18030或ISO/IEC 10646中已经收录的 PUA 字,应尽快升级使用其对应的正式码位。对于暂时未被收录的 PUA 字,应根据本文档附件的要求向全国信息技术标准化技术委员会反馈,以期尽快收录至国家标准,详见附件:提交补充编码汉字的技术要求。当前 BMP 还有兼容区,除已被收录到 GB 18030 中的 12 个兼容区汉字以外,其他的兼容区汉字均不应使用。康熙部首区(U 2F00U 2FFF)和扩展部首区(U 2E80U 2EFF)的汉字或部件与一般汉字同形时,原则上应当使用一般汉字。信息技术生僻字处理指南(第一版)23第五章 信息处理产品支持生僻字指南5.1 通用要求通用要求5.1.1 编码字符集要求编码字符集要求由于 GB 18030 是强制性国家标准,也是我国现行有效的国家标准中收录中文字符最多的编码字符集标准。它与 ISO/IEC 10646 协同更新,其最新版本(包含修改单)收录了 ISO/IEC 10646 最新版本中的全部汉字,以及公安人口信息字库的汉字。因此,面向生僻字处理的软件产品应支持 GB 18030的实现级别 3。5.1.2 汉字字型要求汉字字型要求字汇范围字汇范围汉字的字汇范围应达到 GB 18030 实现级别 3 的要求。字形规范字形规范汉字字形应符合国家语言文字政策法规,并符合 GB/T 11460信息技术汉字字型要求和检测方法的要求。5.1.3 汉字输入要求汉字输入要求处理生僻字的汉字输入法产品,应能输入 GB 18030 实现级别 3 规定的所有字符,并符合相应的国家标准:a)数字键盘输入应符合 GB/T 18031 的规定;b)通用键盘输入应符合 GB/T 19246 的规定;c)手写输入应符合 GB/T 18790 的规定;d)语音输入应符合 GB/T 21023 的规定。5.2 系统软件系统软件信息技术生僻字处理指南(第一版)24除通用要求外,建议系统软件类产品满足如下要求。a)操作系统操作系统:至少提供一种可以编辑/浏览并打印按照 GB 18030 实现级别 3 的编码方式进行编码的文件的应用程序;提供支持 GB 18030 实现级别 3 中的字符打印的打印机驱动程序;至少提供一种符合 GB 18030 实现级别 3 部分相关字型标准的字库,可以是点阵字型、曲线字型或压缩字型,并可通过操作系统提供的字体解释引擎正常显示该字库中的图形字符;至少提供一种可以输入 GB 18030 实现级别 3 中所有字符的输入方法。b)数据库管理系统数据库管理系统:应能正确执行包含 GB 18030 实现级别 3 的编码字符的 SQL 脚本;产品在用户界面使用自带的专用字库时,该字库应符合 GB 18030 实现级别 3 部分相关字型标准的要求;产品在用户界面使用第三方字库时,应向用户提供明确的字库选用方法。当用户选用了符合 GB 18030 实现级别 3 部分相关字型标准要求的字库时,产品应能在所有功能界面正确显示字库中的图形字符;产品在用户交互中使用自带的专用输入法时,该输入法应能正确输入 GB18030 实现级别 3 内的所有字符;产品在用户交互中允许使用第三方输入法时,当用户选用了能正确输入GB 18030 实现级别 3 内的所有字符的输入法,产品应能在所有交互界面正确完成所有字符的输入。c)驱动程序:)驱动程序:面向具有图形字符打印、显示、存储等输出功能的设备的驱动程序,如打印机驱动程序、显示器驱动程序等,不应影响 GB 18030 实现级别 3中规定的编码字符的正确输出;面向具有编码字符传输、交换等功能的设备的驱动程序,如调制解调器、证件阅读器等,不应影响 GB 18030 实现级别 3 中规定的编码字符的正确传输、交换。信息技术生僻字处理指南(第一版)255.3 支撑软件支撑软件除通用要求外,建议支撑软件类产品分别满足如下要求。a)开发支撑软件:)开发支撑软件:带有编译功能的开发支撑软件类产品,应能正确完成对含有 GB 18030实现级别 3 编码字符数据的程序文件的编译。GB 18030 编码字符数据可以是变量的值、函数中的参数、程序中的注解等;产品在用户界面使用自带的专用字库时,该字库应符合 GB 18030 实现级别 3 部分相关字型标准的要求。产品在用户界面使用第三方字库时,应向用户提供明确的字库选用方法。当用户选用了符合 GB 18030 实现级别 3 部分相关字型标准要求的字库时,产品应能在所有功能界面正确显示字库中的图形字符;产品在用户交互时使用自带的专用输入法时,该输入法应能正确输入 GB18030 实现级别 3 内的所有字符;产品在用户交互时允许使用第三方输入法时,当用户选用了能正确输入GB 18030 实现级别 3 内的所有字符的输入法,产品应能在所有交互界面正确完成所有字符的输入。b)中间件)中间件:应能正确处理按照 GB 18030 实现级别 3 进行编码的输入数据,并产生正确的输出数据。c)浏览器、搜索引擎、虚拟化软件、大数据处理软件和人工智能软件)浏览器、搜索引擎、虚拟化软件、大数据处理软件和人工智能软件等等:产品在用户界面使用自带的专用字库时,该字库应符合 GB 18030 实现级别 3 部分相关字型标准的要求;产品在用户界面使用第三方字库时,应向用户提供明确的字库选用方法。当用户选用了符合 GB 18030 实现级别 3 部分相关字型标准要求的字库时,产品应能在所有功能界面正确显示字库中的图形字符;产品在用户交互时使用自带的专用输入法时,该输入法应能正确输入 GB18030 实现级别 3 内的所有字符;产品在用户交互时允许使用第三方输入法时,当用户选用了能正确输入信息技术生僻字处理指南(第一版)26GB 18030 实现级别 3 内的所有字符的输入法,产品应能在所有交互界面正确完成所有字符的输入。5.4 应用软件应用软件涉及生僻字信息处理的行业应用软件,应提供符合 GB 18030 实现级别3 要求的字库。此外,还应提供符合 GB 18030 要求的输入方式。信息技术生僻字处理指南(第一版)27第六章 信息处理系统建设改造指南6.1 通用原则通用原则涉及居民个人信息处理的服务机构在信息系统建设或存量系统改造过程中,为支持生僻字的处理,宜遵守以下原则。遵循标准遵循标准支持国家标准 GB 18030,并鼓励兼容 GB/T 13000 的相应编码,字符集以二者的最新版本为准,使信息链路的各环节都能支持大字符集处理,避免出现小字符集的瓶颈。易于扩展易于扩展使用可扩展和安全可控的技术框架和方案,便于提升系统服务效率和用户体验。经济适用经济适用以满足用户实际需要为基础,配置实用的字库、输入法、接口设备、输出设备等。兼容处理兼容处理尽可能兼容处理涉及民生的各类信息系统中的生僻字问题,提升用户体验。包容普惠包容普惠充分考虑农村与偏远地区居民、老年人、残疾人、少数民族等群体的需求,如手机 APP 等针对老年人群体提供大字号的版本等。接口统一接口统一非大字符集系统对超出支持范围的字符转义表示宜采用统一方案。6.2 各环节改造要求各环节改造要求6.2.1 输入输入6.2.1.1 应配备的输入法应配备的输入法/输入设备输入设备信息技术生僻字处理指南(第一版)28业务系统应配备符合第四章要求的输入法/输入设备。其中:a)PC 端应用应不限定输入法,允许使用拼音、笔画、字形等多种输入方法,宜优先配备支持生僻字的常规输入法。在市场上常规输入法产品无法满足应用需求时,应配置第三方软件形式的输入法、云输入法或 APP 内嵌输入法或提供其他指引(例如,从“姓名生僻字平台”上拷贝),以保证至少有一种方法可将生僻字录入到系统中;b)手机 APP、Pad APP、智慧柜台等触摸屏应用因无物理键盘,宜在输入焦点进入输入域后自动弹出系统默认输入法界面,在有多种输入法时允许用户切换。6.2.1.2 不同场景下的输入要求不同场景下的输入要求如下要求适用于不同场景和输入情形:a)针对客户临柜需使用实体身份证进行核验的场景,宜采用机具读入姓名等身份信息。若因风控限制手工输入姓名,也应考虑机具驱动程序缺陷、客户证件芯片编码错误等异常场景,提供经主管授权许可的补充手段;b)针对老年人等群体建议提供大字号的输入界面、手写识别输入、语言识别等多种便民方式;c)通过 OCR、语音识别、手写识别等方式输入的,应提供人工核对、修正功能;d)对于手机APP输入身份证信息的场景,建议增加利用客户手机端NFC功能读取身份证芯片信息到机构后端解密后自动导入的功能;e)对于支持输入法输入信息的字段,应支持复制粘贴的录入方式;f)部分少数民族同胞姓名中的间隔符应按照 关于在政府管理和社会公共服务信息系统中统一姓名采集应用规范的通知(民委发201633 号)要求的格式输入,统一用“”(GB 18030 编码 A1A4,对应 UCS 编码 U 00B7)。考虑到常用字符集中实心“点”字符有多个(如“”U 02D9、“”U 0387、“”U 1427、“”U 16EB、“”U 2022、“”U 2027、“”U 2219、“”U 22C5、“”U 2E31、“”U 30FB、“”U A78F、“”U FF0E、“”U FF65),宜在用户输入的前端检测少数民族姓名间隔符为非 U 00B7 的“点”时,自动转换成 U 00B7。信息技术生僻字处理指南(第一版)296.2.2 显示显示6.2.2.1 一般要求一般要求业务系统在汉字信息的显示方面的一般要求包括:a)能显示 GB 18030-2022 规定的全部汉字;b)鼓励参考 ISO/IEC 10646 最新版本覆盖新增汉字(目前是 CJK 扩充G、H 及其他 CJK 统一汉字区块尾部新增汉字等)。6.2.2.2 特殊情况的处理特殊情况的处理生僻字信息在显示时可能遇到的一些特殊情况及其处理方式列举如下:a)由于单个字型文件字形数量的限制,宜通过操作系统的字体回退机制或者应用软件自行实现字体回退机制实现生僻字的显示;b)由于一字多码和相似字形的客观存在,建议在姓名、地址等可能涉及生僻字的栏位旁边回显字符编码,以便在遇到疑难情形时可迅速判断问题成因;c)在必须显示 PUA 编码汉字的情况下:宜对 PUA 编码汉字字形与正式编码字形作出明显区分;对于身份证姓名的 PUA 编码生僻字,由于用户可能使用包含不兼容人口信息字库 PUA 编码生僻字的输入法输入,宜采用和公安人口信息字库兼容的字库予以显示,供用户确认,避免输入不兼容的 PUA 编码生僻字引发后续投诉。d)针对老年人等群体建议提供大字号的显示界面版本。6.2.3 打印打印6.2.3.1 不同类型的打印机生僻字处理方法不同类型的打印机生僻字处理方法通用打印机包括针式打印机、激光打印机和喷墨打印机等,不同类型打印机在处理生僻字时,可使用以下三种方法,见表 6-1。信息技术生僻字处理指南(第一版)30表 6-1 打印机生僻字处理方法实现方案实现方案实现方式实现方式适用范围适用范围优点优点缺点缺点文本图形混合方案a)在硬字库支持范围内,用文本打印模式。b)在硬字库支持范围外,由应用端程序转换成图片后再打印。带有硬字库的针式打印机,如存折打印机、宽行打印机等。a)免硬件升级。b)打印速度快。信息系统改造复杂。纯图形方案依赖操作系统的图形输出,打印机按照图形输出进行打印。日常办公类的非针式打印机,如激光打印机、喷墨打印机等。a)字库依赖操作系统,与打印机硬字库无关。b)信息系统改造方案简单,依赖打印机驱动即可对于传统串口、并口打印机速度较慢。纯文本方案升级存折打印机字库,字库支持 GB 18030 实现级别 3 的汉字。带硬字库的针式打印机,如存折打印机、宽行打印机等。打印速度快。需升级硬字库,后续升级困难。6.2.3.2 关于打印机字库的建议关于打印机字库的建议打印机是否能正确打印生僻字信息,与打印机内置字库和/或系统字库有关,建议服务机构:a)请生产厂商及时跟踪国家标准最新版本升级点阵打印机内置字库,实现对生僻字的支持;b)部分生僻字笔划较多,应避免采用过小的点阵字体导致因减笔划而造成有法律效应的打印件产生纠纷;c)在点阵字库不支持的情况下,也可通过图形打印的方式确保生僻字被正确打印;d)在需要使用程序来生成 OFD、PDF 等文件时,宜使用支持生僻字的字库,避免生僻字打印结果与客户信息不一致。6.2.4 信息交换信息交换6.2.4.1 一般要求一般要求业务系统在汉字信息交换方面的一般要求包括:a)原则上应支持 GB 18030 的汉字无损透传处理,同时兼容 ISO/IEC10646(一般用 UTF-8 编码);b)原使用 GBK 编码的报文及文件交换宜升级为 GB 18030 编码,同时信息技术生僻字处理指南(第一版)31兼容 ISO/IEC 10646(一般用 UTF-8 编码);c)转接系统在转接时,因输入、输出双方编码不同,需要做编码转换时,不应发生:丢弃某些字符或转成替代符“?”、“”等的有损转换;报文丢弃或报错的情况。6.2.4.2 特殊情况的处理特殊情况的处理生僻字信息在交换时可能遇到的一些特殊情况及其处理方式列举如下:a)如果原内部系统间接口为 GBK 或 EBCDIC CCSID 1388 等小字符集的编码,且改造成本过大,可以保留,此时可借助中间件或改用转义格式对生僻字进行表示和交换;b)如需要交换的信息包含 PUA 编码汉字,请求方宜采用生僻字的标准编码对 PUA 编码字符进行归一化处理;c)当柜面系统无法正常显示或打印生僻字时,宜在打印凭证的对应位置手写相应汉字,在备注字段可使用拆字等方式描述生僻字。d)对于“一字多码”的生僻字进行联网核查公民身份姓名信息时,宜:使业务系统支持一字多码互相认同的智能比较;对于当前系统未改造尚不支持处理生僻字的情况下,宜转人工处理,需要时可联系客户核实处理。6.2.4.3 应注意的要点应注意的要点针对生僻字的信息交换,还需注意如下技术要点:a)避免使用字段定长无分隔符格式报文或文件进行交换,因生僻字 GB18030 的 4 字节编码或转义格式可能引发字符数统计问题影响对齐截取。另外生僻字转义格式可能导致超长;b)若采用变长字段有分隔符格式报文或文件进行交换,应考虑分隔符的选取与业务报文内容的字节冲突问题:如“弢”字的 GBK/GB 18030 编码第2 字节是 16 进制的 0 x7C,与常用竖线分隔符“|”的编码一样。建议采用不可见字符如 0 x03 字符作为分隔符以避免冲突;c)对于 XML 报文或文件进行交换,需注意头部的 encoding 编码设置须与内容采用的编码一致,以免 XML 解析器解码错误(反例:头部的 encoding编码为 GBK,内容采用的编码为 GB 18030。);信息技术生僻字处理指南(第一版)32d)对于 JSON 报文或文件进行交换,需注意其默认使用 UTF-8 编码,而非 GB 18030 编码,且辅助平面字符可能采用 UTF-16“代理对”转义字符串表示,如生僻字 U 20164“?”(亩心)在 JSON 中被表示为可读字符串uD840uDD64,应检测所用报文解析器是否能正确解析处理;e)注意对于 UTF-8、UTF-16、UTF-32 编码以及 GB18030 编码的文件,宜检测文件开头是否存在 BOM 标记。若存在,通过 BOM 标记可识别文件的编码方式。某些操作系统自带文本编辑器保存时,会在文件开头自动加上BOM 标记,应用程序若不支持带 BOM 的文件,文件使用时往往会报错;f)以 FTP 方式交换文件不需要转码时,应设定为二进制(BIN)流方式;如需转码时,宜设定相应的编码集,以保证无损透传;g)使用邮件系统交换信息时,Base64 变换前的编码不宜使用 GBK 或GB2312(如“=?GBK?B?”或“=?GB2312?B?”),宜使用 UTF-8(即“=?utf-8?B?”开头)。6.2.5 内部处理内部处理关于生僻字信息的内部处理,部分要点可参见 5.2.4 节。需要另外注意的是:a)消除常见误区,汉字不全是 2 字节,非生僻字的 GBK 编码、UCS2 编码才是 2 字节,非生僻字和 CJK 扩充 A 区的生僻字这两部分的 UTF-8 编码是3 字节,其它大部分生僻字是 4 字节(GB 18030、UTF-8、UTF-16 编码)。因此,所用编程语言(包括 SQL)的字符串长度函数/方法得到的结果与字符数、字节数都可能存在差异,原生字符串截取的函数/方法有可能导致半个汉字的异常问题。因此,往往需要另行开发支持生僻字的函数/方法;b)为支持生僻字,所用编程语言的编译宜采用 Unicode 等模式,避免采用原先的 MBCS 等模式;c)考虑到姓名生僻字“一字多码”问题的长期存在,对于如开户客户或账户户名与收款人姓名等“姓名”字段字符串的实名制比对,不应采用所用编程语言的字符串比较函数/方法(如 C 语言的 strcmp()函数、Java 语言 String 类的equals()方法),宜另行开发支持“一字多码”姓名认同的函数/方法。信息技术生僻字处理指南(第一版)336.2.6 存储存储6.2.6.1 一般要求一般要求业务系统在汉字信息存储方面的一般要求包括:a)数据库存储和查询应支持 GB 18030,同时兼容 UTF-8 编码;b)文件存储宜采用 GB 18030,同时兼容 UTF-8 编码;c)在不能改变存量数据库字符集设置的情况下(如成本过高),如果存量数据库采用了 GBK 编码,那么对超出 GBK 范围的生僻字,宜在应用系统层面用转义格式编码后,再写入数据库。此时:从数据库读出数据时,宜将转义格式还原成汉字;转义格式宜基于易于还原、占用空间小的 UCS 编码;转义格式仅限在数据库内部使用,外部访问宜还原为接口标准编码,以保证透传、通用。6.2.6.2 其他注意要点其他注意要点在存储方面还应注意的要点有:a)字段设计应遵循关于在政府管理和社会公共服务信息系统中统一姓名采集应用规范的通知(民委发201633 号)要求,在信息系统设置中规定姓名数据项最大长度不少于 50 个字符(25 个汉字)1;b)考虑到转义格式可能会扩展原数据所需宽度,应特别注意字段长度设计;c)部分少数民族同胞姓名的间隔符宜按 5.2.1.2 的规范形式存储,不规范的旧数据宜定期迁移。6.2.6.3 常见数据库产品的处理要求常见数据库产品的处理要求对常见的几种数据库产品类型,分别列举其针对生僻字信息存储的要求(下文所列 MySQL、DB2、Oracle 均指数据库产品名称):MySQL 数据库数据库使用 MySQL 数据库时宜采用 5.5.3 以上版本,并将 UTF-8 的编码类型设置为 utf8mb4。注:utf8mb4 编码是 utf8mb3 编码的超集,兼容 utf8mb3 并且能够存储四字节1关于在政府管理和社会公共服务信息系统中统一姓名采集应用规范的通知(民委发201633 号)中提到的“字符”实应为“字节”,信息系统设置中规定姓名数据项最大长度应不少于 50 个字节。信息技术生僻字处理指南(第一版)34UTF-8 的字符。DB2 数据库数据库在大型主机系统中,CJK 扩充 B 区及以上扩充区、其他 CJK 统一汉字区块尾部新增汉字宜用转义格式处理;开放平台 DB2 数据库宜升级支持 GB 18030 或 UTF-8 编码。注:目前大型主机系统使用 EBCDIC CCSID 1388 编码,汉字使用双字节表示,支持至 CJK 扩充 A 区。Oracle 数据库数据库Oracle 数据库宜将字符集值设置成 AL32UTF8。注:目前 Oracle 数据库字符集默认值为 ZHS16GBK,仅支持 GBK 字符集。其他数据库其他数据库其他数据库宜使用 GB 18030、UTF-8 等支持全字符集的编码。信息技术生僻字处理指南(第一版)35第七章 组织和个人生僻字处理指南7.1 组织组织建议涉及居民个人信息处理的服务机构分别从技术管理角度和服务管理角度建立面向生僻字处理需求的相关机制。7.1.1 技术管理机制技术管理机制面向生僻字处理的技术管理机制包括但不限于如下两类。7.1.1.1 字符集管理字符集管理服务机构宜建立管理机制,管理本单位所开发、运营的信息系统及接口服务的字符集情况。7.1.1.2 生僻字专业技术团队生僻字专业技术团队服务机构宜设置生僻字专职人员或引入相关服务,负责设计和实施信息系统生僻字改造,在信息系统运营维护中提供专业技术支持,并负责开发生僻字处理技术操作手册供系统操作人员使用。7.1.2 服务管理机制服务管理机制面向生僻字处理的服务管理机制包括但不限于如下三类。7.1.2.1 设置服务点生僻字处理专员设置服务点生僻字处理专员建议有条件的服务机构在线下各省/市的一级服务网点/站点设置生僻字处理专员,该专员应熟悉生僻字有关知识,熟练使用生僻字处理手册,并积极配合生僻字客户办理业务。7.1.2.2 开展生僻字处理培训开展生僻字处理培训建议服务机构开展生僻字处理培训。培训内容包括但不限于编码字符集、中文字符处理、生僻字处理、业务操作中生僻字处理等。培训可由单位生僻字专业技术团队计划和开展,按需求定期向员工开展培训。7.1.2.3 建立生僻字专业知识库建立生僻字专业知识库建议服务机构将生僻字处理方法纳入知识库。定期收集、分析生僻字客户信息技术生僻字处理指南(第一版)36的投诉以及处理过程,形成常见问题案例及处理指南。知识库中的生僻字相关案例、信息在各服务机构间共享。7.2 个人用户个人用户个人用户遇到生僻字处理问题时,建议通过如下步骤逐步排查具体情况和定位问题:1)拼音输入法用户通过现代纸质辞书或线上辞书查找该生僻字的确切读音。如果辞书上已提供确切读音且尝试输入后得到需要的字,则问题解决;(注意不要随意拷贝线上辞书上用以显示的字头,可能会造成新的问题。)2)如果输入拼音不能得到需要的字或没有查到确切的拼音,可以尝试用笔画等输入法输入;3)在 https:/ PUA 码的汉字,拷贝到别的业务系统中,虽然可能无法显示,但由于编码无误,如果继续在业务系统中操作,很多情况下可以顺利办理业务;https:/zi.tools/的“组字”可以通过 IDS 检索到 GB/T 13000 所有已编码的字符,也包括部分尚未编码的条目(这部分不以字符的形式展现),若一般用户对专业的 IDS 不甚了解,也可以通过“搜字”进行简单查字;http:/ccamc.org/的 IDS 查询也提供 IDS 检索,该网站提供所有已编码字在 GB 18030-2022 中的码位。4)以上步骤均无法查到需要的字时,可先在“姓名生僻字处理平台”(https:/)的“户籍查字”栏目中点击“登记生僻字”按钮登记生僻字,也可根据本文档附件提交补充编码汉字的技术要求的要求提交至全国信标委,以期尽快在国家标准和国际标准中收录。信息技术生僻字处理指南(第一版)37第八章 测试评估8.1 信息处理产品的标准符合性测试信息处理产品的标准符合性测试8.1.1 编码字符集测试编码字符集测试8.1.1.1 测试方法测试方法1)基于标准中相应实现级别的规定制备测试样本数据;2)将样本数据输入至被测产品中;3)验证输入是否成功;4)执行产品后续功能,验证执行结果是否正常;5)验证执行结果的输出是否正常(如:屏幕显示、打印结果、存储结果等)。8.1.1.2 判定准则判定准则1)当产品具备由用户自行录入信息的功能时,产品应可通过自身提供或第三方提供的输入方式,正确输入标准中定义的所有图形字符,否则为不合格产品;2)当产品具备通过显示设备显示用户录入的相关信息时,产品应可通过自身提供或第三方提供的字库,正确显示标准中定义的所有图形字符,否则为不合格产品;3)当产品具备打印用户录入信息的功能时,产品应可通过自身提供或第三方提供的字库,使用自身提供或第三方提供的打印机驱动程序及打印设备,正确打印标准中定义的所有图形字符,否则为不合格产品;4)当产品具备将用户录入的信息存储为文件的功能时,存储完成后应能重新正确读取所有存储前的图形字符,否则为不合格产品;5)当产品具备数据导入或读取功能时,应能正确导入或读取以标准中定义的编码格式进行编码的所有图形字符数据,否则为不合格产品;6)当用户完成信息录入后,产品对数据执行内部处理(无须外部系统协作)时,应能正确返回预期结果,否则为不合格产品。信息技术生僻字处理指南(第一版)388.1.1.3 空码位的测试空码位的测试空码位是指编码字符集标准中,给出了编码但并未给出对应的图形字符的编码位置。空码位分为如下 2 种:1)用户自定义区(私用区,)用户自定义区(私用区,PUA)该类区域的编码空间在编码字符集标准中有明确的规定,这些编码空间是留给单机最终用户私有使用的,任何通用产品的开发、管理、运维方均不得占用,不得用于跨系统或跨机构信息交换领域。GB 18030-2022 规定的用户自定义区包括:双字节用户区:0 xAAA1 至 0 xAFFE、0 xF8A1 至 0 xFEFE、0 xA140 至0 xA77E 和 0 xA180 至 0 xA7A0 共 1894 个码位;四字节用户区:0 xFD308130 至 0 xFE39FE39 共 25200 个码位ISO/IEC 10646 规定的用户自定义区包括:BMP 平面的用户自定义区:U E000 至 U F8FF 共 6400 个码位;辅助用户自定义区:U F0000 至 U 10FFFF 共 131072 个码位。2)保留区)保留区该类区域的编码空间在编码字符集标准中有明确的规定,这些编码空间是留给标准化组织在未来的标准制修订过程中使用的,其他任何组织和个人均不得占用。如 GB 18030-2022 中明确规定:其他未占用的四字节码位为保留区,留待未来文件扩展使用。判定准则判定准则空码位对应的显示/打印结果,可以是下列三种形式之一,同时鼓励采用第三种形式:1)空白(占据一个字符位置)或 ISO/IEC 14496-22 中建议的形式;2)方框或带的方框(占据一个字符位置);3)显示在方框内的当前字符对应的编码(占据一个字符位置)。8.1.1.4 一字多码问题的测试一字多码问题的测试一字多码问题,是指在标准化过程中造成的下列情况:1)同一标准中同一图形字符出现在不同编码位置;2)存在编码映射关系的标准之间,因标准修订不同步,导致原映射关信息技术生僻字处理指南(第一版)39系变更至新码位;3)某些机构早期通过占用PUA对一批急用图形字符分配了自定义编码,导致这些字符与现行标准编码不一致。判定准则判定准则1)对于同一标准中出现在不同编码位置的同一字形,产品应在每个码位均实现该字形;2)对于原映射关系变更至新码位的字符,应采用现行有效标准的最新版中的定义,同时鼓励兼容原映射关系;3)对于占用 PUA 编码的字形,应尽快转换为对应的现行标准编码。暂时无法完成转换的,应提供辅助功能以保障信息交换、处理等功能正常实现。涉及与外部系统信息交换的,应提供与现行标准编码兼容的处理功能。8.1.1.5 对国际标准的支持对国际标准的支持生僻字处理相关的国际标准主要是指 ISO/IEC 10646。我国的国家标准GB/T 13000 等同采用了该标准,但由于标准化过程需要花费时间,所以 GB/T13000 的最新版通常滞后于 ISO/IEC 10646 的最新版。同时,GB 18030 与 ISO/IEC 10646 之间存在一一对应的码位映射关系,二者所收录的图形字符在码位上始终保持一致,但在收录时间上往往也会存在一些差别。因此,产品在符合 GB 18030 的基础上,对 ISO/IEC 10646 的支持程度是评估产品生僻字处理能力的一项重要补充。范围范围ISO/IEC 10646 旨在定义世界上曾经出现过的所有文字的图形字符,与生僻字处理相关的部分仅涉及一部分子集,主要包括 CJK 统一汉字子集及CJK 统一汉字诸扩充集(目前包括 CJK 统一汉字扩充 A 至 H)。对于信息处理产品生僻字处理能力的评估,应以这些子集为主。判定准则判定准则ISO/IEC 10646 标准符合性判定准则可参照 GB 18030 执行。8.1.2 字型测试字型测试产品涉及的字型,应符合 GB/T 11460 的要求,产品的检测按 GB/T 11460信息技术生僻字处理指南(第一版)40中的相关要求执行。适用于生僻字处理的字型产品,其字汇应至少达到 GB 18030-2022 实现级别 3 的要求。8.1.3 输入法测试输入法测试测试方法测试方法采用被测产品,逐字输入标准中定义的所有汉字字符;查看产品是否能正确完成所有字符的输入。判定准则判定准则用于生僻字处理的输入法产品,能输入的字汇应达到 GB 18030-2022 实现级别 3 的要求。除字汇外,输入法还应符合相关国家标准的要求。8.2 信息处理系统生僻字处理能力评估信息处理系统生僻字处理能力评估8.2.1 定义定义信息处理系统以一个或多个信息处理产品为基础,除提供这些产品所具备的功能外,还应提供保障这些产品在处理生僻字时仍能正常提供所有功能。涉及居民个人信息处理的信息系统的生僻字处理能力主要包括:1)标准符合性;2)易扩展性;3)经济适用性;4)兼容性;5)易用性;6)统一性。8.2.2 标准符合性标准符合性1)国家标准符合性;2)国际标准符合性。信息技术生僻字处理指南(第一版)418.2.3 易扩展性易扩展性1)技术方案是否可扩展;2)技术方案是否安全可控。8.2.4 经济适用性经济适用性1)完成升级改造所需的成本;2)推广使用所需的成本。8.2.5 兼容性兼容性1)是否能在多种操作系统环境下运行;2)是否能兼容常用的输入/输出设备;3)是否能与多种外部系统正确交换信息(如:电子邮件、各种格式的文档、即时通讯、数据库文件等);4)是否具备识别非标编码数据的功能;5)是否能兼容处理非标编码数据;6)是否具备将非标编码数据转换为标准编码数据的功能;7)是否具备“一字多码”问题的处理能力。8.2.6 易用性易用性1)为内部服务人员(如:柜员等)进行培训以达到提供该项服务的难度;2)为用户提供培训(如:在线帮助等)以使用户能够完成享受该项服务所必须执行的操作的难度;3)用户为享受该项服务必须对客户端(如:手机等)进行设置等操作的难度;4)充分考虑农村与偏远地区居民、老年人、残障人士、少数民族等群体的需求;5)当用户无法自行完成相关操作时,是否有渠道得到帮助;信息技术生僻字处理指南(第一版)426)帮助是否及时;7)帮助是否有效;8)用户通过帮助仍无法自行完成时,是否能通过应急渠道得到妥善处理。8.2.7 统一性统一性涉及现有标准中暂未收录的生僻字时,系统中不同模块所采用的解决方案应处处保持一致。8.3 服务机构业务生僻字处理能力评估服务机构业务生僻字处理能力评估8.3.1 定义定义机构的生僻字处理能力主要包括:1)技术管理机制2)服务管理机制8.3.2 技术管理机制技术管理机制1)是否制定了管理机制,明确本机构所提供的信息系统及接口服务所应达到的生僻字处理能力;2)是否制定了相关制度,明确本机构研发、运营的信息系统及接口服务在生僻字处理方面的采标要求;3)机构是否为生僻字处理配备了专业的标准化团队;4)机构是否为生僻字处理配备了专业的研发团队或引入技术支持与解决方案,技术团队是否具备足够的专业能力;5)机构是否为生僻字处理配备了专业的运维团队,运维团队是否具备专业能力以解决系统运营中出现的各种生僻字处理问题。8.3.3 服务管理机制服务管理机制1)机构是否提供了有效的生僻字处理渠道,例如设置了线下生僻字处理专员;信息技术生僻字处理指南(第一版)432)生僻字问题处理的熟练程度;3)机构是否制定了生僻字处理的相关制度或操作规程;4)机构是否建立了生僻字处理业务培训机制并提供足够的培训;5)机构是否建立了生僻字处理专业知识库,用以定期收集、分析生僻字客户的投诉以及处理过程,形成常见问题库及处理案例;6)机构能否通过行业间、产业间的相关生僻字信息共享平台,与其他外部机构建立互动。信息技术生僻字处理指南(第一版)44第九章 实用工具及资源9.1 对本章所列资源的说明对本章所列资源的说明本章提供的产品、工具相关内容由厂商提供,未经过第三方机构验证,请用户在选用时关注这些产品、工具的标准符合性程度。9.2 软件产品软件产品9.2.1 超大字符集字库超大字符集字库“国标国标”系列超大字符集字库系列超大字符集字库“国标”系列超大字符集字库是中国电子技术标准化研究院依据强制性国家标准 GB 18030-2022信息技术中文编码字符集开发的字型产品。研发过程中联合业界文字学专家和字形专家,开展了数万字的逐字考证、正形工作,确保字形的正确性和规范性。为我国汉字的信息技术应用提供字形范本,也为软硬件产品和字型产品的标准符合性检测提供字形依据。产品包括曲线字型和点阵字型产品两类:1)曲线字型曲线字型“国标宋体-超大字符集”曲线字库,当前版本包含 87887 个汉字,字体风格为宋体,支持 GB 18030-2022 的实现级别 3(全集),解决信息系统不能显示生僻字字形的问题。除宋体字型外,国标系列曲线字库还包含“国标黑体”“国标仿宋”“国标楷体”“国标小标宋”等字体风格,可支持 GB 18030-2022的实现级别 1 和 2,适用于党政公文/日常办公等应用场景。2)点阵字型点阵字型支持 GB 18030-2022 实现级别 3 的超大字符集国标点阵字型共有三款:1516 点阵、2424 点阵宋体和 4848 点阵宋体;同时还有从 1112 点阵到6464 点阵不等的多种规格点阵字型产品可支持 GB 18030-2022 实现级别 1和 2。信息技术生僻字处理指南(第一版)45方正超大字库方正超大字库方正超大字库是方正的一款经典产品。其第一版方正宋一体超大字库包含 7 万多汉字,是北大方正于 2002 年开发完成,并首家通过了由国家新闻出版总署、国家语言文字工作委员会全国印刷字体工作委员会联合主持的鉴定。方正超大字库最新版本包含 CJK 和康熙部首、包含国家标准 GB18030-2022信息技术中文编码字符集收录全部汉字 87887 个(CJK 统一汉字、CJK 统一汉字扩充 A、扩充 B、扩充 C、扩充 D、扩充 E、扩充 F),支持通用规范汉字表全部汉字。该产品开发之初北大方正邀请了多位文字学专家进行指导,对字库中的汉字进行了新笔形化,同时邀请多位字体设计专家对设计质量进行把关,保证字形、笔形规范、统一,符合国家语言文字工作委员会的标准。方正宋体超大字库同时也是 GB 18030-2022 标准文本的专用字库。该产品可以完美解决人名、地名缺字问题,解决专业辞书和古籍排印用字问题,已经在银行、邮电、保险、报业、信息传媒等行业得到广泛应用。汉仪中黑汉仪中黑 TS(汉仪)(汉仪)汉仪中黑 TS,是一款传统经典风格黑体,最新版本参考国家标准 GB18030-2022信息技术中文编码字符集,收录全部汉字 87887 个。该字库分为 P1、P2 两个字体文件:P1 部分覆盖 GB 18030-2022 实现级别 2,其中包括 CJK 基本区、CJK 扩充 A 共 27570 汉字和 196 个通用汉字规范表汉字,并包含非汉字部分康熙部首 214 个和 CJK 补充部首 14 个。P2 部分包括除级别二之外全部汉字共 60121 汉字,其中包括 CJK 扩充 B 区 42675 个、扩充 C 区 4105 个、扩充 D 区 214 个、扩充 E 区 5654 个、扩充 F 区 7473 个。两个文件之和符合 GB 18030-2022 实现级别 3。该字体字形以国家标准 GB/T 22321 字形为参考,笔画风格规范统一,视觉效果优质均衡。知春宋体与知春等线体系列知春宋体与知春等线体系列北京卓玛之裕科技有限公司的知春宋体字库,在 Unicode 15.0 发布的当天即实现对 CJK 统一汉字近 10 万字的全覆盖,全面支持强制性国家标准信息技术生僻字处理指南(第一版)46GB 18030-2022信息技术中文编码字符集实现级别 3 要求的 87887 个汉字,全面支持金融行业标准 JR/T 0253-2022金融服务生僻字处理指南中完整级汉字。知春宋体的精简版本曾提供给人民银行各地分支机构使用开展针对姓名生僻字的调研工作。知春等线体系列同样全部覆盖 CJK 统一汉字近 10 万字,目前提供超细、特细、细、微细、标准、微粗、中等粗、粗等共计 8 个不同字重的版本。遍黑体遍黑体这是一款在开源的思源黑体的基础上,进一步补充字数的字库,其设计风格沿用黑体,字形依据通用规范汉字表所规定的字形,更方便满足手机系统字库在我国使用上字数不足的问题,并在使用和再开发上维持开源和免费商用的特质。该字库分为两个字体文件,P1 包括扩充 A 区 49 个、扩充B 区 6743 个、扩充 C 区 4153 个、扩充 D 区 222 个(完整)、扩充 E 区 5762个(完整)、扩充 F 区 4868 个,P2 包括扩充 G 区 4939 个(完整)、扩充H 区 4192 个(完整)。该字库仍在发展中,日后还将紧贴 GB/T 13000 和GB 18030 的后续版本,继续增加新编码的字符。注:该字库在 PUA(用户自定义区)放置了大量汉字,机构用户使用之前应先将其中 PUA 区的字形删除,以符合 GB 18030 关于自定义区的要求。BabelStone Han这是一款由国际标准化组织和 Unicode 的参与专家开发的宋体风格的字库,其在文鼎科技的开源字体 AR PL SungtiL GB 的基础上发展而来,字形依据通用规范汉字表所规定的字形。该字库仅包含一个字体文件,是一款可免费商用的字库。其基本目标为覆盖 GB/T 13000(即国际标准 ISO/IEC10646)上明确为在中国使用的字符。汉字基本区包括 20992 个(完整)、扩充 A 区包括 4593 个、扩充 B 包括 14025 个、扩充 C 包括 2197 个、扩充D 区 222 个(完整)、扩充 E 区包括 3346 个、扩充 F 区包括 2975 个、扩充G 区包括 3019 个、扩充 H 区包括 2266 个。该字库更新频繁,日后还将紧贴GB/T 13000 和 GB 18030 的后续版本,继续增加新编码的字符。注:该字库在 PUA(用户自定义区)放置了大量汉字,机构用户使用之前应先将信息技术生僻字处理指南(第一版)47其中 PUA 区的字形删除,以符合 GB 18030 关于自定义区的要求。9.2.2 输入法输入法搜狗输入法搜狗输入法腾讯搜狗输入法支持 Windows、Linux、Android、iOS、鸿蒙、RTOS、嵌入式 SDK、云输入等全部系统的输入方案,客户端活跃用户量 6 亿 。2022年 11 月腾讯搜狗输入法发布“汉字守护计划”,率先发布支持 GB 18030-2022全量汉字的安卓、iOS 手机输入法。腾讯搜狗输入法在支持拼音、笔画、五笔、拆字、手写等输入方式基础上,为大字符集设计了专用的“生僻字键盘”。针对用户只识字形、不知读音的情况,腾讯搜狗输入法最新开发了“生僻字键盘”,通过“拆字”,实现笔画输入、拆分部首的拼音输入,以及部首拼音 笔画的混合输入 3 种便捷输入。卓码输入法系列卓码输入法系列卓码生僻字处理系列软件由中国科学院软件研究所和北京卓玛之裕科技有限公司合作研发,目前已实现对 Unicode 15.0 收录的全部近 10 万汉字(含扩充 G、扩充 H)的全覆盖,全面支持强制性国家标准 GB 18030-2022信息技术中文编码字符集实现级别三要求的 87887 汉字,全面支持金融行业标准 JR/T 0253-2022金融服务生僻字处理指南中完整级汉字。1)卓码输入法)卓码输入法卓码输入法支持 Windows XP/7/8/10/11、麒麟 Linux、统信 UOS、红旗Linux、方德桌面操作系统、macOS、Android、iOS、鸿蒙等操作系统平台,并针对使用 Windows 触摸屏的自助设备提供带软键盘的版本。卓码输入法支持拼音、拆字、笔画、五笔、Unicode 直录、人名地名生僻字专用码等多种录入方法。卓码输入法以拼音和拆字拼音为主的录入方式,最符合普通用户当前使用输入法的习惯,配合精心设计的录入提示,真正做到了录入生僻字零门槛。卓码输入法以创新的方式附带汉字属性小字典,将汉字的拼音、编码、IDS、通用规范汉字表中的分级和编号等一系列丰富的属性信息呈现给用户,给用户更多的用字指引。卓码输入法在解决生僻字录入问题的同时,兼顾日常使用的需要,收录信息技术生僻字处理指南(第一版)48了大量生僻字人名、地名词语、金融词汇。2)卓码生僻字显形工具软件)卓码生僻字显形工具软件在 Windows 平台上,与卓码输入法配套的卓码生僻字显形工具软件从操作系统底层解决生僻字的显示问题,能够让大量应用软件不需修改源代码绑定特定生僻字字库,在使用系统缺省字库的情况下即可显示生僻字,真正做到“无感显字”。同时,针对 PUA 区的监测可有效避用户有意或无意使用其他应用软件录入与二代身份证不兼容的 PUA 字。3)卓码查字)卓码查字在 Windows 操作系统上,还提供卓码查字软件,支持拼音、拼音 总笔画数、部首、部首 总笔画数、拆字、拆字拼音、五笔、Unicode 直录、笔画(拼音笔画)、笔画(数字笔画)等共计 10 种查字方法,可快速找到需要的生僻字。4)卓码云输入法)卓码云输入法面向 Web/H5、Android、iOS、小程序端,卓码还提供云输入法和云字库,支持拼音、拆字、拆字拼音、五笔、笔画等多种查字方法。并提供基于服务器端的重量级部署和纯移动端的轻量级部署两种方案。5)其他)其他除此之外,卓码还针对生僻字开发了卓码五笔输入法、适用于排队叫号机的生僻字补音组件(语音合成)、输入法生僻字支持能力自动检测软件等一系列产品。方正超大字库输入法方正超大字库输入法方正超大字库输入法最早是解决字典辞书类书籍出版时超大字库的输入问题,随着国家标准 GB 18030 不断扩充,方正紧跟国家标准持续迭代,目前方正超大字库输入法最新版本已支持 8 万多汉字的显示、录入,全面支持国家标准 GB 18030-2022 全部汉字 87887 个(CJK 统一汉字、CJK 统一汉字扩充 A、扩充 B、扩充 C、扩充 D、扩充 E、扩充 F)。该产品根据用户使用场景,提供了 Windows 平台、信创平台(统信、麒麟以及红旗)、云平台和移动平台(Android 和 iOS)等多平台输入解决方案,可以完美解决人名、地名生僻字输入问题。信息技术生僻字处理指南(第一版)491)Windows 平台输入解决方案平台输入解决方案Windows 平台提供独立的客户端程序,采用方正新典码输入技术,能直观地输入汉字,不需要记忆任何字根或编码,便于普通用户的学习和掌握。提供部首、笔顺和拼音三种相结合的检索方式,用户可以根据自己熟悉方式自由选择。该方案有效解决 Windows 平台超大字库字符的显示和录入问题。2)信创平台输入解决方案信创平台输入解决方案信创平台输入解决方案采用通用输入法架构,提供笔顺和全拼和拆分部件拼音三种检索方式。适配统信、麒麟和红旗操作系统。该方案有效解决信创平台超大字库字符的显示和输入问题。3)云平台云平台&移动平台输入解决方案移动平台输入解决方案云平台和移动平台采用 Web Font 技术,通过构造一个输入键盘,用户在键盘上点击笔顺信息(横竖撇点折),动态显示候选结果,筛选出目标生僻字,完成目标字符输入。该方案有效解决云平台和移动平台超大字库字符的显示和输入问题。该产品主要用于出版、政务以及公共服务等领域。百度输入法百度输入法百度输入法是百度推出的一款人工智能输入工具,支持拼音、五笔、手写、语音、笔画等多种输入方式,具备智能调频、智能联想、智能纠错、智能预测、智能混输等算法,依托百度十多年搜索经验积淀,实现词库丰富、出词精准、联想智能,给用户带来极致的输入效率和体验。百度输入法已实现全平台覆盖,支持 Windows、Linux、麒麟、UOS、中科方德、macOS、Android、iOS 等操作系统以及云输入法。在生僻字系统升级方面,百度输入法提供拼音、手写、拆字(例如:通过“日木”输入杲,通过“龙天”输入)、笔画等多种方式录入生僻字,通过智能匹配算法降低用户学习成本、轻松录入生僻字。百度输入法各个平台的产品以及云输入法均已支持生僻字录入,结合百度大字库以及一系列生僻字服务,可以为客户提供全场景的生僻字解决方案,助力企业信息化升级,保障公民数字生活权益。信息技术生僻字处理指南(第一版)509.3 相关工具相关工具9.3.1 字符转码工具字符转码工具1)iconv 是 Linux 平台经典的编码字符集转换工具,支持全球绝大多数的编码字符集。2)ICU 原是 IBM 开发的一个编码字符集转换工具和函数库,现由Unicode 维护,会及时跟进 ISO/IEC 10646 新版本,支持多种操作系统平台。3)Windows 平台上,MultiByteToWideChar 系列的 API 实现编码字符集之间的转换。4)Java 编程语言中,String 类的 getBytes 方法可以得到对应编码字符集的字节数据。5)Python 的字符串相关的 encode 和 decode 函数可实现编码字符集的转换。codecs 提供了对文件读写的自动编码转换功能。需要注意的是,GB 18030-2022 调整了个别码位与国际标准 ISO/IEC10646 的映射关系,各个编程语言尤其是低版本的函数库一般都未及时更新到与最新标准一致,有些库的编码转换功能对 GBK 编码的转换不支持自定义区的字。9.3.2 字符转义工具字符转义工具一般是相关的编程语言中提供 escape/encode/decode 之类的函数实现对字符的转义。针对生僻字的转义是在 GBK/EBCDIC 环境下存储生僻字而催生出的需求,目前有中信方案(中信银行)和招行方案(招商银行),中信方案是“Hxxxxx”,其中,连续的x表示5位UCS编码,招行方案是“U xxxx”或“U xxxxx”。中信的方案已经开源,招行方案由供应商实现。由于转义处理会增加字符串长度,在使用转义处理的系统中,需要考虑对定长报文和数据库栏位宽度的影响。9.3.3 公共组件公共组件字符编码诊断字符编码诊断信息技术生僻字处理指南(第一版)51“姓名生僻字处理平台”中的“编码转汉字”栏目提供汉字与编码互转功能。(https:/ HexDisplayer 下载,可在Windows 平台上实现汉字与 UCS 码的互相转换。“姓名生僻字处理平台”中的“藏宝阁”提供“码字互转”APP,可在 Android平台上实现汉字与 UCS 码的互相转换。字库环境诊断字库环境诊断“姓名生僻字处理平台”中的“设备文化程度检测”页面(链接:https:/ 名 生 僻 字 处 理 平 台”中 的“生 僻 字 样 例”页 面(链 接:https:/ CJK 各个编码区块的生僻字实例。9.4 论文文献论文文献1马良有:正则表达式作用于汉字姓名生僻字方法初探J.金融电子化,2021(10):54-56.2纪熙东、李言平:姓名生僻字的银行标准化实践和建议A.中国标准化协会、郑州市人民政府.第十六届中国标准化论坛论文集C.中国标准化协会、郑州市人民政府:中国标准化协会,2019:6.3艾卓码:姓名生僻字应用的困境与对策J.信息技术与标准化,2021(10):77-82.4杨健:一种基于编码转换的超 GBK 字符集解决方案J.长江信息通信,2022,35(06):209-211.5马征:银行信息系统生僻字问题探究J.金融发展研究,2021(02):88-89.6刘建军、杜晓、杨眉等:基础地理信息生僻字系统的设计与实现J.地理信息世界,2016,23(1):133-135.7李运富:论汉字数量的统计原则,郑州大学汉字文明研究中心(原载辞书研究2001 年第 1 期)8尉迟治平:再论中文汉字字符集J.语言研究,2020,40(01):78-89.信息技术生僻字处理指南(第一版)529保研险泡汤,不能让生僻字背锅J.发明与创新(大科技),2019(12):43.10范亚茹:文化传承视角下“生僻字”流行的再认识J.汉字文化,2019(18):38-39.11吴汉江:同音字替代:消除地名生僻字的有效途径J.中国地名,2017(09):21-22.12雷天戈:生僻字勾起多少文化记忆J.共产党员(河北),2016(08):47-48.13徐剑锋:生僻字考验职能部门服务意识N.西江日报,2015-08-06(F02).14王旭东、金敖生:一个生僻字险让企业停产N.浙江日报,2009-12-20(002).15丁芸:我国公民姓名用字中的生僻字分析J.现代商贸工业,2009,21(18):240-241.16许寿椿:汉字的技术性机械化时代和信息化时代的比较J.汉字文化,2009(02):80-84.17邱莉芹:关于人名用字中生僻字使用情况的调查与分析J.术语标准化与信息技术,2008(02):22-24.18郑燕萍:名字使用生僻字的文化动因J.汉字文化,2007(05):63-65.19尉迟治平、汤勤:论中文字符集、字库及输入法的研制J.语言研究,2006(03):63-66.20戎明昌、程佳凌、郑蕾:粤 19 生僻字地名要改名引发争论N.南方日报,2006-08-03(A06).21许寿椿:新世纪,呼唤汉字的完整解决方案J.汉字文化,2003(03):21-22.信息技术生僻字处理指南(第一版)53第十章 实施案例在信息系统生僻字处理和解决的问题上,地方政府、各级行业主管部门、行业应用单位以及软硬件研发生产厂商纷纷进行了积极的探索。本章征集了各类机构和单位在支持生僻字的升级改造方面所取得的经验,为未来计划开展信息系统生僻字治理的机构提供参考。根据不同的改造范围,将实施案例划分为四个类别,分别是:公共服务机构的系统内改造大规模跨系统的公共服务升级改造用字单位解决内部用字需求通用的软硬件产品/服务的升级改造下面按类别列举有关案例。10.1 公共服务机构的系统内改造案例公共服务机构的系统内改造案例 案例一:中信银行系统改造案例一:中信银行系统改造(一一)问题描述问题描述1)生僻字在业务处理层后端存储、链路传输的问题:2020 年之前,中信银行核心系统的主机使用 EBCDIC 编码,该编码字符集所收字汇相当于 GB18030-2000,不支持 CJK 扩充 B 及之后的汉字。若将数据库字段改为 UTF-8 编码以支持全字集汉字,则上层应用程序几乎都要修改,改造难度高,工作量巨大。此外,不少外围系统内部、系统间接口、数据库等仍在使用 GBK 编码,不支持生僻字,部分系