2024DataFun论坛_中信证券陈辉华_对外分享PPT.pdf

《2024DataFun论坛_中信证券陈辉华_对外分享PPT.pdf》由会员分享，可在线阅读，更多相关《2024DataFun论坛_中信证券陈辉华_对外分享PPT.pdf（21页珍藏版）》请在三个皮匠报告上搜索。

1、主办单位：DataFun论坛项 目 背 景项 目 背 景 解 决 问 题解 决 问 题缺乏统一资源和权限管理缺乏统一管理需求计算资源限制4个内核不满足高可用需求计算资源限制及不满足高可用只能部署单实例不支持多实例需求Neo4j 3.5.1社区版问题20182018年始，中信证券基于年始，中信证券基于Neo4jNeo4j社区版构建各类应用，遇到了以上问题社区版构建各类应用，遇到了以上问题20212021年，随着应用激增，满足企业级的建设需要，采购一站式图谱管理平台年，随着应用激增，满足企业级的建设需要，采购一站式图谱管理平台20212021年年，中信证券基于星环科技分布式图数据库StellarD

2、B和知识图谱SophonKG，打造了全新的企业级知识图谱平台项 目 背 景项 目 背 景 投 入 和 成 效投 入 和 成 效该平台具备百亿级别的大规模分布式图计算能力，拥有丰富的可视化效果和API接入能力，搭建端到端全流程图机器学习框架，支撑集团画像、科创板关联发现等1010余个余个金融应用场景。平台实现了一站式运维管理、调度管理和权限管理等，满足高可用要求要求，性能也提升了数倍数倍，在金控报送方面节省时间成本约30%30%平台相关发明专利授权4 4项项，外部奖项1010项项，论文发表5 5篇篇，软著3 3项项项目背景项目背景实 现 方 案实 现 方 案S t e l l a r D BS

3、t e l l a r D B大数据通用组件大数据通用组件接口层接口层JDBCJDBCpythonpythonRESTful APIRESTful API路径分析算法路径分析算法图谱图谱分享分享 知识图谱平台知识图谱平台APIAPI调试调试APIAPI上线上线APIAPI监控监控大数据平台大数据平台工商数据工商数据客户库客户库业务业务数据数据境外数据境外数据另类数据另类数据非结构非结构数据数据社区划分算法社区划分算法深度图算法深度图算法 图计算平台图计算平台分布式图计算引擎分布式图计算引擎分布式图存储层分布式图存储层实时图查询实时图查询OpenCypherOpenCypher离线算法分析离线算

4、法分析数据压缩数据压缩数据分区数据分区数据索引数据索引图图事务事务多多模存储模存储数据采集数据采集图谱构建图谱构建图谱图谱计算计算图谱应用图谱应用数据存储数据存储APIAPI封装封装图谱图谱管理管理图谱图谱发布发布图谱图谱查询查询任务任务调度调度企业图谱企业图谱产业链产业链图谱图谱风险事件报告风险事件报告投研图谱投研图谱反洗钱图谱反洗钱图谱稽核图谱稽核图谱元数据图谱元数据图谱集团客户画像集团客户画像科创板关联发现科创板关联发现连环担保连环担保ETF推荐推荐实 现 方 案实 现 方 案项目分两个关键时段两个关键时段 20212021年年1212月月，中信证券基于图数据库StellarDB和知识图

5、谱SophonKG重构重构了企业图谱及相关应用。知识图谱平台的图存储技术为自研KV存储，存储设计按照属性图模型设计。满足TB级存储需求。在图数据库服务的顶层，还提供了丰富的接口，如Java，Python，RESTful API等，方便自定义开发。重构了企业图谱及集团客户画像，风险事件报告，科创版关联发现以及联机分析等十余个应用 20232023年年6 6月月，中信证券完成了知识图谱平台的扩容，并基于StellarDB 5.0进行了架构升级架构升级。解决方案为搭建图谱独特的HTAP架构，实现统一图存储服务和多套计算引擎资源物理隔离，满足图计算和图查询任务的不同资源需要；在集群中部署1套图存储服务

6、和3套Quark计算引擎服务，多个Quark之间可以共享元信息。构建一种基于图结构数据的端到端全流程图机器学习框架，其底层与图数据库紧密对接，以实现高效的数据读写和查询过滤等预处理工作的下推采用多节点多节点HAHA方式，提供高可用服务使用RaftRaft协议协议，提供秒级副本切换服务通过Kubenetes实现故障自故障自动恢复动恢复根据DAG执行计划，重试丢重试丢失失/出错任务出错任务在计算引擎侧引入local+clusterlocal+cluster混合计算模式混合计算模式策略策略，自如应对实时和离线分析原生分布式图数据库原生分布式图数据库，拥有处理百亿级图数据的能力搭建搭建HTAPHTAP