专场5.2-蚂蚁高性能图数据库TuGraph-DB技术思考及实践-洪春涛.pdf

1、蚂蚁大规模图计算系统TuGraph洪春涛 蚂蚁集团 图数据库负责人图是对事物的一种自然抽象公司信息表雇佣关系表项目信息表员工信息表好友关系表参项关系表好友受雇受雇受雇项目X员工C公司2员工A员工B公司1员工D员工E员工F图更擅长处理复杂关系公司信息表雇佣关系表项目信息表员工信息表好友关系表参项关系表好友受雇受雇受雇项目X员工C公司2员工A员工B公司1员工D员工E员工F业务查询需求关系数据库表达图数据库表达员工A的工龄在【员工表】中，查找：名为A的员工的工龄在图中找：名为A的员工顶点的工龄所有雇员数大于5的公司在【雇佣关系表】中，查找：所有记录数大于5的公司在图中找：“受雇”边大于5的公司顶点员

2、工A和C的所有直接关系在【员工表】中找A和C的ID，然后在【好友表】【项目表】【公司表】中找他们是否有关系在图中找：A到B的长度为1的路径员工A和E之间的所有关系（无法用简单逻辑表达）在图中找：A到E之间所有路径图更易理解，但更难被计算机执行5贴近人类思维更难被计算机执行贴近计算机表示容易被计算机执行好友受雇受雇受雇项目X员工C公司2员工A员工B公司1员工D员工E员工F公司信息表雇佣关系表项目信息表员工信息表好友关系表参项关系表图抽象：一种更高级的抽象模式6贴近人类思维需要更多系统优化图抽象高级编程语言贴近计算机表示容易被计算机执行表抽象低级编程语言图计算：未来的数据处理方式7汇编CPytho

3、n表计算图计算数据抽象的层次必然越来越高计算机硬件性能指数提升软件持续优化蚂蚁集团需要处理大量关联图数据数十万亿数字支付总量数千亿用户信贷额数百亿中小企业信贷额数亿支付宝月活用户数User AUser BNoodle StopWifi DeviceiPadApple Store转账使用连接连接销售支付支付Supply归属User C互动蚂蚁集团对图计算系统有很大需求 100TB数据量万亿级点边规模百万每秒吞吐率 20ms低延时优惠券欺诈行为构成一个5跳回路用户 1用户 2信用卡用户 3店铺转账￥2000支付￥2100使用拥有家人图计算系统需要解决大量难题需求多样从实时到近线到离线查询数据量大一

4、次查询可能涉及百万到千万点边通信量大跨节点的边造成大量通信ACM-SIGMODVLDB数据库领域国际顶级会议IPDPS并行与分布式计算领域国际顶级会议计算机领域最高学术奖项Gordon Bell Finalist 操作系统领域国际顶级会议OSDI/SOSPUSENIX ATCEuroSysSIGMOD 2021RisGraph:A Real-Time Streaming System forVLDB 2020 LiveGraph:A Transactional Graph Storage System VLDB 2020 ShenTu:Processing Multi-TrillionSC 2

5、018 Gordon Bell Finalist Scalable Graph Traversal on Sunway TaihuLightOSDI 2016 Gemini:A Computation-Centric Distributed Graph USENIX ATC 2015 GridGraph:Large Scale Graph Processing.EuroSys 2014Chronos:A Graph Engine for Temporal Graph发表顶会论文、软著、发明专利超百项共建行业标准与生态12ISO/IEC 39075:Graph Query LanguageISO

6、/IEC JTC1 SC32，蚂蚁做为国内核心参与者（国内唯一）多项提案被接纳信息技术 图数据库系统技术要求全国信息技术标准化技术委员会，蚂蚁牵头图数据库白皮书中国信息通信研究院&大数据技术标准推进委员会，蚂蚁核心提案大数据 图数据库技术要求与测试方法中国通信标准化协会，蚂蚁核心提案金融IT基础设施 存储应用实施指南全国金融标准化技术委员会，蚂蚁牵头，已立项，已完成标准草案国际标准国家标准国际组织LDBC FinBench金融图数据库测试标准LDBC（Linked Data Benchmark Council）组织，蚂蚁牵头10+家国内外厂商参与行业标准LDBC Extended GQL Sc