基于图数据库的知识图谱存储技术及实践.pdf

1、基于图数据库的知识图谱存储技术及实践周研 创邻科技CTO|01RDF 和属性图02图数据库存储的03图数据库存储的04Galaxybase图数据库目录目录 CONTENTCONTENT|核心目标主流方案应用实践RDF 和属性图01|关联是不可逆的趋势|信息联通：Internet设备联通：IoT关系联通：微信、微博、抖音、快手商业日益纵深整合关联分析的场景|社交网络：精准营销、好友推荐、舆情追踪。金融：信用卡反欺诈、资金流向识别。电信：电信防骚扰、电信防诈骗。制造：供应链管理、物流优化、产品溯源。零售：用户360、商品实时推荐、反薅羊毛。政企：道路规划、智能交通、疫情精准防控。电力：电网调度仿真

2、、故障分析、电碳因子计算。网络安全：攻击溯源、调用链分析。RDF与属性图|RDF Graph点表示唯一标识的资源，或者字面量的值边表示谓词，构成SPO三元组Property Graph点表示实体边表示关系属性是点或边上的键值对RDF与属性图的对比|RDF的优势支持多值属性可使用四元组实现动态图存在统一的标准属性图的优势两点之间同类型的多条边边上的属性值支持复杂类型的属性，如List、Set、Map图数据库存储的核心目标02|图查询的核心语义|图的核心操作：邻居的迭代遍历关系型数据库：依赖外键、建立索引图数据库：直接存储边数据 Index Free Adjacency写入时：保证一个点和它直接相

3、连的边总是存储在一起查询时：迭代遍历一个点的所有邻居可以直接进行，而不需要依赖其他数据结构深链查询性能对比|关联跳数关系型数据库查询时间 （单位：秒，不加索引）关系型数据库查询时间 （单位：秒，加索引）Galaxybase图数据库查询时间 （单位：秒）20.6930.3470.00832.7542.0670.0264138.72137.610.0695超过1小时超过1小时0.109数据规模：7.5万点，50万边，who-trust-whom数据集http:/snap.stanford.edu/data/soc-Epinions1.html1000倍图数据库的分类|图数据库存储 的主流方案03|

4、使用数组存储|点ID(A)META点属性a1点属性a2点属性a3点属性a4点文件 边文件 每条边起始点ID(A)边A1边A2边A3边A4边A5起始点ID(N)边N1边N2边N3边N4边N5终止点ID(B)META边属性nb1边属性nb2点ID(N)META点属性n1点属性n2点属性n3点属性n4使用数组存储：处理变长|点ID(A)META点属性a2点属性a3点属性a5点文件 边文件 每条边起始点ID(A)边A1边A2边A3边A4边A5起始点ID(N)边N1边N2边N3边N4终止点ID(B)META边属性nb1边属性nb2边属性nb3点ID(N)META点属性n1点属性n2点属性n3点属性n4使

5、用链表存储|点文件边文件边META起始点ID终止点ID起始点下一条边ID终止点下一条边ID点AMETA首个边ID首个点属性ID点NMETA首个边ID首个点属性ID边 META起始点ID终止点ID起始点下一条边ID终止点下一条边ID使用链表存储：迭代边|点文件边文件边META起始点A终止点B起始点下一条边终止点下一条边ID点AMETA首个边首个点属性ID边 META起始点C终止点A起始点下一条边ID终止点下一条边边META起始点A终止点DNULL终止点下一条边ID使用LSM树存储|LSM树的特性KV存储顺序写盘多层结构写请求内存.MemTableImmutable MemTable磁盘 .SST

6、ableSSTableLevel 0SSTableSSTableLevel 1SSTableSSTableLevel NSSTable读请求使用LSM树存储：设计Key|关键点：合理地设计边的Key，使一个点的所有边在排序后是相邻的难点：1.读性能2.Compaction的影响3.依赖第三方存储起始点IDMETA编号终止点IDTYPE起始点ID例1例2优化之路|数组链表LSM树优势读取速度快灵活性高写入速度快分区分片事务反向边索引数据过期 副本WALGalaxybase图数据