专场6.2-Hubble Ai-native数据库存储之列存-乔旺龙.pdf

1、Hubble Ai-Natve数据库混合存储之列存乔旺龙+天云数据+分布式平台负责人Hubble数据库架构图逻辑计划图应用图表达图数据存储索引逻辑PageRank社团分析广度优先搜索（BFS）关联性分析深度优先搜索（DFS）最短路径相似性发现随机游走接口层管理接口TinkerPop接口GremlinSQL逻辑计划JDBC接口管理接口库表管理权限管理系统管理事务管理分片管理服务管理SQL解析JDBC服务资源管理Web管理服务客户端混合计算框架混合存储存储层(Storage)存储/索引引擎(Storage Engine)分片(Shard)分片(Shard)分片(Shard)分片(Shard)存储层

2、(Storage)存储/索引引擎(Storage Engine)分片(Shard)分片(Shard)分片(Shard)分片(Shard)存储层(Storage)存储/索引引擎(Storage Engine)分片(Shard)分片(Shard)分片(Shard)分片(Shard)执行器(Execution)数据扫描(条件下压)内存计算任务管理执行器(Execution)数据扫描(条件下压)内存计算任务管理执行器(Execution)数据扫描(条件下压)内存计算任务管理混合资源管理资源管理AP/TP任务分配资源告警资源收集资源池资源分配资源管理AP/TP任务分配资源告警资源收集资源池资源分配资源管

3、理AP/TP任务分配资源告警资源收集资源池资源分配逻辑计划融合-图逻辑计划融合实现数据结构映射 图的存储结构映射到Hubble的存储层 图的索引结构映射Hubble的索引 通过SQL可以查看图的底层数据多源异构图结构 图的节点、边、属性等映射为数据库的表和字段等 图的数据可以供给Hubble的计算层 通过SQL可以方便的访问图的数据，且可以把结构化数据转换为图的数据结构支撑图算法 用Hubble的计算引擎支撑图的算法 在统一的组件中实现图的AP、TP操作 图算法计算结果可以直接在图库中表达兼容Gremlin 延续用户使用图数据库习惯 Gremlin中扩展SQL表达，可以同时操作结构化数据和图结

4、构数据数据复用 在实际应用中，没有必要把全部的数据加载到图库中 因为图结构和数据库结构为一体的所以图的数据直接调用数据库中的数据 图结构更适合高维的表达，数据库结构更适合表结构数据实现互补混合存储混合存储数据映射数据映射多源异构图数据库逻辑SQL接口接口ThinkerPop API-Gremlin混合计算引擎混合计算引擎嵌入接口服务供数分析任务读取数据管理管理API存取数据用户用户数据转换名称名称中文中文描述描述Dataspace数据空间是一个分布式空间，通常一张表对应一个dataspace，一个dataspace对应多个Shard，dataspace可以是独占的存储空间也可以是非独占空间。E

5、xclusivespace独占空间是dataspace的一种，可以通过dataspace中的一个属性来描述，通常这个空间会在磁盘上有独占的存储目录，与其他空间是物理隔离的，独占空间包含多个shard，所有的shard属于同一个dataspace，属于同一张表。Non-exclusivespace非独占空间是dataspace的一种，可以通过dataspace中的一个属性来描述，会与其他非独占空间的dataspace共用磁盘目录，通过逻辑来隔离，非独占空间会包含多个shard，多个shard可能属于多个dataspace，属于多张表。Diskstorage磁盘存储1个diskstorage指的就

6、是一个磁盘目录，也就是一个存储的实例。磁盘Diskstorage1（目录1）Diskstorage2（目录2）Diskstorage N（目录N）服务器磁盘1Diskstorage1（目录1）Diskstorage2（目录2）DiskstorageN（目录N）磁盘2Diskstorage1（目录1）Diskstorage2（目录2）DiskstorageN（目录N）磁盘NDiskstorage1（目录1）Diskstorage2（目录2）DiskstorageN（目录N）DiskstorageShard1（规则1）Shard2（规则2）Shard N（规则N）存储样例服务器1磁盘1Diskst