封神：HBase产品体系架构及特性解析（30页）.pdf

1、阿里云HBase产品体系架构及特性解析阿里云高级技术专家封神HBase在大数据中的价值应用场景产品特性产品架构后续计划2 3 4 51目录HBase在大数据中的价值HBase在大数据中的价值关系型数据库MySQL解决中小数据库存储需求！分库分表解决一定容量需求，实现复杂，业务需感知！分布式存储HBase分布式存储，支持海量存储，高百万级并发！不支持事物等数据库传统需求！HBase支持实时更新、增量导入、多维删除、随机查询、范围查询、高伸缩、高可用、高可靠、高性能、高适应在线分布式NOSQL数据库。分库分表数据量GBPB数据库技术发展成本一般需要特殊硬件成本较高！QPS无法满足较高的并发要求，性

2、能不能横向扩展！分析计算资源有限，不能满足分析类需求！容量QPS成本分析容量无法满足TB、PB级别的数据存储需求！传统关系型数据库面对的问题写吞吐高不受SSD随机写入放大干扰离线导入效率巨高高性能、高可靠性自动分区Spark on HbasePhoenix、KylinHadoop生态存储无限满足TB、PB级存储需求LSM-Tree增加QPS可以满足分析需求HDFS共建存储空间无限分区自动分裂分区在线Merge新型数据库面对的办法阿里云HBase架构产品架构基于VM的架构共享存储VMos_diskVMos_diskdata_diskdata_disk模式模式优势优势劣势劣势客户推荐客户推荐HBa

3、se基于共享存储HBase on OSS存储计算分离延迟稍微高一些稳定性一般历史归档HBase基于HDFSHDFS基于共享存储存储计算分离副本数为1、可用性一般副本数为2、单位成本高小客户首选HBase基于HDFSHDFS基于本地磁盘稳定性高延迟低单位成本低起步高，灵活性差不可存储计算分离大客户首选SATA高于20TSSD高于4T基本架构存储成本下降7 700%00%本地盘架构云盘基于共享存储产品层网络层中间件HBase存储层运维服务运维能力SQL 二级索引多语言支持接入层数据上云 CDP 物联网CloudDBADMS控制台云监控Ali-HDFS共享存储OSS运维部署全链路监控资源调度Robo

4、t自动运维devops平台物理机/ECS供应链管理容灾切换容器编排帐号售卖计费支付全量/增量备份防闪断热升级异地灾备&多活实例克隆链路安全秒级监控机房下线弹性伸缩库存管理资源隔离稀疏宽表、实时更新、增量导入、随机,范围查询、多维删除多版本动态列数据TTL强一致Ali-HBase高可用自动分区水平扩展一键迁移阿瑟白名单隔离Classic|VPCDNSAKUser基本架构产品层网络层SQL 二级索引多语言支持接入层数据上云 CDP 物联网CloudDBADMS控制台云监控Ali-HDFS共享存储OSS运维部署全链路监控资源调度Robot自动运维devops平台物理机/ECS供应链管理容灾切换容器编

5、排帐号售卖计费支付全量/增量备份防闪断热升级异地灾备&多活实例克隆链路安全秒级监控机房下线弹性伸缩库存管理资源隔离稀疏宽表、实时更新、增量导入、随机,范围查询、多维删除多版本动态列数据TTL强一致Ali-HBase高可用自动分区水平扩展一键迁移阿瑟白名单隔离Classic|VPCDNSAKUser提供上云方案、安全服务、公网访问、监控指标报警、方案支持等一站的DBaas服务基本架构数据上云 CDP 物联网CloudDBADMS控制台云监控Ali-HDFS共享存储OSS运维部署全链路监控资源调度Robot自动运维devops平台物理机/ECS供应链管理容灾切换容器编排帐号售卖计费支付全量/增量备

6、份防闪断热升级异地灾备&多活实例克隆链路安全秒级监控机房下线弹性伸缩库存管理资源隔离白名单隔离Classic|VPCDNSAKUserApsaraDBApsaraDB-HBaseHBase 内核是基于社区HBase1.1版本打造，目前在阿里集团内部有数千业务使用，万台机器的规模，在性能、稳定性、功能方案均有提升及改进，在历年双十一均有考验。中间件HBaseSQL 二级索引多语言支持稀疏宽表、实时更新、增量导入、随机,范围查询、多维删除多版本动态列数据TTL强一致Ali-HBase高可用自动分区水平扩展一键迁移阿瑟基本架构数据上云 CDP 物联网CloudDBADMS控制台云监控运维部署全链路监