王成军：云Hbase数据库在亿方云实践之路（14页）.pdf

1、云Hbase数据库在亿方云实践之路亿方云科技CTO王成军个人简介：王成军（剑魔）亿方云科技 合伙人&首席技术官20112013 IBM 企业智能技术商业化研究与咨询20052011 阿里&淘宝 技术专家亿方云数据架构Hbase实践亿方云Hbase演进随手可得的智能计算2 3 4 51内容PAAS研发文档管理供应链数据资料共享APISDK账号体系标准组件数据安全存储搜索预览编辑权限应用共享网盘统一内容平台知识归档Windows网络存储交付文档系统技术文档系统OA文档供应商资料库本地硬盘QQ群共享百度网盘邮件系统企业个人文件管理现状X XX XX X企业文件的管理100w+适合我们的技术选型？亿+

2、存储维度动态可变，字段随意增加 容量和性能可动态弹性伸缩，支持PB以上数据 分布式与高可用的底层架构，自动拆解分表路由 丰富的生态圈和活跃的社区支持1000w+日文件状态500w+日增文件日增统计日增日志已有文件性能扩展管理成本需要处理的数据客户端推送文件跨企业协作文件夹动态文件流量统计权限模型源数据层（脱敏）基础数据层（轻聚合）数据集市（打宽）HDFSSQOOP数据存储分析数据装载数据应用用户行为操作日志WEB日志文件流量日志后台服务日志流量日志账号注册信息数据探索套餐售卖数据计算文件列表页数据服务层（高聚合）FLUME用户群组GreenPlum交互查询文件增、删、改、分享、协作、预览第三方

3、数据智能计算交互查询数据平台架构 场景一：跨区域间文件外部协作WEB数据应用数据收集MQ引擎计算Xman数据加工Prophet数据分析Prophet同步任务异步任务搜索生成2生成1获取1获取2数据量大，业务场景简单，无交叉列、交叉表，事务，连接等背景业务难点方案适用性核心数据Mysql集群存储，不同库之间基于企业维度进行拆分建立，单独的库负责记录metadata映射信息企业与企业协作办公场景下可共享文件资源（新建、上传、复制、全文检索）等并相互可见跨库访问其他企业分库的文件/文件夹数据，文件、文件夹都是上亿级别的数据，在Mysql数据库做id到分库的索引不现实Hbase存储一张映射表，负责存储

4、全局信息路由到分库的策略，文件信息索引存储在hbase，数据库（主库，路由库）负责存储企业到分库的索引 场景二：文件实时消息推送异步任务ListenWrite数据收集MQ任务处理Processor消息推送Realtime消息推送RealtimeWEB上传下载鉴权背景业务难点方案适用性实现云端与同步端文件实时同步增、删、改、查任何客户端文件变动需同步至云端平台，其他终端设备接入后接收来自云端的最新信息将文件更新为最新状态。保持事务的时间序列数据量大，同步信息以json形式存储，需要批量集中获取数据根据业务需求存用户设备信息、用户设备的推送队列和文件变动信息。数据量大，查询简单，半结构化数据，可识别属性少ECS主从同步HRegionServerHRegionServerHRegionServerSynchronous CallSynchronous CallSynchronous CallHTableHTableHTableSlaveClusterSlaveClusterSlaveClusterHLogMaster Cluster云Hbase监控自动化容灾演练亿方云Hbase演进之路专业高效节能专注云Hbase风控信息计算相关度计算文件元数据亿方云Hbase应用ing