【对外】【中移磐维数据库】中国移动磐维OLAP数据库架构分享和应用实践-脱敏版.pdf

《【对外】【中移磐维数据库】中国移动磐维OLAP数据库架构分享和应用实践-脱敏版.pdf》由会员分享，可在线阅读，更多相关《【对外】【中移磐维数据库】中国移动磐维OLAP数据库架构分享和应用实践-脱敏版.pdf（15页珍藏版）》请在三个皮匠报告上搜索。

1、王小玉数据库架构师中国移动磐维OLAP数据库架构分享和应用实践产品架构01目录 CONTENTS关键技术02场景案例03全域数据管理全视角数据分析产品架构中国移动大数据平台发展历程中国移动大数据资源禀赋全覆盖9.9亿+移动客户2.98亿+家庭宽带客户2430万+政企客户全方位通信支出社交上网位置时序身份终端全时空10亿+物联网卡5 5.5 5P PB B 日采集量2 22 2万万+每日作业数6 65 50 0+P PB B 累计高价值数据存储8 8.4 4万万+大数据节点挖掘建模数据探索BI/报表OceanStor Pacific开放数据格式多协议融合NFS|SMB|S3|HDFS|STREA

2、MS 挖掘建模数据探索BI/报表NFS|SMB|S3|HDFS|STREAMS 敏态业务稳态业务云化应用传统应用ETL数据仓库挖掘建模BI/报表分布式存储数据探索AI数据仓库挖掘建模BI/报表数据探索AI数据共享解决成本、扩展性问题解决数据孤岛、数据搬迁问题解决数据跨云协同、跨云管理问题数据湖存储统一存储底座分布式存储ETLAI结构化/半结构化/非结构化结构化/半构化结构化结构化结构化/非结构化结构化/半结构化/非结构化S3|HDFSS3|HDFS统一元数据授权|隐私HDFS|对象|文件|块HDFS|对象|文件|块数据访问加速AI数据智能分级中国移动大数据平台演进统一存储，湖仓融合湖仓并存，存

3、算分离湖仓并存，存算一体云原生数据湖底座，一湖多云磐维OLAP数据库磐维OLAP数据库是中国移动信息技术中心基于 Greenplum 自主研发的分布式分析型数据库产品。具备云原生、高并发、高性能、多模检索等特性，可帮助企业用户快速构建支撑全域数据管理，实现全视角数据分析的云原生数据仓库。基础设施X86海光鲲鹏飞腾元数据服务分布式事务系统表管理开放访问Hive对接高时延高并发大数据生态场景传统数仓实时数仓扩展性接口UDTUDO规则系统UDAFUDF接口层JDBCODBCSQL计算层火山执行器全文检索向量检索存储层定制化hudi orc原生hudi orc桶索引HMS接口hudi rest接口ic

4、eberg rest接口移动云华为云腾讯云阿里云BGWUDI数据科学数据立方体PG/GP生态PL/SQLPL/PythonPL/Javalibpgpsqlinformation_shema客户端辅助工具主键索引图检索物化视图空间计算向量执行器ste执行器bypass路径聚合模型算子混编icebergHDFS外表在线DDL湖仓融合多模检索数据共享FDWSPIHTAP存储技术架构基础设施层生态开放兼容性强国产操作系统国产芯片/服务器IaaSIaaS对象存储自研分布式存储数据格式（Row、Parquet、Text、CSV、ORC）数据存储层自主研发安全可控数据计算层VCVCVC架构领先性能卓越Mas

5、terMasterMaster负载均衡访问接入层云原生云中立磐维OLAP数据库采用采用存算分离架构，实现了存算分离、服务和计算节点无状态的弹性扩展、多个异构存储同时接入、跨存储联合查询；在性能方面，通过内核优化实现了向量化执行引擎、C+原生HDFS接入、数据缓存、算子下推等技术；在生态方面，可以支持多种云基础设施，并支持云化、虚拟机、物理机等多种部署方式，成功适配多款国产服务器及操作系统。云原生、高性能关键技术全栈云原生设计 存储层 Virtual Storage Cluster(VSC)数 据Hive VSC数 据S3 VSC 数 据HDFS VSC数 据自研HTAP存储 VSC 计算集群V

6、C 实例计计算算节节点点计计算算节节点点VC 实例计计算算节节点点计计算算节节点点计算层 Virtual Compute Cluster(VC)计算集群VC 实例计计算算节节点点计计算算节节点点VC 实例计计算算节节点点计计算算节节点点计计算算节节点点计计算算节节点点计计算算节节点点计计算算节节点点 基础设施层IaaS物理机虚拟机容器公有云私有云 主节点容容错错服服务务资资源源管管理理解解析析器器调调度度器器优优化化器器分分析析器器事事务务管管理理权权限限安安全全主节点服务层 Main Node主节点主节点负载均衡元 数 据Catalog存储磐维OLAP数据库服务、计算和存储均可按需弹性扩展，