胡月军-分布式Data Warebase-加速企业数据智能化.pdf

《胡月军-分布式Data Warebase-加速企业数据智能化.pdf》由会员分享，可在线阅读，更多相关《胡月军-分布式Data Warebase-加速企业数据智能化.pdf（28页珍藏版）》请在三个皮匠报告上搜索。

1、分布式Data Warebase-加速企业数据智能化ProtonBase 技术VP/胡月军目录0101 /企业数字化背景和趋势企业数字化背景和趋势0202 /Why Data Warebase?/Why Data Warebase?0303 /Data/Data WarebaseWarebase 系统架构系统架构0404 /Data Warebase/Data Warebase 关键技术关键技术05/05/企业私域数据智能化探索企业私域数据智能化探索企业数据资产的DIKW模型用于预测、决策并符合价值观的知识智慧智慧有上下文、可被解释的信息知识知识建模后的数据信息信息基本经营的数字化表征数据数据

2、结结构构化化技术实现价值挖掘抽抽象象数据处理历程智能化智能化规模化规模化信息化信息化一个招猎业务的数据架构向量数据库语义搜索语义搜索简单查询简单查询简单查询简单查询应用应用应用服务应用服务增量同步CDCCDC关键词搜索关键词搜索对象存储快照快照全量同步全量同步分析分析BI工具全量同步增量同步关键词搜索关键词搜索语义搜索语义搜索汇总分析汇总分析简单查询简单查询增量同步上述数据架构的弊端 数据不一致数据不一致开发效率低开发效率低成本不可控成本不可控运维复杂运维复杂 系统稳定性差系统稳定性差 数据延迟数据延迟 开发门槛高开发门槛高开发视角开发视角运维视角运维视角业务视角业务视角分布式 Data Wa

3、rebase 所有数据所有数据结构化数据半结构化数据非结构化数据所有场景所有场景关键词搜索语义搜索汇总分析简单查询极简体验极简体验统一的数据存储兼容已有生态隔离统一的API自适应挑战极限挑战极限性能正确实时不是发明不是发明 而是发现而是发现DataData WarebaseWarebase Data Warehouse+Database数据开发的新范式分析分析增量同步BIBI工具工具语义搜索语义搜索CDC简单查询简单查询简单查询简单查询应用应用CDCCDC快照快照全量同步对象存储关键词搜索关键词搜索应用服务应用服务应用应用应用服务应用服务简单查询简单查询关键字搜索关键字搜索语义搜索语义搜索分析

4、分析BIBI工具工具向量数据库全量同步全量同步增量同步增量同步分布式分布式Data Data WarebaseWarebase总体系统架构Device(IoT)IDCEvent DataCloud Storage(S3)NoSQL(MongoDB)Log DataCloudCloudServicesServicesDataIntegrationManagementObservabilitySecurityBillingCentralized Centralized StorageStorageCloudCloudAlibabaTencentHuaweiAWSAzureMulti-Cluster

5、Multi-ClusterComputeComputeWarebaseWarebaseWarebaseAI/MLReal-Time DecisionSearchBI/AnalyticsBusiness AppMySQL/PostgreSQLTeleportTeleport关键技术关键技术多种存储格式高性能多场景查询高性能数据操作高性能分布式事务存算分离自适应多云架构丰富的索引多种数据提升开发运维效率所有数据所有数据多云原生多云原生所有场景所有场景 挑战极限挑战极限极简体验极简体验分层存储兼容 PostgreSQL 生态无限扩展负载隔离安全可信全托管多云多云存算分离存算分离Multi-Clust

6、erMulti-ClusterComputeComputeCloud StorageCloud StorageWarebaseWarebase B BUnit 2 WarebaseWarebase A AUnit 1 Unit 3Unit 1 Centralized Centralized StorageStorageWarebaseWarebase 一个虚拟化的计算集群 由基于容器化的多个 Units 组成 Units 可以快速增减 无需拷贝数据，新扩 Units 可立刻服务DatabaseDatabase 数据存储的逻辑单元 数据存储在EBS，S3等