跨多云大数据平台DataCake.pdf

1、Big Data:A Piece of Cake我们是谁？茄科技（SHAREit Group）作为第批出海的全球化互联科技公司，持续践全球化发展战略，主要从事移动互联软件研发、全球移动告解决案、跨境付解决案等互联服务业务SHAREit数据：服务 SHAREit 业务，同时将技术能和场景理解产品化，赋能外部客户使命与愿景使命：让数据易如反掌愿景：让企业拥有低槛低成本的案，落实数据法论，快速试错，获得竞争优势DATACAKE1背景&挑战Background&Challenges数据平台发展处于云原生的发展早期【传统数仓时代】【IDC内构建Hadoop数仓】【云数仓和数据湖】OracleGreenp

2、lumTeradataHadoopHiveFlinkPrestoSparkSnowflakeDatabricksEMR目前常见的使用方式只是把Hadoop搬到云上，没有发挥云的特点技术负责人掌控数据能力面临巨大挑战？数据零乱o“业务数据化容易，但如何变“废”为宝，让数据业务化”o”大数据成本居高不下，每个任务和数据业务都说有用“业务负责人？响应慢周期长o“业务团队的数据需求，总是要提给数据技术团队，等排期开发，周期长”o“实现工作目标需要学习很多工具，有些都记不住“数据分析师/科学家？任务乱成本高o“业务团队快速试错，带来的数仓 ETL 任务快速膨胀，任务，表快速增长，权限混乱“o“大数据架构

3、复杂，云产品复杂”数据无法发挥价值数据治理无从下手70%的企业没有效的数据架构84%的管理员不相信数据的价值66%的数据是没有被利的数据来源：hbr.org,MIT2解决案Solutions一站式自助化数据平台：DataCake湖仓一体架构Data Lakehouse湖仓一体，博采众长的统一方案跨多云Serverless 计算集群，满足Adhoc/Streaming/Batch 多场景查询自助式大数据应用Self-Serve Platform提供低门槛的大数据应用数据分析：SQL 查询数据库/仓库/湖数仓开发：非开发人员，借助模板构建 Data PipelineBI&报表：自定义报表与丰富可视

4、化智能数据治理与安全Data Governance&Security简单又强大的管理和治理平台账单：任务级多维度成本账单数据治理：智能辅助治理权限：数据和产品权限与审计数据分析Data Analysis数仓开发Data Warehousing数据湖仓 Data LakehouseDataCake数据治理DataGovernance一站式，自助化数据平台BI&报表BI&Report统一数据目录 Unified Data Catalog成本中心Cost Center权限中心Auth Center管 理 Admin特征仓库Feature Store统一的数据管理Unified Data Catalo

5、g促分享、保质量的元数据管理通过数据注册让数据资产化，孤岛体系化，构造数据资产目录统一的数据管理、发现完善的数据质量监控跨多云Serverless Lakehouse（JDBC,Restful API）GatewayDatacakeConsoleMulti Cloud IaaSSparkTrinoFlinkAthenaBigQueryTable Format（Parquet,CSV,JSON,）CatalogHUETableauOthersSQLJarAdminPlatformMeta计算入口统一的计算入口，对接多种应用和计算引擎支持不同的应用场景和应用支持多种开源引擎和云商引擎智能选择最佳计

6、算引擎管理入口平台信息、数据目录管理控制台云资源管理、部署集群、资源优化跨云、跨源数据管理和权限管理架构Input&Output无服务计算Serverless无需关注引擎，开箱即用，用完即走覆盖不同计算场景Adhoc/Streaming/Batch高效的集群、水平、垂直扩缩多云/混合云Multi/Hybrid Cloud为跨不同云商提供统一交互充分利用不同云商的优势避免 vendor lock-in89%的公司采多云策略3案实现Implementations极简数据分析 一个入口，触达全局统一语法查询多源数据Database/Data Warehouse/DataLake 数据分析与数据协作S