1-1 阿里云大数据成本优化实践.pdf

1、阿里云大数据成本优化应用实践杨祎 阿里云产品解决方案架构师|01阿里云大数据成本优化方案02增效篇：云上大数据与开源对比03降本篇：数据平台与引擎降本04云原生一体化数仓成本优化案例目录CONTENT|阿里云大数据成本优化方案云原生一体化数仓01|造一个大数据平台，我们首选Hadoop开源组件？Hadoop生态的纷繁芜杂Hadoop生态组件发展日新月异，带来巨大的集成、运维、迭代更新的挑战|推积木式发展技术栈过于复杂，组件众多（常用20+），学习成本高，集成难度大，运维挑战多Hadoop组件发展一览表：常见的基于Hadoop构建大数据平台体系要什么加什么，有什么用什么，按下葫芦浮起瓢|架构复杂

2、、数据同步难、资源消耗大、数据孤岛、缺乏治理工具、人才培养难、学习及开发成本高、不敏捷Spark逃离复杂性，拥抱云原生Gartner云计算技术成熟度曲线报告：云原生架构使得更多企业收益|技术萌芽期期望膨胀期泡沫破裂谷底期 稳步爬升复苏期生产成熟期云计算得益于其敏捷、资源弹性等优势，已被越来越多的企业采纳，并选择云服务形态作为主要计算模型。而云原生技术（Cloud Native）为大数据平台提供更好的计算和存储资源弹性，实现数据快速上云便捷分析（只关注业务逻辑实现），帮助企业增效降本。|阿里云的最佳实践，拥抱云原生一体化数仓，加速企业数据上云提升数据分析效率！阿里云大数据成本优化方案：云原生一体

3、化数据仓库全托管的数据与分析解决方案，可简化平台运维、管理投入，提升面向业务的服务能力，加速价值实现|DataHub数据总线运营看板数据大屏MaxCompute离线数仓服务分析Hologres实时数仓实时计算Flink版OSS/DLF 数据湖在线应用DataWorks 数据综合治理离线实时一体湖仓一体分析服务一体云原生一体化数仓是集阿里云大数据产品MaxCompute、DataWorks、Hologres、实时计算Flink版四种产品能力于一体的一站式大数据处理平台。技术上通过离线实时一体、分析服务一体、湖仓一体和全链路数据治理架构实现成本更低，速度更快，性能更好，运维更简单。离线实时一体以M

4、axCompute和Hologres为核心的从N到1极简架构，提供离线实时一体化海量云数仓服务；MaxCompute和Hologres 10X性能高速原生互访，深度集成；MaxCompute发布EB级海量云数仓的快速查询能力。湖仓一体持续提升易用的湖仓开发体验；新增非结构化数据的湖仓管理能力；广泛支持开源生态对接。分析服务一体数仓实时化、敏捷化、在线化、一体化趋势明显；一个平台上、一份数据实现灵活探索式分析和高并发在线应用查询，同时实现良好的资源隔离和可用性；减少数据割裂，减少数据移动，统一数据服务出口。全链路数据治理 面向业务视角自顶向下进行数仓规范建模；问题驱动的可持续数据治理与企业数据治

5、理成效评估；DataWorks开放平台全新升级。增效篇：云上大数据与开源对比02|开箱即用云原生/免运维开箱即用弹性与性能随意弹性性能与成本的平衡完整工具全链路开发治理工具经历阿里巴巴集团十二年打磨企业级安全金融级平台安全能力各类风险识别模型云原生一体化数仓增效四大要点云原生一体化数仓VS开源组件方案|DataWorks：全链路数据开发与治理平台MaxComputeHologres离线实时一体化数仓云上开箱即用，简单便捷上下适配，运维复杂MaxCompute弹性与性能|简单、易用匹配业务发展的弹性扩展Hadoop数仓MPP数仓EMRMaxComputeDataWorks数据仓库（Data Wa

6、rehouse）面向数仓优化高性能存储、计算多服务预集成、标准SQL，开发简单企业级服务-内建完善的管理和安全能力服务化（As a Service）Serverless、免运维按量付费、不用不花钱自动升级(y)?(x)?0(y)?(x)?1000cu0?1000cu3000cu?动态扩缩容，无需提前容量规划，满足突发业务增长存储-计算独立扩展，无扩展性限制业务增长性能不降级多分析场景支持机器学习机器学习数据湖分析数据湖分析传统数仓传统数仓近实时数仓近实时数仓ETL:SQL+UDFBI:查询加速、MC-HologresPAI原生集成内置Spark MLMars科学计算SQL外表联邦查询非结构化数