刘勋 Gravitino助力TBDS架构升级.pdf

《刘勋 Gravitino助力TBDS架构升级.pdf》由会员分享，可在线阅读，更多相关《刘勋 Gravitino助力TBDS架构升级.pdf（25页珍藏版）》请在三个皮匠报告上搜索。

1、演讲嘉宾：周海发&刘勋1TBDS 架构升级2统一元数据湖腾讯云TBDS产品形态1 套TBDS平台统一 2 种产品形态TBDS（Tencent Big Data Suite）是基于腾讯多年大数据实践，面向数据全生命周期，对外提供的安全、可靠、易用的一站式、高性能、企业级大数据平台。基础设施服务器产品说明经典大数据平台基于传统Hadoop技术生态构建具备开箱即用、极致性能、安全稳定等特性技术架构SparkFlinkYarnTrinoImpalaKafkaESHDFS容器采用全新Lakehouse数据架构设计存算按需伸缩新老架构可丝滑演进全新一代大数据平台基于云原生+大数据+AI技术生态构建具备稳定

2、易用、极致弹性、湖仓一体等特性多类型工作负载虚拟计算虚拟计算虚拟计算虚拟计算统一元数据开放表格式存储（iceberg，hudi）TBDS全新一代云湖仓产品架构，类数仓体验开放敏捷兼容自主软硬件生态，遵循开放标准，架构敏捷灵活，易扩展混合负载实时离线一体化，计算隔离无干扰，减少数据移动集约成本存算按需伸缩，智能调优，使用与维护成本低弹性伸缩云原生架构设计，极致弹性入湖 存储计算开发作业管理全面统一基于Lakehouse数据架构打造的类数仓体验的全场景湖仓产品，具备计算隔离、存算按需、智能调优等高级特性，通过统一元数据支持多厂商异构数据平台互访，实现数据零搬迁，降低用户整体使用成本。工具计算存储H

3、DFSCOSOpen Table Format：Iceberg，Hudi 云湖仓计算缓存加速&物化视图WeData腾讯云BI探索分析T I-ONE集成全场景数据集成DataInLong虚拟计算虚拟计算虚拟计算虚拟计算公共统一元数据统一权限安全新老架构演进面临的挑战存算一体架构资源分配固定，难以适应多样化、高变业务需求，长期运营导致资源利用不均，影响客户对未来业务变化的应对能力数据孤岛致数据共享难，创新协同受限，导致无法全面准确地掌握业务全貌，从而制约企业数据价值挖掘与创新发展池化向云化演进时面临利用率低、管理复杂等问题，需通过统一管理和动态调配提升效率，简化资源使用实时分析离线分析交互分析实时

4、分析离线分析交互分析存算一体云原生存算分离Data LakeDWFilesMQHiveMetastoreBuilt-inCatalogFilesetManagementSchemaRegistryData LakeDWFilesMQUnified Catalog数据孤岛统一数据视图yarnQueue租户2Queue租户1租户3QueueyarnQueue资源组2Queue资源组1资源组4VCVC资源组3k8s统一资源池存算一体-存算分离数据孤岛-统一数据视图资源池化-云化资源池计算插件化存储多样化存算按需伸缩统一元数据统一安全存储调优全托管统一资源管理在离线混部动态自动伸缩存算分离架构：存算独

5、立扩展，成本效益最大化存算按需伸缩，高度弹性存算故障域相互隔离计算层无状态，扩容时无需数据重分布支持数据共享，无需搬迁计算引擎支持多版本，方便升级与回滚不锁定组件和厂商，计算插件化，存储多样化，支持多厂商Hadoop数据系统和对象存储基于对象存储原生实现分布式文件系统，兼容 POSIX、HDFS 和 S3 协议提供统一的元数据服务和存储缓存加速机制计算层HiveTCHouseTrinoFlinkSpark存储层腾讯云COSA 厂商对象存储B 厂商对象存储统一存储加速层分布式文件系统 兼容 POSIX、HDFS 和 S3 协议Logical Data Lake公共层Metadata Servic

6、e支持多厂商Hadoop数据系统和对象存储，兼容客户现有投资多种因素带来的数据孤岛挑战带来的挑战决策信息不完整缺乏统一的数据视图，导致没有全面的决策依据，错失商业机会资源浪费基础设施重复建设和重复投入，增加企业运营成本合规风险数据分散和不统一管理可能导致数据不一致、数据泄露等风险影响合规阻碍业务创新发展限制企业内部数据的流通与共享，阻碍数据价值最大化组织壁垒技术壁垒安全壁垒管理壁垒DataSilosBusinessIntelligenceDataWarehouseStreamingAnalyticsDataScience/AIDataOrchestrationCSPCSPCSP直管与托管模式的