专场17.4-Databend 基于对象存储构建实时云原生数仓-张雁飞.pdf

1、DatabendA modern warehouse with Rust for your massive-scale analyticshttps:/ and Data Warehouse OLTPHigh concurrencyLow latencyRow-orientedResource isolation?Duplicate data?Row+Column-orientedComplex queryQuery speedColumn-orientedMySQL etc.ClickHouse etc.HTAPOLAP大数据分析遇到了什么”新”问题？传统数仓为什么无法解决这些“新”问题？新

2、一代实时弹性数仓如何设计？使用 Rust 从 0 到 1 研发一款数仓是种什么体验？大大纲纲Bohu TANG(张雁飞)Co-Creator of Databend:https:/ and MySQL(TokuDB)重度贡献者Database Kernel|Distributed Database|Data Warehousehttps:/bohutang.me/当今当今(2022)大数据新大数据新问题问题 01 全球数据指数全球数据指数级级增增长长1024PB=1EB,1024EB=1ZB大数据量下的资源利用率问题,50%物理资源常驻问题大数据分析，波峰、波谷问题当今大数据新当今大数据新问题

3、问题 1大数据量下的存储成本问题PB 级数据，每月存储成本百万美金！当今大数据新当今大数据新问题问题 2大数据量下的计算成本问题对扫描数据量要求非常高，容易破产当今大数据新当今大数据新问题问题 3大数据量下的数据平台复杂度越来越高当今大数据新当今大数据新问题问题 4(From a16z)传统传统数数仓仓架构架构 vs.弹弹性数性数仓仓架构架构 02Shared-Nothing 存储、计算一体资源控制粒度粗8CPU*16G8CPU*16G8CPU*16GStorage 1TBStorage 1TBStorage 1TB传统传统数数仓仓架构架构Shared-Nothing 存储、计算一体资源控制粒

4、度粗传统传统数数仓仓架构架构8CPU*16G8CPU*16G8CPU*16G8CPU*16GStorage 1TBStorage 1TBStorage 1TBStorage 1TB传统传统数数仓仓架构架构Shared-Nothing-弱弹性 存储、计算一体-弱弹性资源控制粒度粗-成本高成本(高)=Resource*TimeShared-Storage(Amazon S3,Azure Blob)真正存储、计算分离 实时弹性扩容和缩容资源控制粒度细8CPU*16GReporting4CPU*8GLoading2CPU*4GDashboard 新一代新一代弹弹性数性数仓仓架构架构AWS S3,Azu

5、re Blob，Google GCS,阿里云 OSS，腾讯云 COS，华为云 OBS，IPFS Shared-Storage(Amazon S3,Azure Blob)真正存储、计算分离 实时弹性扩容和缩容资源控制粒度细8CPU*16GReporting4CPU*8GLoading2CPU*4GDashboard 2CPU*4GDev Scale(in seconds)AWS S3,Azure Blob，Google GCS,阿里云 OSS，腾讯云 COS，华为云 OBS，IPFS 新一代新一代弹弹性数性数仓仓架构架构Shared-Storage(Amazon S3,Azure Blob)真正

6、存储、计算分离 实时弹性扩容和缩容资源控制粒度细8CPU*16GReporting2CPU*4GDashboard 2CPU*4GDev 4CPU*8GLoadingAuto suspend(in seconds)Scale(in seconds)AWS S3,Azure Blob，Google GCS,阿里云 OSS，腾讯云 COS，华为云 OBS，IPFS 新一代新一代弹弹性数性数仓仓架构架构Shared-Storage(Amazon S3,Azure Blob)-高弹性真正存储、计算分离-高弹性实时弹性扩容和缩容-高弹性资源控制粒度细-成本低成本(低)=Resource*Time新一代新