04-阿里云峰会-南仙（14页）.pdf

《04-阿里云峰会-南仙（14页）.pdf》由会员分享，可在线阅读，更多相关《04-阿里云峰会-南仙（14页）.pdf（14页珍藏版）》请在三个皮匠报告上搜索。

1、南仙阿里云智能高级技术专家AnalyticDBAnalyticDB for for MySQLMySQL：PBPB级云数仓核心技术和场景解析潘岳（南仙）BigDataBigData已是昨日黄花，已是昨日黄花，FastDataFastData才是未来才是未来股价41%寻求买家Fast+OnlineFullDataRealtimeDataLarge-scale(On demand)RealtimeComputingAnalyticDBTSDBData LakeAnalyticsAnalyticDB for MySQL介绍：PB级实时数据仓库云原生实时按需极致弹性存储从GB至100PB计算节点从3台

2、到2000台混合负载完备的企业级特性备份/恢复/Flashback/回收站审计/白名单/自建账号/VPC跨AZ/跨Region(On-going)兼容&超越MySQL全面兼容MySQL生态ANSI SQL:2013 复杂分析支持TPC-DS性能全球第一非结构化与结构化融合分析全面支持非结构化数据的存储、检索、碰撞比对、融合分析5+向量数据类型，5+向量检索算法极致性价比驱动数据价值在线化千亿/万亿 多表关联分析 毫秒级异构加速的MPP+DAG 融合分布式执行引擎存储计算分离架构，智能化行列混存实现极速检索10Xvs Spark世界级认可1stAnalyticDB核心技术:分层存储+存储计算分离

3、架构 带来极致弹性和开放性AnalyticDB核心技术-智能的“行列混存+全索引”带来极致性能任意任意条件组合组合过滤检索大幅筛选候选集 明细查询的所有列 多维分析的列裁剪和压缩兼备兼备SELECT.WHERE(NAME=BobAND SEX!=female AND(CITY=Hangzhou OR CITY=Shanghai)OR(JSON_EXTACT(ATTR,time)0OR ANN(VEC,1,1,1,1,2)“NAME”Inverted index“SEX”Bitmap index“CITY”DictionaryJSON/Vector index1,31,3,5,7,9NAME:b

4、obSEX:NOT femaleCITY:hangzhouCITY:shanghai2,31,4JSON_EXTACTANN1,21,31,31,2,3,41,2,7Row Ids 1,2,3,7INTERSECTUNIONINTERSECTUNIONUNION2,7AnalyticDB核心技术：一个系统一套存储兼顾多种场景明细查询1000+列 超宽表半结构化、大字段(JSON/ARRAY等)多维分析任意列Join复杂长计算任务、ETL实时查询和写入实时写入和更新600+万记录/秒 写入10000+QPS 行列混存(Hybrid Store)行列混存、Block过滤智能全索引混合负载管理(Hy

5、brid Workload)CPU/Mem/Net/IO高并发低延迟/复杂ETL融合计算引擎(Hybrid MPP+DAG)大规模分布式执行Autonomous OptimizerAnalyticDB for MySQL：典型场景和客户价值10000+表数目100T+数据量任意纬度筛选10+百亿大表Join数量120万+条/秒峰值写入50+QPS10张以上百亿大表Join5000+QPS明细查询Oracle RACMySQL ShardingAnalyticDBAPPQuickBI1000+QPS600万/秒100亿/天10亿/天某云客户200+node/5PB10+App.Dataworks

6、DTSDataVDataworksKettleDTSDataworks价值关键词价值关键词平台统一无需维护离线在线混合复杂架构性能大幅提升提升3-10 x分析实时化T+1 实时兼容性不错迁移和接入比较快Data Lake Analytics：全域数据、开放分析无需迁移即可统一分析全域数据RDMS 5+(MySQL/Oracle/)Hadoop 4+(ORC/Parquet/)NoSQL 3+（MongoDB/）OSS/DBS/SLS/.智能探测,开箱即用Metadata 自动识别SQL查询时动态生成Metadata