MaxCompute半结构化数据思考与创新.pdf

1、MaxCompute半结构化数据思考与创新周宇睿阿里云高级技术专家Contents目录01半结构化数据模型简析02传统方案优劣对比03MaxCompute思考与实践04收益分析关系模型大行其道IBM发布DB2树状模型与图模型占据主流The Great Debate移动互联网的普及海量数据处理半结构化模型进入主流视野Ted Codd提出关系模型数据模型与底层存储解耦1969196819841970s 1980s2010s1970基于树状模型IBM发布IMSCODASYL网络模型发布半结构化数据的前世今生什么是半结构化数据半结构化数据是一种树状模型多层级、嵌套结构数据自包含 schema，但是 s

2、chema 灵活，没有强约束典型的半结构化数据 JSON：几乎就是半结构化数据的代名词，最流行的一种数据交换格式 XML：用途很接近于 JSON为什么需要半结构化数据Log ServiceIoT Device数据清洗聚合计算Mobile Device结构灵活通用，适用场景广泛终端原始数据，信息丰富生态完备，多平台协同特征提取图表分析异常报警行为审计数据订阅数据库三方平台Schema on WriteSchema on ReadSchema-on-Read vs Schema-on-WriteSchema on Read-写入不校验，读取时动态解析-场景灵活Schema on Write-写入时

3、确定数据结构-性能更好数据源数据存储分析查询报表和数据服务数据存储报表和数据服务ETL/Schema数据源Schema on ReadData SourceJson1id:1001,name:Adam,gender:Male,age:16Json2id:1002,name:Bob,gender:Male,age:41Json3id:1003,name:Claire,gender:Female,age:21Json1Json2Json3.!#$!#$%&!()*+,FullScan-!./012-34567Full ScanWriteDecompressParser/ExtractorAge16

4、4121.Schema on WriteData SourceJson1id:1001,name:Adam,gender:Male,age:16Json2id:1002,name:Bob,gender:Male,age:41Json3id:1003,name:Claire,gender:Female,age:21%&!*+,-./0123!4501$idnamegenderage100110021003adamBobClaireMaleMaleFemale164121ETL/ParserAge164121.Column PruningDecompressSchema on Write 带来的挑

5、战id:1001,name:Adamid:1001,name:Adam,gender:Maleid:1001,name:Adam,gender:Male,age:21ALTER table xxx ADD NEW Column xxx频繁DDL运维效率低无法事先确定字段协同成本高上游业务快速迭代，下游维护疲于奔命 出现新字段！又出现新字段！数仓半结构化场景核心需求高性能 高效分析查询低成本 存储压缩率免运维 业务自由演进Schema On Write数据结构动态提取与转换Schema On Read自适应数据访问半结构化场景观察与思考ABCABCABCABCDABCDABCDABDEABDEA

6、BDE长周期业务迭代长周期业务迭代短周期短周期短周期短周期数据结构保持稳定，字段类型和数量保持不变长周期数据结构缓慢演进，字段类似和数量发生变化短周期公共Schema自动提取半结构化数据列存化长周期动态类型自适应演进半结构化数据列存化 Full ScanSchema Json Converteridnamegenderage100110021003adamBobClaireMaleMaleFemale164121Data SourceJson1id:1001,name:Adam,gender:Male,age:16Json2id:1002,name:Bo