2020年终大会-大数据应用：9-5.pdf

1、Doris 在小米数据中台中的应用 姚青林 2020年12月 背景现状小米数据中台Doris适用场景总结展望 1234 背景现状 | 选择Doris的原因 高压缩比 查询性能高 存储成本低 关键关注点便捷性 MySQL协议 数据导入方便 便捷安装测试 全面性 数据模型丰富 支持数据划分 动态分区 扩展性 滚动升级 HTTP接口 运维工具丰富 背景现状 | Doris的系统类别 交互处理 Flink Spark Streaming Storm Impala MySQL Doris 批量处理 MapReduce Spark Tez StreamBatchInteractive 流式处理 背景现状

2、| Doris的定位 为“数据分析” 为“OLAP” 小米数据中台 | 中台整体架构 离线计算实时计算存储计算域 生命周期管理 数据质量管理 数据地图管理 数据安全管理 数据指标管理 数据价值管理 元数据管理 数据开发管理 数据资产管理域 小米网有品应用商店电视MIUILBS 数据接入/数据采集/数据采购 公共IOT销服互联网电商 数据融合/数据架构 用户体系设备体系 数据分析BI算法 小米数据中台 | Doris在数据中台中的作用 数据分析/BI Doris 离线数据实时数据 Doris适用场景 | Doris在小米中的场景之一 中、小、初创业务的灵活分析场景 数据分析/BI Doris 实时明细数据 成本低 数据采集 灵活性高 反馈快 Doris适用场景 | Doris在小米中的场景之二 大型业务的固定的指标分析场景 数据分析/BI Doris 预计算数据 数据量大 数据采集 设计好指标 分析维度固定 Doris适用场景 | Doris不适用的场景 大型业务的明细数据的灵活分析 200亿并发量过大 非数据分析场景 Doris未来期望 | 云上Doris 弹性存储 Schema 管理数据管理索引管理 弹性计算 计算资源管理物理执行计划错误处理 SQL、执行计划 对外接口/协议