16-4阿里文娱数据服务平台的进阶之路.pdf

上传人： li

编号：29773

2021-02-07

PDF 18页 2.10MB

《16-4阿里文娱数据服务平台的进阶之路.pdf》由会员分享，可在线阅读，更多相关《16-4阿里文娱数据服务平台的进阶之路.pdf（18页珍藏版）》请在三个皮匠报告上搜索。

0 设计假设：存在n维（A1,An）上的基本方体B 则：需计算的立方体总数： Cn = 2n （其中n为计算维度的个数）立方体物化结果集Size：Sn = 1 * A1的基数 * A2的基数 * . * An的基数 (维度的基数即为该维度下所有枚举值的总数) 优设计假设视频埋点洪峰流量约 700,000 row/s，如果对其5个维度构建完全立方体，那么map - reduce 端传输的数据量为：700,000 * 2 5 = 22,400,000 条数据！冰山立方体：满足最小支持度的部分物化的方体。我们称这部分物化的方体为冰山立方体。实现统设计查询引擎 1.多数据源适配 2.规则引擎 3.多级缓存 4.权限控制元数据管理 1.维护模型、数据立方体 2.维护指标、口径 3.维护字典表统一服务接口 1.抽象查询逻辑，面向指标查询预计灵活性查询延时关键因素实时计算离线调度预计标设计用户可在数据模型的原子指标的公共维度基础上，配置衍生指标的表达式计算，以实现后置Join，提升模型维护的扩展性，并优化模型预计算逻辑（无需join多个表来合并计算）。流程化配置(doing) 自助波动分析(doing) 指标监控报警可视化图表组件 Cube资源监控优化规

16-4阿里文娱数据服务平台的进阶之路.pdf

相关报告