1-4 申琦-快狗打车数据仓库建设与演进之路.pdf

1、快狗打车数据仓库建设与演进之路演讲人：申琦申琦申琦技术的变革，一定是思想先行数据仓库架构师现就职于快狗打车数据智能部，数据仓库团队负责人、数据仓库架构师。经历过互联网广告平台、电商平台、自营电商等，不同业务主体、不同发展阶段的数据仓库建设，积累有丰富的数据仓库建设实践经验。目录数据仓库数据仓库背景与挑战数据仓库架构数据管理与运营数据仓库建设思考数据仓库背景掌 舵 业 务方向掌 舵 业 务方向制 定 业 务目标制 定 业 务目标制 定 业 绩 目 标制 定 业 绩 目 标执 行 业 务 动 作执 行 业 务 动 作操 作 执 行 层基 础 管 理 层决策管理商 务克服管理层之间的通信障碍连通管理

2、层次数据仓库背景数据仓库挑战任务增长造成资源挤占、修改上线造成任务报错、逻辑变更导致数据失真数千个数据表选择困难、插入需求频繁打断需求资源大于可用资源、核心任务分配不到资源、任务排布造成资源峰谷有限的资源无限的需求成本挑战数据仓库挑战应对策略应对策略01完善数据平台工具，减少人为不稳定因素02分类分级任务治理，提高资源利用率03低效任务自动化处理，聚焦价值能力输出数据仓库架构-应对挑战问题稳定性、效率、成本下的数据管理与运营稳定性保障解决思路尽量不出错误出错及时发现发现快速恢复稳定性保障：上线流程标准化1修 改 保 存3提 交5发 布4代 码 评 审语法错误检查添加任务依赖配置任务参数配置重试

3、策略新老版本代码对照，高亮不一致部分发布后，可线执行补数据操作刷新线上数据2测 试 执 行逻辑是否正常运行验证数据是否正确与线上1:1测试环境完 成稳定性保障：异常快速发现报警接收方值班表、任务责任人、指定接收人报警方式短信、电话、邮件、webhook监控对象任务节点、工作空间、基线、资源组疲劳度控制报警次数报警间隔免打扰时段触发条件完成、未完成、出错、超时监控规则稳定性保障：异常快速恢复一键重跑下游一键版本回滚效率提升解决思路减少重复计算快速查找数据表效率提升：自助在线分析效率提升：快速检索数据表成本优化解决思路合理利用每一滴资源成本优化：任务分类分级排布基于叶子任务节点倒推出任务分类及优先级别思考：数据仓库的核心是什么？数据仓库演变史信息时代来临，企业拥有大量业务数据待挖掘利用。信息系统库，业务相互独立，跨库场景统计乏力启 蒙 期辅助决策系统，帮助企业基于数据统计分析做出科学宏观决策成 长 期成 熟 期大数据处理技术体系成熟，帮助企业精细化管理企业海量数据黄 金 期云原生时代来临，基于多年沉淀，已有可以一键启动的商用决策系统数据湖仓，流批一体未 来 时 期数据仓库核心：数据全景数据主题数据仓库可能是第二懂业务的人数据模型组织数据呈现业务模样思考：未来数据仓库会是什么样子？未来？流批一体化分析与事务引擎统一THANK YOU!