202307-快手基于自动化治理实践驱动数据成本零增长-终版.pdf

《202307-快手基于自动化治理实践驱动数据成本零增长-终版.pdf》由会员分享，可在线阅读，更多相关《202307-快手基于自动化治理实践驱动数据成本零增长-终版.pdf（20页珍藏版）》请在三个皮匠报告上搜索。

1、基于动化治理实践驱动数据成本零增孙伟快 数据平台部 数据治理负责&商业创新数据BP负责十多年大数据建设和应用经验，曾就职于百度、阿里，目前在快手负责数据治理和商业创新数据BP团队，专注打造高效的治理工具和可持续的治理机制，以及建设丰富易用的数据内容赋能业务关于快数据平台部使命：提升数据决策效率，利数据助业绩提升职责：通过数据技术，对公司数据统采集、存储、加和挖掘形成质量全域数据资产，以分析决策产品和服务的式对外提供数据解决案集群规模万级总数据量EB级新增数据量PB级任务量万级录数据治理概述成本治理案动化治理实践总结与展望数据治理概述数据治理质量架构安全成本 Why：对抗数据系统的熵增，让数据管

2、理有序、可控，以及价值最化 What：保障数据质量，合理降低数据成本，守住安全红线，优化数据架构 How：管理+治理，通过有效的评估体系配合组织与流程机制，以及具能，驱动可持续治理成本治理案：思路业务盒化技术盒化（动化）成本管理成本治理案：成本元数仓成本治理案：技术盒化计算量公式=任务数 X 调度频次 X 申请计算资源数X 运时 X 优先级权重存储量公式=单单列存储量 X 列数量 X 数量 X 表数量 X EC副本数量成本治理案：技术盒化策略存储量优化减表低热模型0热模型下游模型下线未删除模型低价值模型减减列0热字段治理埋点上报治理压缩格式减分区规范命周期治理特殊命周期减副本EC冷存计算量优化

3、减任务低热模型0热模型减频次时降频减时引擎、SQL优化减权重不合理优先级少申请Top任务优化参数优化动化治理实践：命周期动纠正命周期规范 根据不同数据等级、不同数据分层，结合数据是否可恢复以及恢复的成本制定标准命周期规范避免误删数据 通过基础的数据缘，结合数据的查询访问志来判断，并且取最早分区和推荐命周期的最值通知机制 三轮通知，过程户可以申请加，反馈后，周后进治理纠正动化治理实践：0热度表/任务动下线避免误删数据 通过基础的数据缘判断下游依赖，结合数据的查询访问志和创建时间判断该表和任务是否真实在通知机制 三轮通知，过程户可以申请加，反馈后，周后进治理删除和下线数据恢复 对于动下线任务和删除

4、表，户可以在具上进键恢复动化治理实践：任务参数动调优（HBO）通过分析作业历史运指标，以数据驱动的式，动化为每个DAG推断最优的运参数，以减少资源开销、提升运效率优化资源配额优化任务分优化功能参数 通过适应扩缩容CPU/MEM，解决资源不和分配过的问题 通过适应调整Map/Shuffle分，解决分不够、过多的问题 通过件合并等参数调整，提升性能动化治理实践：增量动化归因临的问题降本背景下，存储位处于位(95%)新增波动较，缺少合理监控，每次发现很被动波动原因法快速定位，每次排查作量，不能快速修复问题思路与案新增拆解数据增然新增历史补数数据回溯数据删除EC冷存动删除命周期删除影响因拆解波动与归因

5、动化具化归因、库、表多维下钻KIM推送MOLAP智能化相似模型检测临的问题 业务烟囱建设导致量相似模型 难以定义相似模型 难以计算相似模型成本治理运营机制治理收益成本效率 数据成本节约上亿元 治理效率提升N倍总结成本优化思路成本管理（评估、流程、组织）技术盒化业务盒化自动化治理方案动化命周期纠正（标准规范、缘准确率）动化下线任务动化删除表动化参数优化（HBO）展望未来：规划 动化治理覆盖提升 实时资源HBO 业务盒化治理动化诊断 数据湖治理展望未来：思考数据源Client LogServer LogDB Log数据信息动基础模型算升级数据加数据应ODSDWDDWSADS数据管理数据分析数据挖掘AB数据源数仓模型NL2ETLZero/AutoETL智能化治理户动数据决策模型NL2SQLNL2GraphTable2Text元数据