2-3 字节跳动一站式数据治理的思考及实践.pdf

《2-3 字节跳动一站式数据治理的思考及实践.pdf》由会员分享，可在线阅读，更多相关《2-3 字节跳动一站式数据治理的思考及实践.pdf（24页珍藏版）》请在三个皮匠报告上搜索。

1、字节跳动一站式数据治理思考及业务实践王慧祥火山引擎DataLeap资深大数据工程师|01机遇与挑战机遇与挑战02数据治理思路数据治理思路03技术架构演进技术架构演进04未来展望未来展望目录目录CONTENT|机遇与挑战01|数据治理挑战：落地难|治理效益与业务影响的矛盾规范“人”的动作难度大治理涉及的组织和管理难度大缺乏适配性强的产品工具 业务系统、生产流程改造影响业务 需求难统一，全局策略难落地 保障治理大目标，无法顾及业务个性需求 ROI评估：治理收益、时间周期、业务影响 人员能力参差不齐，对齐目标和优先级困难 治理操作依靠人，规范对人的偏差操作容忍度低 组织文化差异，数据治理落地的方法、

2、挑战、成效各异 角色多、范围广、链路长 治理目标对齐、管理、跟进难度大 组织越复杂，数据治理难度越大 现状、问题客观工具缺失 无全局视角工具，直接跳入治理细节 跨部门、跨系统治理目标对齐、协商工具缺失 缺乏治理全流程工具 平台工具不够灵活，只能解决通用治理问题字节特色|规模大数据驱动影响大业务场景丰富互娱资讯电商企业服务商业化海量数据产品闭环业务强依赖数据商业分析推荐算法数据赋能业务影响数据延迟质量问题数据生命周期多业务齐发展业务快速发展快速响应业务需求敏捷迭代每个人都可参与规划与策略制定分解主动寻找实现路径互相对齐组织快速前进没有集团层面的数据治理委员会各部门采取自决策自治的数据治理模式，决

3、策与执行效率很高业务要求OKR文化高效治理字节文化业务第一数据治理思路02|新型数据治理-分布式数据自治|数据治理(Data governance)：治理收益(Profit)、业务影响(Influence)、执行效率(Efficiency)业务影响小-灵活的自治模式沉淀各业务治理经验，提升治理效率适配性强-产品建设覆盖治理全链路治理是不同业务与阶段的实践，在规范与组织上应足够灵活，业务可自身发展阶段制定治理内容，自行对齐与制定部分治理标准，互相对齐形成自驱组织“一个业务单元内的数据有效性提升为数据治理的范围和目标”产品辅助业务自驱，沉淀业务经验，何时、何地、如何进行数据治理规则化、策略化、自动

4、化进行持续的数据治理低门槛与算法推荐：业务自驱进行分析与诊断能力提供自上而下的规划性治理和自下而上的响应式治理从治理规划到执行诊断与复盘全流程进行治理把控。集成多种治理场景-稳定性、质量、安全、成本、报警各模块可独立使用，按需组合，满足不同业务场景下的数据治理需求产品提供完整的开发能力，业务根据自身特性和发展阶段进行接入集中式 VS 分布式|集中式-传统数据治理分布式数据自治建设周期长、适配能力弱、组织投入多业务影响小业务自决策，各级业务/个人都可自驱治理工具灵活，业务根据自身发展按需，治理助力业务发展周期短，见效快以业务为目标对齐优先级确认核心数据问题，聚焦投入，非“一刀切”效率高，省人力治

5、理目标对齐、实施、追踪、核算工具化节省沟通成本，提升协作效率算清账，降成本治理目标清晰，收益统计自动化组织与制度权责与管理成果抽查梳理业务与数据部门，设立公司级别数据治理委员会/部门定期梳理公司数据资产，确保资产归属与治理权责明确组织定期检查业务治理过程是否符合制度，定期检查治理结果技术架构演进03|解决方案-一站式|治理全景资产视角实施者视角视图成本报告质量分析事故根因价值分析健康分SLA治理场景基础服务指标消息中心元数据规则引擎数据服务数据质量数据安全成本优化报警与起夜【主动规划】规划式流程【总结】稳定性治理规划资产诊断结果推进健康状况待办事项收益统计根因分析改进计划总结复盘全局规则个人资

6、产消息订阅异常资产治理过程治理工具治理域|治理规则单次诊断|例行诊断【系统发现】响应式流程【执行】拉群推进|进度订阅主动登记|系统归因方法沉淀事故复盘问题登记经验共享系统收集|人工录入OKR部门管理者业务管理者治理负责人资产责任人方案工具宣传与培训流程与经验视角与管理治理结果衡量服务能力治理能力问题发现治理收益管理者视角平台建设-治理方案-规划式流程规划式治理：资产清晰、规则丰富、动线完整、收益准确运行规则明确治理域制定目标建立方案推进治理健康分达标降低存储资源降低计算资源圈选治理规则推进治理实施治理资产分析结果验收结果验收收益统计消息催办规则仅运行一次治理域：xxx库xxx库存储健康分达到9