03-蚂蚁金服数据成本治理实践-阮宏博.pdf

1、蚂蚁数据成本治理实践数据产品与技术部-阮宏博自我介绍多年在大数据领域的开发和数据架构经验，参与和主导过多个行业的数据架构和数据体系建设当前负责蚂蚁金服数据成本治理业务，同时负责建设统一的数据资产治理平台阮宏博 目录目录1 1）背景介绍）背景介绍2 2）组织设计和职责定义）组织设计和职责定义3 3）蚂蚁成本治理实践）蚂蚁成本治理实践增速难衡量增速难衡量效率难效率难看清看清资源增速快资源增速快，会稀释业务，会稀释业务的盈利能力的盈利能力成本价值单靠引擎和硬件的红利已单靠引擎和硬件的红利已经难以满足业务的需求经难以满足业务的需求从平台视角，从平台视角，看不清各业看不清各业务使用资源效率务使用资源效率

2、从业务视角，从业务视角，觉得平台效觉得平台效率看不清率看不清为什么要做数据成本治理为什么要做数据成本治理组织设计和职责定义组织设计和职责定义通过合理的组织架构，以及清晰的职责定义，可以帮助治理快速落地，且达成目标蚂蚁技术战略蚂蚁技术战略各业务各业务CTOsCTOs蚂蚁全域架构组蚂蚁全域架构组数据智能架构委员会数据智能架构委员会蚂蚁数据工作组蚂蚁数据工作组数据成本治理小组数据成本治理小组平台体系平台体系定价体系建设定价体系建设 对客定价设计和测算 资源成本体系监控 持续优化单价标准和制度建设标准和制度建设 制定统一的标准和规则 达成共识的目标用量体系建设用量体系建设 资源用量账单建设 治理策略挖

3、掘和方案设计 提升业务治理和管理的效率组织视角的成本体系和职责定义组织视角的成本体系和职责定义业务体系业务体系职责：接受各业务数据工作组的指导，完成本业务线内的成本预算目标设定、成本治理目标达成，并与产品能力小组配合，迭代成本治理能力支付宝业务支付宝业务数据智能业务数据智能业务数字金融业务数字金融业务安全业务安全业务国际业务国际业务数字科技业务数字科技业务.SRE+基础资源团队+数据软件团队业务团队+平台治理团队硬件可承载容器池化资源集群已持有实际已分配实际使用硬件选型，定制加速卡，自研硬件.利用统一调度和容器技术来实现池化资源提升流转效率，无用资源及时归还容器，降低无效持有通过需求错峰和分时

4、，来提升配额的利用率管理和评估需求的合理性，平台提升用量的治理效率财务视角的成本体系和职责定义财务视角的成本体系和职责定义定价售卖定价售卖成本治理实践成本治理实践从定价用量管理、单价治理、用量治理、以及平台能力四个维度分别阐述我们在蚂蚁的成本治理实践整体技术架构整体技术架构单价治理单价治理平台用量管治平台用量管治支付宝业务支付宝业务数据智能业务数据智能业务金融业务金融业务大安全业务大安全业务国际业务国际业务数字科技业务数字科技业务.组织保障组织保障制度规约制度规约定价和用量设计健康分规范成本运营培训分享，最佳实践财务成本账单财务成本账单BU账单项目/团队账单个人账单健康分和治理健康分和治理策略

5、挖掘策略挖掘计算资源错峰调度计算资源错峰调度配额分时任务延迟起调闲时补数据基于时效承诺，自动的对计算资源池，任务起调时间进行统筹规划，从而实现CPU全天资源的利用率最大化，以及提升链路下线链路下线提升治理资产覆盖率和治理效率将策略覆盖到事前事中事前事中资源管理事前事中资源管理大任务自动查杀运维补数据管控成本发布管控业务用量管治业务用量管治控制成本的增速，确保健康有序发展，提升资源的密度，看清成本的构成控制成本的增速，确保健康有序发展，提升资源的密度，看清成本的构成自动自动重排和归档重排和归档冷数据重排表级别自动归档网络削峰优化网络削峰优化跨集群缓存网络限流架构分拆和迁移通过尽可能的数据本地化存

6、算以及一定程度的网络限流来降低网络成本基础设施和引擎优化降本基础设施和引擎优化降本热冷分级存储算力混部自建网络.短查询加速SSD 缓存提升I/O硬件选型.其他资源优化其他资源优化回收站治理tunnel上传下载系统错误治理系统账号治理非法传参治理治理.单价单价(效率)用量用量(需求)成本成本目标：目标：平台产品化计量计费，使用方看得清使用成本建立数据资源的效率评估体系，推进效能整体可衡量资源成本存储计算网络其他其他成本软件运维第三方其他表存储回收站其他存储业务消耗系统消耗其他计算可管理可度量基于计量计费体系，向用户透明化计算/存储使用量及成本；建立P&L管