陈琛-vivo多云管理平台建设实践（对外版）.pdf

《陈琛-vivo多云管理平台建设实践（对外版）.pdf》由会员分享，可在线阅读，更多相关《陈琛-vivo多云管理平台建设实践（对外版）.pdf（25页珍藏版）》请在三个皮匠报告上搜索。

1、vivo多云管理平台建设实践vivo高级研发经理 陈琛陈琛2018年加入vivo，经历多个平台从0到1的建设，目前负责vivo云平台、数据库存储管理平台等项目和研发团队vivo高级研发经理PART ONE01vivo多云管理平台建设背景PART TWO02vivo多云管理平台最佳实践PART THREE03未来展望目录/CONTENTPART ONE01.vivo互联网业务规模 vivo互联网资源规模 业务高速发展带来的挑战vivo多云管理平台建设背景vivo多云管理平台建设背景vivo互联网业务规模（公开数据，历史最高）在网总用户（不含外销）3亿 项目数量 1800+服务数量 10000+应

2、用商店应用商店累积分发 1.5万亿月活用户 2.5亿游戏中心日活用户 1082万月活用户 9818万浏览器日活用户 8210万月活用户 2.5亿vivo多云管理平台建设背景vivo互联网资源规模服务器规模 增长40+倍物理服务器数据库实例规模 增长56倍数据库服务器规模 增长7.4倍数据库数据库实例部署密度 增加7.6倍人均运维数据库实例规模 增加25倍vivo多云管理平台建设背景业务高速发展带来的挑战资源管理与成本管控 平台资源覆盖范围有限云上云下没有统一纳管资产数据准确性不高生命周期管理流程不闭环资源缺乏考核和度量预算缺乏有效控制共享资源缺乏分摊规则交付与变更效率 资源采购和交付周期长 自

3、动化率不高 变更缺少管控 缺少场景化支撑能力可用性与质量感知 缺少有效度量 故障感知方法单一 问题定位时间长 故障自愈能力缺失PART TWO02.业务架构 系统架构 平台实践vivo多云管理平台最佳实践vivo多云管理平台最佳实践业务架构vivo多云管理平台最佳实践系统架构统一平台统一入口资源管理计算资源数据库存储工具CICD作业变更监控中间件资源运营预算采购交付账单系统vivo多云管理平台最佳实践资源云化和运营管理IaaSIaaSvivo多云管理平台最佳实践CICD核心流程项目管理平台持续部署CD开发环境测试环境压测环境预发环境生产环境线下包仓库线上包仓库配置中心日志中心监控中心运维中心云

4、基础服务持续集成CI认领需求提交代码执行构建执行部署持续监控自助运维触发执行拉取代码推送制品拉取制品拉取制品制品晋级需求管理vivo多云管理平台最佳实践全球化部署测试2机房测试1机房Artifactorygitlab生产机房公有云-香港gerritArtifactory全球代理Proxy+CDN加速Redis某国1某国2某国3其它ArtifactoryArtifactoryArtifactoryArtifactory云主机虚拟主机混合云主机云主机混合云主机2G专线vivoops-civivoops-cdspinnaker-gatespinnaker-front50spinnaker-echos

5、pinnaker-orcavivoops-uploadvivoops-uploadvivoops-uploadvivoops-uploadvivoops-uploadvivoops-cdvivoops-cdvivoops-cdvivoops-cd国内国外vivo多云管理平台最佳实践CICD系统架构基于Jenkins和Spinnaker自研月均构建10W+10W+vivo多云管理平台最佳实践Spinnaker流水线优化startFind imageFrom TestDestroy old PRODDeployCanaryCutoverManualapprovalDeploy PROD(red/b

6、lack)Tear DownCANARYWait 30minsWait 2hrs原生性能问题内存消耗过大，100以上Stage内存占用超过80%以上Full GC频繁，CPU经常被打满原生使用方式优化后使用方式开始机器1机器2机器3暂停机器5机器4等待10s机器6升级&改造Spinnaker源码升级Pipeline、Stage、Task查询接口增加Task重试机制扩展存储引擎vivo多云管理平台最佳实践运维自动化提升运维自动化率上线10+平台和子系统DNSVUACDNNGINXLVSNAT作业平台运维编排公共服务vivo多云管理平台最佳实践成本分摊18资源成本合理分摊业务成本 中台价值总费用：

7、￥*使用资源数量：*个资源消耗：-计算：*核 -存储：*GB云化资源总费用：￥*使用资源数量：*个资源消耗：-计算：*核 -存储：*GB云化资源总费用：￥*使用资源数量：*个资源消耗：-计算：*核 -存储：*GB云化资源定价体系大数据平台搜索平台云平台备注：x、y、z的值由服务提供方给出*分摊比 x%*分摊比 y%*分摊比 z%物理机云主机容器数据库自有资源（资源池）*独占资源中台成本算法中台-总成本算法：12%搜索：14%云平台：15%自有资源浏览器算法：25%搜索：27%云平台：15%自有资源视频算法：63%搜索：21%云平台：60%自有资源游戏共享成本独享成本分摊比 12%分摊比 25%

8、分摊比 63%大数据：27%成本分摊PART THREE03.当前存在的问题和痛点 vivo cloud 2.0介绍未来展望未来展望当前存在的问题和痛点痛点缺乏业务和用户视角的场景化、全链路解决方案和能力，变更和故障排查要在多个模块间跳转，效率较低，没有实现功能串联持续提升运维效率困难平台的规划缺乏顶层设计，大多数平台都是自下而上的构建，平台的定位更多的着眼于解决团队当前的问题；产品化能力低、平台之间协同困难或者无法协同技术产品化程度较低资源运营仍然是线上线下结合的方式，无法进一步提升资源使用和运营效率持续提升资源效率困难现有平台经过3-4年的持续迭代，积累了一些技术债务，平台架构可持续建设难

9、度增大，用户需求投入产出比持续下降持续提升研发效率困难未来展望vivo cloud 2.0产品架构财务平台DevOps需求/项目协作代码托管持续构建制品管理持续测试持续部署研发度量监控系统三方系统云门户门户首页服务台消息中心费用中心文档中心接入规范开发者社区资源管理PaaS基础服务元数据管理服务树管理IaaS供应链交付结算系统云资源运营管理系统业务用量管理资源与套餐管理云产品后台产品定义与交付产品运营RAM系统网关服务日志与审计IaaS运营管理IaaS运维管理RMS资产管理基础网络产品基础设施组件混合云系统管理后台公有云管理系统租户管理配置管理云控制台CMDB云产品公有云产品管理公有云功能管理

10、预算系统账单系统中间件平台安全平台公有云测试相关平台项目管理平台大数据平台运维管理部署服务变更管理高可用可观测可用性管理安全治理自治服务运维管理项目管理安全中心自定义视图监控告警监控检测监控采集监控看板监控配置数据分析能力服务巡检服务计算产品网络产品数据库产品存储产品SaaS产品未来展望基于FinOps理念构建资源运营解决方案订单收支明细账单资源运营预算成本运营培养成本意识引入订单，按天计费费用中心下沉项目空间，成本可视化推送账单，关注成本持续优化营收视角搭建产品线维度成本分析，多视角观测成本信息数据分析，决策优化资源运营持续运营成本优化资源可观测资源供给 关键指标 治理晾晒 持续迭代 分层治理 团队协作 做好联动 资源跟踪 成本分摊 组织维度 分层保障 资源供给 水位控制未来展望资源效能单单位位资资源成本源成本资资源源运营运营成本成本业务运营成本云产品单价（成本）资源利用效率单位业务IT成本未来展望监控能力建设