钟仕骏- 新东方DevOps运维门户进阶之.pdf

《钟仕骏- 新东方DevOps运维门户进阶之.pdf》由会员分享，可在线阅读，更多相关《钟仕骏- 新东方DevOps运维门户进阶之.pdf（28页珍藏版）》请在三个皮匠报告上搜索。

1、2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站新东方DevOps运维门户进阶之路钟仕骏 高级经理首师大毕业，现就职于新东方教育，曾就职于搜狐、快手。搜狐大厦资深老烟民，曾在搜狗、搜狐视频移动端NO工作过，负责运维及后台数据研发。快手第一位SRE，曾负责快手所有运维基础化建设，规划并参与了2020年春晚红包项目。现任新东方教育运维研发高级经理，负责企业基础架构标准化体系研究、自动化平台研发等。01平台需要解决的问题02我们是怎么做服务树的03案例分享04经验沉淀目录Content01DevOps平台的建立初期困境2023 DevOps 国际峰会 暨 BizDevOps

2、 企业峰会 北京站面临的困境：急需一体化平台集成，解决孤岛效应烟囱效应早期发展过程中，企业按照垂直个性化的逻辑部署IT系统，目独立采购建设，导致内部系统烟囱林立，很难做到数据互联互通。01数据孤岛新业务新市场的拓展过程中各内部系统没法直接复用和迭代，产生的新数据无法与原有的数据互通，加剧了数据孤岛的问题。02组织熵增各个平台功能单一化，平台与平台之间的协调配合、数据交互异常混乱，随着企业核心业务增长，却带来了效率低下的问题。032023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站资源申请信息检索流程操作业务上线成本控制数据安全高效稳定问题1：哪些独立功能需要集成？2023

3、 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站资源获取资源位置资源类型项目节点云主机C端数据库云教室ES/Kafka小课堂申请流程IDC数据纳管私有云API同步公有云标准化的流程规范和体系化的工具建设是实施DevOps 的关键要素问题2：集成后如何方便地进行资源分摊？2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站集团集团业务线业务线项目集项目集项目项目应用应用一级-集团结构顶层，根节点二级-业务线各大机构、组织业务三级-项目集同类项目集合四级-项目各类研发立项五级-应用模块、APP组件等解决办法服务树2023 DevOps 国际峰会 暨 BizD

4、evOps 企业峰会 北京站云化资源上线发布PaaS管理数据平台安全中心集团业务线项目集项目应用集中授权通过服务树关联集成业务功能02DevOps与数据平台大数据研发体系的割裂与整合2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站E EL LK KHiveSQL/SparkSQLHive/HudiYARNHDFSK8SOSAmbari大数据基础平台大数据基础平台实时数仓（Real-time data warehouse）StarRocks系统日志业务日志业务数据业务数据埋点日志分布式数据库集中式数据库业务日志实时计算平台（streaming）SQL任务JAR任务Xst

5、ream增量数据分发CDC增量采集Filebeat采集报表系统实时大屏数据探索数据服务全量数据初始化Xdata(数据初始化)全量增量全量增量增量1、自研实时计算开发平台已经在项目上正式推广使用2、实现实时数仓交互式分析引擎框架统一标准化建设案例1：实时计算平台 大数据实时计算架构2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站案例1：实时计算平台 上下游通过流程串联2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站实时计算平台初版包括：7个功能模块，14个功能点。案例1：实时计算平台 需求细化，功能模块拆分2023 DevOps 国际峰会 暨

6、BizDevOps 企业峰会 北京站模块一：数据源管理模块二：队列权限管理模块三：任务ITEM管理模块四：任务约束表达式管理模块五：FLINK-SQL配置管理模块六：实时计算表单创建模块七：CI配置管理模块八：任务列表模块九：任务配置列表模块十：任务全盘操作历史模块十一：SINK 操作模块十二：资源统计模块十三：SOURCE树 白名单模块十四：宏管理模块十五：监控创建管理员1、2、3、4、5、13 公共8、9、12、15 用户6、7、10、11、14管理员 40%用户 33%公共 27%模块分布比例管理员用户公共案例1：实时计算平台 集成方案和功能实现2