06 稳中求进行稳致远-移动-严俊-0526.pdf

1、稳中求进 行稳致远谈中国移动磐基PaaS落地实践严俊终端多样性部署多样性流程多样性技术多样性架构多样性2023.3 支撑私有云内磨外售，对外赋能政府、制造等千行百业2022.6 已对接31省 11个专业公司支撑系统已达400+，容器规模已达30w+，支持IPv6/v4双栈，替换MySql数据库2020.4 正式更名“磐基”支撑中国移动集团及各专业、省公司IT系统，推广，应用在B、M、O域列入集团的战略研发项目入选集团百舸争流项目2015 电信业务趋动具备技术前瞻性，锁定K8S技术栈多集群部署，超越同行业近2年锁定Service mesh，把握未来趋势全国各省公司浙江.北京江苏梧桐大数据平台AI

2、平台IPA物联网连接管理平台全网客户中心移动办公OA集中化网管.电票系统禾云域名备案供应商管理财务智慧金融业务.CRMBOSS4A数据总线政企业务.集中电渠门户集团一级系统区块链电子渠道财务公司、国际公司等专业公司磐基PaaS平台的稳定决定 市场收入企业管理业务发展日常办公民生民计安全防护党建巡察公司形象1，00000000000人系统国家稳定发展健康财富可靠创新稳定已经成为根本破坏系统稳定根因配置变更配置变更业务应用业务应用BugBug70%70%15%15%8%8%关联问题关联问题5%5%2%2%人为人为操作系统参数应用程序升级业务量突增业务逻辑叠加数据库参数漏洞修复硬件升级(主机、交换机

3、、存储)历史遗留误操作配置关联网络策略调整技术不熟控制系统稳定性因素思想生产意识 安全意识忧患意识 运营意识稳定性“四个”意识 磐基稳定性实践制度产品研发流程上云交付流程项目六介入评审中间件维护方案应急演练方案.30余项磐基稳定性实践磐基稳定性实践表单生成器选择环境创建系统创建应用统一运营开发交付组件管理弹性计算选择应用类型组件管理创建应用服务组件申请应用创建组件部署组件安装微服务治理接口配置运维管理组件监控申请公用组件申请独享组件部署应用服务服务治理镜像仓库流水线发布计划同步微服务定义组件卸载应用生命周期应用扩缩容灰度发布中间件监控应用监控集群监控服务监控日志汇聚查询开发交付配置微服务配置应

4、用监控配额管理配额管理接口版本管理资源申请资源下发IP配置主机防护网络开通OS安装4A接入存储挂载PaaS安装集群纳管防护软件容器安全漏洞扫描数据库漏扫WEB漏扫高可用测试上云规划资源准备集群部署安全加固应用部署服务注册标准向导上云涵盖所有业务系统建设环节，抓过程抓细节方法节点Endpointspod notready从endpoint移除异常pod ipservice容器A1容器A2容器A3容器A2地址容器A1地址容器A3地址外部访问节点A检测节点异检测节点异常常业务业务迁移迁移k8sk8s控制平面控制平面容器容器1节点B容器1容器2容器2运行异常的pod自动隔离（就绪探测），不再接收外部请

5、求，从而避免在访问端产生大量报错。当某一个node节点关机或挂掉后，node节点上的服务会自动转移到另一个node节点上，过程所有服务不中断。磐基稳定性实践解决方案 1解决方案 240多种系统稳定要抓起始、抓上游，通过标准、规范的解决方案架构固化系统建设架构磐基稳定性实践弹性设施保障单集群弹单集群弹性能力性能力KubernetesdockeretcdkubeletapietcdMaster复合多级复合多级 K8S K8S 集群集群的一体化的一体化弹性伸缩弹性伸缩水平扩缩垂直扩缩快速稳定可移植自动识别伸缩场景，扩展定时、周期、业务指标的秒级扩缩，为有明显峰值波动、周期性计算应用提供更多支持快速添

6、加虚拟节点，自动调整有状态应用的资源分配对跨地域、跨资源池、跨系统多个集群的统一管理和调度，快速实现租户级别的业务迁移千级 Pod、百台节点迅速发放；健康检测问题Pod，实现节点间调配磐基稳定性实践监控及时发现利用eBPF技术扩充监控能力：1、基于eBPF的进程方法栈双态剖析能力，快速找出方法级性能杀手；2、基于eBPF的内核级性能剖析能力，构建覆盖网络、文件、进程、内存的监控工具，方便问题确认，提升排错效率。3、基于eBPF的内核网络栈事件跟踪能力，透视容器网络结构，并延展容器化应用的分布式调用链的长度，从内核的角度，扩充kubernetes在网络方面监控的盲区。磐基稳定性实践资源异常管理容