裴明明-云原生架构下中间件联邦高可用架构实践.pdf

1、演讲人：裴明明目 录01云原生中间件02云原生中间件管理03中间件跨可用区高可用04未来展望云原生中间件基础设施层基础设施层应用层PaaS层应用层Redis、Kafka、ElasticSearch等开源中间件广泛应用，运维复杂，需要较强的运维专业知识，使用运维门槛较高。01主流公有云厂商托管大多数主流中间件，Redis、Kafka、RocketMQ、ElasticSearch、Pulsar等，公共托管数据安全弱，特性场景需求满足慢。02云原生技术K8s、Docker技术飞速发展，并在无状态业务大规模落地，容器技术和云原生编排解决了服务诸多痛点。03 运维复杂 运维效率不高 稳定性保障难度高 缺

2、乏和基础设施结合的弹性能力 专业要求高 多数基于虚拟机虚拟化，虚拟化较重 性能虚拟化损耗 资源共享不足，资源利用率不高 系统栈复杂，很难私有化部署 无法实现商业化快速交付 基于容器化技术实现轻量化资源隔离 资源损耗低，性能较好 天生具备弹性、自愈、易编排等特性 技术栈统一，社区活跃，发展快 可以实现商业化快速交付声明式定义，基础设施即代码，标准统一，易于编排构建于标准 Kubernetes 之上，利用 K8s 的灵活调度、故障自愈、弹性伸缩等内置能力简化中间件的运维自动化管控，资源统一调度，有效提升资源利用率，降低基础设施成本更适合构建私有化部署的PaaS中间件服务CROperatorcrea

3、tewatch中间件资源对象中间件控制器云原生中间件管理云原生基础平台认证鉴权监控告警统计基础设施层中间件服务层统一接入层KubernetesLoadBalancerNodeportOpenAPI中间件管控服务一键部署在线升级故障自愈水平扩容定期巡检健康报告根因分析统一管控操作审计日志采集概览中间件集群支持多种数据访问方式，以及平台能力对接基于多品类容器云平台构建中间件能力支持多品类中间件完善的中间件运维能力多平台兼容、多云管理企业级能力和通用平台能力建设 LoadBalancer和NodePort模式实现云上服务外部访问，负载均衡多主模式提升性能 基于LVM的本地磁盘管理服务实现本地磁盘生命

4、周期动态管理，显著提升中间件性能 中间件集群容器化功能适配和优化 中间件相关系统内核调优 提供中间件配置参数模板能力，内置中间件参数的高性能模板，实现众多配置参数的动态调整，显著降低中间件使用门槛单中间件集群通过节点反亲和、拓扑分区调度实现节点的互斥提供中间件实时备份和一键恢复能力云原生生态的集群热备多活，实现故障自动检测，自动转移，快速切流基于Kubernetes集群联邦的同城多机房高可用Prometheus技术体系建设的中间件监控告警系统云原生日志自动化采集组件Loggie（网易数智开源），对中间件集群进行无侵入日志采集基于云原生事件建立中间件事件管理能力，实现事件监控告警中间件运维中心，

5、提供风险巡检、根因分析、自主诊断等能力，增强运维能力，提升集群稳定性中间件服务层数据面服务数据控制面多副本部署，自动化运维，支持备份到外部存储通过Service灵活实现中间件集群副本变化带来的访问切换中间件管控服务Operator自动伸缩秒级扩容/缩容定时伸缩基于请求伸缩基于交易量伸缩基于实时负载伸缩 中间件服务层实现对多云多集群的统一管理 计算集群管控面实现对中间件集群生命周期和路由访问的统一管控 基于CRD Operator的架构，实现中间件自动化运维和故障自愈 实现基于监控指标的自动弹性伸缩，基于业务高峰期的定时扩缩容 云原生架构，秒级扩缩容和业务流量接入 云原生可观测体系，实现实时系统

6、负载、CPU、内存、服务画像、应用运行时指标等弹性策略统一云原生基座，统一技术栈，开源生态助力中间件能力创新企业业务通用特性多租户统一管控安全性高性能可观测可运维统一运维概览大盘风险巡检根因分析自主诊断集群迁移异常归档统一云原生技术基座容器技术体系生态开放活跃云原生中间件平台高阶特性同城双活集群热备异地多活集群联邦备份恢复消息路由中间件跨可用区高可用机房A机房B 中间件集群高可用方式：多集群数据同步和单集群跨可用区 多集群数据同步：热备、双活、多活等高可用能力 单集群跨可用区：联邦多活，依赖中间件自身高可用 多数选主的分布式一致性协议：要求至少三个可用区来保证任意可用区故障中间件依然可用 对底