2018年银行容器平台以及容器大数据混部的思考.pdf

1、银行容器平台以及容器大数据混部的思考银行容器平台以及容器大数据混部的思考 阿里云容器计算高级技术专家 李鹏 2018/04/19 银行业务变革 1 微服务DevOps 技术 2 应用为中心 文化 3 技术驱动业务 商业 银行运维的关注问题 资源集约化管理 在线离线资源管理 资源 业务的快速部署 业务 自助式运维 运维 以容器为核心，推动全面转型 以容器为核心以容器为核心，推动全面转型 推动全面转型 CI/CD工具 应用容器化 应用编排 资源调度 应用监控 应用商城 支持敏捷开发 实现DevOps 支持灰度发布 支持A/B Test 支持在线升级 新一代CaaS 软件能力开放 实现高效自动化运维

2、 保障业务安全稳定 实现APM 解决测试开发环境不一致 异构资源智能调度 混合云无缝部署 一键部署复杂应用 实现自动应用弹性伸缩 应用自动 HA 和 Failover 微服务架构管理 应用交付标准化 应用环境标准化 应用组件重用化 飞天敏捷版架构示意图 Kubernetes 管理节点 工作节点 工作节点 工作节点 管理员 部署和管理应用 管理节点 管理节点 管理节点 内部分布式存储 RAFT一致性 负载均衡 DTR Replica 工作节点 负载均衡 DTR Replica工作节点 push/pull 镜像 监控服务 日志服务 控制台，Open API NAS/S3等分布式镜像存储 负载均衡

3、Haproxy,F5 告警服务 用户 应用 log-pilot log-pilot monitoring-agent-heapster log-pilot 监控服务 Zabbix,etc 日志服务 Kaffka,ELK 告警服务 Zabbix,etc 用户自建 认证服务 认证服务 LDAP,OAuth Kubernetes 管理节点 Kubernetes 管理节点 管理域 运用域 运用域 log-pilot monitoring-agent NAS/CephRBD/S3 管控界面 Troopers Mirana DTR Replica工作节点 log-pilot monitoring-agen

4、t log-pilot monitoring-agent log-pilot monitoring-agent log-pilot monitoring-agent log-pilot monitoring-agent log-pilot 阿里云容器服务混合部署集群联邦 用户机房A 用户机房B 阿里云 Linux Linux Linux Linux Linux Linux Linux Linux Linux Linux Linux Linux Linux Linux Linux Linux Linux Linux Linux Linux APIServer APIServer APIServe

5、r APIServer APIServer Federa.onControllerManager Etcd Federa.onAPIServer API Federa.onDNS（阿里云）基于QoS的大数据与在线运用的混部 在线业务Web应用数据库QoSclass：Guaranteed:limit=request离线业务Spark/MapReduce/DeeplearningQoSclass：Burstablerequestlimit 基于QoS的大数据与在线运用的混部 在线业务Web应用以及数据库 qosClass:Guaranteedresources:requests:cpu:300m

6、memory:512Mi limits:cpu:300m memory:512Mi命名空间隔离和资源控制 cpu:12memory:16Gi Name:onlineLabels:Annotations:Status:ActiveResource Quotas Name:quota Resource Used Hard-configmaps 1 100 cpu 550m 12 memory 768Mi 16Gi persistentvolumeclaims 1 100 pods 2 100 replicationcontrollers 0 10 requests.storage 20Gi 102