2017年京东容器平台与数据中心基础设施协同发展实践.pdf

1、京东容器平台与数据中心协同发展实践 京东商城-基础平台部 技术总监 容器技术在京东商城历史与未来 容器技术是什么 传统数据中心 京东敏捷数据中心建设 开源 问题 容器集群管理&应用编排 VS 数据中心基础软件 梦想 不止于分容器 让编排成为自然的事情 JDOS 图谱 JDOS 1.0 分物理机=分容器 业务系统100%全面容器运行 上线周期由1天降低到10分钟 少买3/4机器 JD Data Center Operating System(JDOS)?VMs?Physical servers?Containers?JFS?OVSSS?JD Linux Kernel?JDOS 2.0/3.0/3

2、.5 60%业务 SRE初步形成 首次支撑618大促 全面基于镜像发布上线 RS副本数 从容扩容应对高峰流量 CPU利用率提升3倍，有效消除CPU/Network热点 JDOS 2.0/3.0/3.5 JDOS 2.0/3.0 运行典型业务 JDOS 2.0/3.0 核心功能 JD PaaS Self-Service，On-Demand Application Stacks CI，Build Image Services Logs，Monitors，APM Service DNS，LB，JSF Service Distributed Shared Storage Service Attache

3、d Resources Service App Orchestration JDOS 2.0/3.0/3.5集群部署 自动构建NodeDockerfileSource CodeJenkins MasterJenkins Slave PodAppAppAppNetworkVolumeLogSkyFSSkyNetElasticSearchPrometheusJDOS-apiSkyDNSMonitorapicontrollerscheduler镜像中心Docker ImageApp集群管理 kubeletApp生产环境测试环境AppSkyLB 容器技术在京东的历史和未来 容器技术【泛指Contain

4、er&CM】是什么 传统数据中心 京东敏捷数据中心 开源 容器技术是什么-1/3 Linux Kernel 容器技术是什么-2/3 Networking 容器技术是什么-3/3 Scheduler Create?Resource Rebalance?容器技术在京东的历史和未来 容器技术是什么 传统数据中心 京东敏捷数据中心建设 开源计划 传统数据中心 DNS 负载均衡 二层VLAN网络 CMDB 7x24监控中心 容器技术在京东的历史和未来 容器技术是什么 传统数据中心 京东敏捷数据中心建设 开源 京东分布式 DNS DNS ServerAPICheck IP statusetcdServic

5、e to DNSWrite to/DeletedockerRead DNS fromDNS req/respIP port scanRead DNS from/Write DNS to/Del/UpdateRed IP from/Update IP statusUser Get ServiceJD O S2.0Load BalancerIP port scan负载均衡服务部署架构 Load Balancer.LB Based on Container（Haproxy）agentDockeragentDockeragentDockerLoad BalanceragentDockeragentDo

6、ckeragentDockerLoad BalanceragentDockeragentDockeragentDockerLoad Balancer.Load Balancer Based on DPDKagentDockeragentDockeragentDPDKLoad BalanceragentDockeragentDockeragentDPDKLoad BalanceragentDockeragentDockeragentDPDKJDOSLoad BalanceControl CentergRPCgRPCWatch ServiceCreate/Del/Get RS for Servic