FFA2024分论坛-云原生.pdf

1、演讲人潘志雄-阿里云高级技术专家如何建设流批混部的高可用Serverless Flink平台Serverless Flink整体架构跨可用区容灾流批混部未来展望Serverless Flink整体架构Why Serverless？低成本按量付费免运维开箱即用高弹性快速启动、规模化部署How Serverless多租安全隔离管控面数据面混部安全性云原生容器服务k8s高可用跨可用区容灾整体架构统一资源池Serverless InfraK8SKoordinatorVirtual Cluster普通ECS标准化多租K8s管控面多租Serverless底座 （Pyxis）弹性容器ECI南北向网络连通东西

2、向网络隔离网络多租SLO混部资源管理与调度DNS服务发现弹性Quota跨可用区/负载均衡调度计量计费云原生资源全托管hook拦截注入云原生、安全与其他易扩展插件机制神龙裸金属x86&arm免密临时TokenVirtual Kubelet网络PrivateLinkENIPrivateZoneANSM安全容器katarunDPyxis统一租户接口Serverless Flink轻量化多租k8s管控面多租Virtual ClusterAPIServerETCDVirtual Clustervc-syncerSuper MasterVNodevn-agent混部节点kubeletcontainerd安

3、全容器安全容器KCMVirtualCluster标准化多租k8s管控面多租Virtual APIServerVirtual APIServerSuper MasterScope ManagerVirtualAPIServer轻量化多租kubeletcontainerdrunCkubeletcontainerdrunC独占节点独占节点Convert ManagerACL AuthorizerkubeletcontainerdrunC独占节点数据面多租混部节点kubeletcontainerdrunDrunDagentrootfsvolumecontainerenivethansm计算隔离：安全容

4、器网络隔离：VPC 存储隔离：云盘container弹性Quotaclusterflink-reserve-capacityflink-pay-as-you-goflink-systemtenantA-roottenantA-root-q1tenantB-roottenantA-root-q2tenantC-rootpod(JM)pod(TM)pods(system)minmaxadmission已使空闲空闲已使Quota内已使Quota外空闲已使Quota内已使Quota外等待调度已使Quota内已使Quota外等待调度禁提交跨可用区容灾核心问题库存管理高可用网络打通可用区无感调度一键容灾迁

5、移整体架构计算集群AZ-2AZ-xJM-2TM-2JM-1TM-1高可用ANSM网关集群EndpointAZ-2AZ-xEndpointAZ-1JM-1TM-1EndpointAZ-1OSSKafkaRDSENIENIENIENIENIENIENIENIENIENI安全组B安全组A集群总资源售卖资源高可用资源Pyxis可用区调度决策自动化可用区迁移资源统计聚合jobjob可用区状态可用区故障信号高可用网络打通高可用ANSM网关集群EndpointAZ-2AZ-xEndpointEndpointAZ-1OSSKafkaRDSENIENIENIENIENIENI网络打通：ANSM网关(Alibab

6、aCloud Network Service Mesh)高可用：网关跨可用区多副本部署replicas:2-ntopologySpreadConstraints:-labelSelector:matchLabels: x%按照等比例、整体均衡、高可用均衡等策略以及一定的步长动态计算可售卖的CU，需要满足：任一可用区故障后高可用CU均可以成功在其他可用区拉起未使用CU之和=用户未使用保障CU之和+待售卖CU系统预留CU常态化用于弹性以及库存应急，在可用区故障时候可以开启用户未使用保障CU系统预留CU空闲CUAZ-3单可用已使用CU高可用已使用CU未使用CU可用区无感调度感知可用区空闲资源以及高可