10-4 Spark + Volcano：为 Spark on Kubernetes 提供更完善的调度能力！.pdf

1、S P A R K +V O L C A N O:S P A R K +V O L C A N O:为为 S p a r k o n K u b e r n e t e sS p a r k o n K u b e r n e t e s 提 供提 供更 完 善 的 调 度 能 力！更 完 善 的 调 度 能 力！姜逸坤 华为计算开源团队|从一个简单而又悲伤的数学题说起：已知：已知：-用于Spark的Kubernetes集群CPU总量：2.02.0-每个Job所需CPU总量：2.02.0，完成单个Job所需时间为：1010秒秒问题：问题：请问，并发提交3 3个个JobJob，多久可以完成？实际

2、上的你以为的30s喵之自信0101Spark on K8SSpark on K8S现状与发展现状与发展0202Spark 3.3Spark 3.3自定义调度支持自定义调度支持0303Spark Spark VolcanoVolcano设计设计与实现与实现0404DemoDemo演示演示 目录目录 CONTENT|Spark on K8SSpark on K8S现状与发展现状与发展01|Apache Spark社区贡献趋势2016-2022年 Apache Spark 资源管理领域代码提交趋势 12016-2022年 Apache Spark 资源管理领域的搜索趋势 21 数据来自于Spark合

3、入Commits，通过Git过滤标题包含YARNK8SMESOS的个数统计。2 数据来自于Google Trend。Spark K8SSpark YARNSpark MESOS代码提交在一定程度反映了Spark社区技术趋势和热度技术趋势和热度-Kubernetes的趋势和热度在2020年超越Yarn。-Yarn、MESOS的贡献逐渐趋于平缓。Google TrendGoogle Trend在一定程度反映了用户关注度、落地程度用户关注度、落地程度。-Spark K8S的关注度逐渐上升，而Yarn则在下降。|Spark on K8S的时间线2020.08移除移除experimentexperime

4、nt2021.01Spark K8S GASpark K8S GA开始孵化开始孵化2016.112017.12正式合入正式合入Spark 2.3Spark 2.32017.08投票通过投票通过2016.11 2016.11 提交了第一PR SPARK-18278。社区决定在apache-spark-on-k8s repo孵化。2017.08 2017.08 Spark on Kubernetes SPIP VOTE 通过。2017.122017.12 Spark on Kubernetes在Spark的代码正式合入Spark 2.3。SPARK-18278 SPARK-226462020.08

5、 2020.08 官方文档中正式移除“实验”标记，并认可3.1 K8S GA：SPARK-325542021.01 2021.01 Spark 3.1.1正式发布，Kubernetes正式GA SPARK-33005|Spark on K8S的主要方案Native Spark App in K8SSpark on Kubernetes Operator-Apache Spark官方实现-提交方式：./spark_submit-通过-conf配置Kubernetes的参数-Google 开源-提交方式：kubectl apply*.yaml-通过yaml配置Kubernetes的参数|Dive

6、in to Spark on K8S实现KubernetesKubernetesDriverDriver BuilderBuilderDriverspark-submit KubernetesExecutor BuilderExecutorSeq(new BasicDriverFeatureStep(conf),new DriverKubernetesCredentialsFeatureStep(conf),new DriverServiceFeatureStep(conf),new MountSecretsFeatureStep(conf),new EnvSecretsFeatureStep