徐可甲-面向智算服务构建下一代可观测 Pipeline.pdf

《徐可甲-面向智算服务构建下一代可观测 Pipeline.pdf》由会员分享，可在线阅读，更多相关《徐可甲-面向智算服务构建下一代可观测 Pipeline.pdf（39页珍藏版）》请在三个皮匠报告上搜索。

1、演讲人：徐可甲目 录01云原生智算服务关键技术02智算服务可观测需求与挑战03下一代可观测 Pipeline04智算服务可观测 Pipeline 技术实践未来展望05云原生智算服务关键技术AI在计算机视觉、语音、NLP等领域取得突破，已深入影响各行各业，并催生出了自动驾驶等领域。AI服务上云形成趋势，深度学习/AIGC应用广泛采用容器等云原生技术。深度学习的特点端到端流水线 Raw data in,executable model out 持续迭代优化 梯度下降,超参数调优,Prompt工程 任务长时运行 小时/天/周/月消耗海量数据和大量算力数据准备模型构建模型训练模型推理调优提效开发探索持

2、续发布弹性大模型对基础设施服务能力的挑战是阶跃式的。对“规模、性能、效率”的要求，成为LLM/AIGC快速落地的高门槛。效率资源效率：高利用率、弹性可扩展工程效率：持续快速迭代性能训练：单卡-分布式、混合并行加速推理：模型优化、服务质量Qos规模算力：千卡GPU任务，万卡集群数据：PB级存储，TB级吞吐网络：800Gbps 3.2Tbps RDMA模型参数量每年 10 倍指数级增长异构硬件AI工程通常需要多样化的硬件支持。动态分布式计算AI工程中的计算需求常常具有高度的动态性，如模型训练和推理负载会随数据量和算法复杂度变化。资源隔离性AI工程通常涉及多个团队，不同任务需要独立的资源隔离，避免资

3、源竞争导致性能下降。环境一致性AI工程需要在不同环境（如开发、测试和生产环境）中保持一致性。快速迭代AI模型和算法需要频繁更新和快速迭代。设备插件灵活扩展支持各种设备插件，允许轻松将不同类型的硬件资源集成到集群中。资源调度与弹性伸缩K8s强大的调度能力，根据实际负载自动调整Pod数量，实现计算资源的动态分配与回收。命名空间与资源配额通过命名空间和资源配额确保不同任务的资源独立性。容器化应用管理通过容器化技术，确保在不同环境中运行的AI应用具有一致的运行环境，避免因环境差异引发的问题。持续集成与持续部署（CI/CD）与CI/CD工具的集成，支持自动化构建、测试和部署流程。AI工程计算网络存储GP

4、U Device-PluginRDMA网络CPU、内存海量小文件数据集读取Checkpoint大文件读写传统架构传统架构 资源管理分散、资源利用率低 无法弹性伸缩 生产流程割裂、效率低 团队协作、共享困难AI工程向云原生架构演进云原生架构的容器服务支撑AI智算基础底座云原生架构云原生架构 资源池化：弹性、灵活 生产流程高效闭环 可观测手段丰富 多角色协同，加速迭代更弹性的算力更高的稳定性更快的创新与迭代AI工程平台GPU池存储池开发模型 训练模型 发布模型在云原生架构的Kubernetes集群中管理调度GPU、NPU、RDMA等高性能异构资源，以容器化方式开发、运行AI、大数据任务，部署AI推

5、理服务。到2025年，接近50%的企业内部的数据密集型或性能密集型计算工作负载都将迁移到云原生架构上。云原生 AI利用云计算的弹性资源、异构算力以及容器、自动化、微服务等云原生技术，提升AI/ML的工程效率，降低整体成本，提高可扩展性，并实现端到端的解决方案。统一任务调度统一任务调度保障规模与性能统一资源管理统一资源管理持续优化利用率AI异构工作负载框架 算法与场景 Tensorflow Pytorch Deepspeed Huggingface LangchainDocker Kubernetes Kubeflow Kserve Fluid MLFlow统一工作流，统一调度统 一 管 理GP

6、U异构管理与弹性伸缩GPU共享单卡共享：模型推理场景多卡共享：分布式模型训练GPU监控GPU Exporter+Node Problem DetectorAll-or-Nothing 任务任务组（Gang）内的所有任务必须同时调度和执行将任务打包到尽可能少的节点上，提高资源的使用效率。解决多租集群固定资源分配下，不同用户使用周期不同导致资源浪费问题。智算服务可观测需求与挑战GPU坏卡检测&自愈模型性能优化资源利用率提升AI生产环境稳定性保障云原生智算服务系统分层架构生态扩展、集成云IDC容器平台异构资源管理高性能计算、存储、网络任务调度和流水线AI作业生命周期管理任务性能优化可观测数据驱动工具