04-GenAI 时代的开源：多样性算力的机遇与挑战 - 姜逸坤.pdf

1、GenAl时代的开源:多样性算力的机遇与挑战姜逸坤(Yikun)，Huawei,Principal EngineerYikunHuawei,Principal Engineer-Leads an“upstream first”R&D team-vllm-project/vllm-ascend maintainer-PyTorch TAC Member-Apache Spark Committer/PMC member-CNCF Volcano reviewer-Ex-OpenStack Core reviewer目录趋势：应用、模型、算力01多样性算力的机遇和挑战03软件栈：工具链、加速库、框

2、架、硬件使能02Content应用模型算力数据、算法、算力趋势#1 应用趋势：正在经历人工智能的Wow时刻任务替换Wow时刻人工智能 从任务替换到人工智能 从简单任务到复杂编排 从自动化到Wow时刻传统任务AI任务趋势#2 模型趋势：技术摸高与工程创新并行 技术摸高，算法创新、突破 工程创新，极致性能、成本201220132014201520162017201820192020202120222023202420252026训练算力需求AlexNetTransformerGPT-3/3.5 175BPaLM 540BMegatron-Turing NLG 530BGLM-130BBERT-La

3、rgeLlama3-70BGPT-4/4oDeepSeek-V3-671BDeepSeek-R1-671BDeepSeek-R1-Distill-Qwen-32BDeepSeek-R1-Distill-Qwen-1.5B（蒸馏后较原模型能力提升10%+）GPT-4.5Llama4Gemini 2.0Doubao 2.0HunyuanGrok4Baichuan2-13BClaude 2Qwen2.5-MaxGPT-5趋势#3 算力趋势：从单一到多样，在灵活与高效寻找平衡 从单一到多样 从同构到异构 从CPU到GPU、NPUCPUGPUASICFPGANPU灵活高效应对应用、模型、算力的变化：软件

4、栈是什么样子的？模型应用算力？模型、应用与算力的GAP应对应用、模型、算力的变化：软件栈是什么样子的？模型应用算力？稳定性：高可靠、稳定的底座底座GenAI时代坚实的底座：通过Kubernetes轻松定义AI Infra算力Device PluginDynamicResource AllocationVolcanoKueue设备发现编排调度Yunikorn上层业务资源管理CPU/MEMNetworkStorageTraningPyTorch/DeepSpeed.InfernecevLLM/SGLang.apiVersion:v1kind:Podimage:ascend/vllm-ascend:

5、v0.7.3spec:schedulerName:volcanoresources:requests:cpu: 稳定性：提供高可靠、稳定的底座底座框架推动 PyTorch 多样性算力支持，官方支持昇腾2023年起，PyTorch主流版本与官方社区同步发布华为加入PyTorch基金会，成为Premier会员PyTorch 1.1PyTorch 2.1PyTorch2.2PyTorch 2.395+%基础及高级功能覆盖80+%主流官方库支持400+主流模型支持-v2.1:RFC Improved device support:PrivateUse1-v2.4:The interoperabilit

6、y Standard of Third-party Backend Integartion Mechanism-v2.5:RFC Autoload Device Extension-v2.6:RFC Open Registration Extension-Working Group RFC Accelerator test and CI$pip install torch torch-npu import torch torch.npu.is_available()torch.rand(2025,03,15).npu()PyTorchGPU/CPUPrivateUse1 KeyHuawei A