肖松-大模型场景下智算平台的设计与优化实践.pdf

1、大模型场景下智算平台的设计与优化实践肖松2024.06.14不同时期对智算平台的需求2引言客户客户B B我的模型跑起来耗时长，能加速吗？我的模型跑起来耗时长，能加速吗？客户客户A A我资源比较少，几十卡的规模，如何提升卡的利用率？我资源比较少，几十卡的规模，如何提升卡的利用率？客户客户C C我想跑大模型，需要多少资源？网络如何构建？多长时间能跑完？我想跑大模型，需要多少资源？网络如何构建？多长时间能跑完？客户客户D D国产卡怎么用？能否与国产卡怎么用？能否与 NVNV 卡一起使用？卡一起使用？20182024目录0101大模型时代，智算平台新特点4 40202智算平台需解决的问题6 60303

2、大模型场景技术实践8 80404对于智算平台发展的未来思考252501 大模型时代，智算平台新特点小模型 vs.大模型小模型 vs.大模型5大模型时代，智算平台新特点ResNet50（小模型）训练时长训练成本工程问题增强：参数爆炸突破显存墙，多机多卡成为常态增强：卡间和机间高性能通信愈发重要增强：耗时长凸显大模型训推加速需求新增：成本高带来稳定性需求，减少资源闲置维持：GPU切分在小模型和推理场景依然存在新增：新卡适配和芯片利旧，多芯混合调度新增：数据集处理加速新增：数据湖存储和高性能存储参数算力128 块 V100数据167G（ImageNet）158秒$1525M（0.025B）GPT-4

3、（大模型）训练时长训练成本参数算力8192 块 H100数据13T55天$2150万1800Bvs.vs.新要求*数据来源：非官方数据，为业界推测基础设施、调度、应用、运维02 智算平台需解决的问题基础设施、调度、应用、运维7智算平台需解决的问题基础设施基础设施调度调度应用应用算力算力存储存储网络网络适配多种异构芯片固件、OS内核、驱动兼容混合多芯混合多芯优化存储读写性能优化存储读写性能镜像加速、镜像预铺搭建和调试高性能网络搭建和调试高性能网络资源管理资源管理任务管理任务管理大规模异构算力高效调度和分配算力虚拟化算力虚拟化多种AI框架和并行策略支持AI AI 任务调度任务调度和任务流管理云原生

4、容器化数据数据训练训练推理推理数据集下载和转储加速转储加速数据集的清洗和加工处理训练任务的性能优化训练任务的性能优化任务的监控和容错容错FlashFlash CheckpointCheckpoint推理任务的性能优化推理任务的性能优化在线服务的监控告警运维运维03 大模型场景技术实践基础设施层国产卡能否与 NV 卡一起使用？9基础设施混合多芯拟合性能系数统一并行策略AI 效能矩阵图谱通信整合10基础设施高性能存储托管 BCC/BBC 集群M E MD I S KM E MD I S KM E MD I S KM E MD I S KTCP/InfiniBand/RoCETCP并行文件存储并行文

5、件存储 PFSPFS分布式缓存加速存储分布式缓存加速存储 RapidFSRapidFS对象存储对象存储 BOSBOS标准存储标准存储低频存储低频存储冷存储冷存储归档存储归档存储镜像加速镜像加速超大镜像预加载P2P镜像分发流式镜像拉取训练数据加速训练数据加速高性能并行文件系统全SSD闪存RDMA链路加速模型加速模型加速大吞吐数据湖存储分布式缓存加速镜像服务镜像服务流式读取P2P加速如何实现数据集加速？如何 I/O 加速？11基础设施高性能网络TorTor拓扑感知调度拓扑感知调度NCCLNCCL通信拓扑感知通信拓扑感知3 3层无收敛层无收敛RDMARDMA网络网络UpUp toto 512512U

6、pUp toto 512512UpUp toto 1616K+K+如何实现通信库加速？03 大模型场景技术实践调度层如何提高单卡资源利用率？13调度GPU虚拟化CUDA driver API，提供显存限制，算力时分复用用户态方案CUDA runtime API，提供远程调用，显存限制，算力时分复用内核模块修改，提供显存限制，算力时分复用内核态方案Full/para-虚拟化，内核模块修改，MMIO拦截，显存划分，算力时分复用NV官方，硬件划分，提供显存划分、算力划分、编解码划分（1/7）硬件方案SR-IOV，硬件划分，提供显存划分、算力划分（1/3、1/2）Nvidia MIG昆仑2 SR-IO