软硬一体 — 使用阿里云 GPU 云服务器加速智能计算.pdf

1、01云上GPU基础设施02A加速引擎AIACOContents目录03大数据加速引擎04A100新产品#page#云上GPU基础设施01#page#O6阿里云智能计算全流程奥运会全球指定云服务商准备数据版本更新/弹性推理服务调试模型开发伸缩模型训练端到端生命周期-Datain，executableout运行时间长-小时、天、周性能优化选代优化-CrossValidate，tuning线性扩展数据量大、更新频繁、计算规模大、复杂调参#page#阿里云（奥运会全球指定云服务商软硬一体的云上GPU基础设施制造机器学习图形图像科学计算云端设计CAD机械仿VR/AR，云游戏影视染气象预测，油气勘探，分子

2、动力学研究真，流体模拟语音识别，自然语言处视频直播品集群部署工具FastGPU、AI加速引擎AIACC、大数据加速引擎弹性加速EAISEAIS.EI图形虚AI训练/高性能计算AI推理拟化推理场景sccgn6gn79n6iEAIS.Graphicsgn5gn5ivgn6iebmgn6ebmgn7ebmgn6i9n6图形处理NVIDIANVIDIANVIDIANVIDIANVIDIANVIDIAEAIS.CODECA100P100P44*14GRIDV100流媒体编解码神龙架构#page#AI加速引擎AIACC02#page#阿里云QAIACC-Training架构奥运会全球指定云服务商AIACC

3、-Training架构架构MXNetCafePyTorch各框架接口统一抽象TensorFlow各框架基础组件统一抽象统一通信接口类，各基础通信库统一抽象统一基础组件类（Context、Tensor）提供统一梯度入口层统一基础通信类（MPI、NCCL）梯度做统一分布式性能优化统一梯度入口层优势高性能分布式通信库（统一性能优化）多框架统一加速梯度协商优化兼容开源框架接口、用户代码无侵入梯度融合优化一份核心优化代码，统一优化梯度压缩优化通信操作优化#page#QS阿里云（架构奥运会全球指定云服务商AIACC-Inference阿里云1Q99AIACC-Inference架构架构MXNetKaldi

4、CaffePyTorchTensorFlow模型转换工具：统一转换到TF/ONNX模型TF模型ONNX模型TF/ONNX加速引擎：模型子图分割和子图融合，分割的子图通传给高性能算子加速库加速ONNX加速引擎TensorFlow加速引擎模型子图分割模型子图分割高性能算子加速库模型子图融合模型子图融合统一接口：将自研高性能算子库和Nvidia算子TF ParserONNX Parser库统一接口高性能算子加速库高性能算子列表Auto-Tuning：自研高性能算子库和Nvidia算ops 0ops 1,ops2.ops n； fusion ops 1.fusion ops 2.fusion opsn

5、子库找到最优算子，生成高性能算子列表Auto-TuningTF/ONNX加速引擎依据高性能算子列表进行子图分割和传递统一调用接口fusiorfusioropsnops0nops0ps1OpsZCuDNNTensorRT自研高性能算子加速库#page#阿里云Q奥运会全球指定云服务商案例：大规模图像分类一键创建计算、网络、存储资源+AIACC分布式训练场景：大规模图像识别千万/亿级图像分类AIACC-MXNet框架：MXNet配置：WorkerOWorker1Worker2Worker38xP100GPU卡，56vcpuGPU云服务器GPU云服务器GPU云服务器GPU云服务器25Gb网络存储：读取

6、数据并行文件系统CPFSBatch1BatchoBatch2Batch3并行文件系统CPFS#page#大数据加速引擎03#page#阿里云Q奥运会全球指定云服务商GPU加速SparkDISTRIBUTEDSCALE-OUTAPPUCATIONSSPARKCONPONENTSML/DLFRAMEWORKSGRAPHXSpark SueamlnAPACHESPARK3.0CORERAPIDSAcceleratorforSparkRAPIDSCUDFCUMLcuGraphCUDA