2020年终大会-机器学习平台：13-5.pdf

1、58深度学习平台在提高模型推 理性能和GPU使用率上实践 陈兴振 - 58同城 AI Lab 2020.12.20 58深度学习平台介绍 模型推理加速 提升平台GPU使用率 总结及计划 分享大纲 58深度学习平台 算力算力 CPUK40P40T42080ti 存储存储 RAIDHDFS 对象存储 （WOS） 高性能网络文件系统高性能网络文件系统 （WFSWFS） KubernetesKubernetes 资源管理任务调度服务发现 ETCDCalicoDNS PrometheusGrafana DockerDocker、NvidiaNvidia- -Docker2Docker2 深度学习框架深度

2、学习框架 rsyslog 开发实验开发实验模型训练模型训练推理服务推理服务 负载均衡一键扩容 推理加速（TF-TRT、TensorRT、MKL、OpenVINO）单机单卡训练 参数服务器（多机多卡训练） 代码在线调试 资源复用 监控 中心 日志 中心 镜像 中心 ABTest WubaNLPWubaNLP 序列标注文本分类文本匹配 凤凰图像算法平台凤凰图像算法平台 图像样本库图像算法组件 搜索推荐NLP语音图像风控 推理服务 通用预测接口 协议解析 流量转发/负载均衡 模型1解析jar包 模型2解析jar包 模型n解析jar包 SCF 服务 业务方线上请求： 模型ID + 预测数据（Objec

3、t） Jar包热加载 pod2 podn pod1 模型1预测实例 pod2 podn pod1 模型2预测实例 pod2 podn pod1 模型n预测实例 TensorFlow Serving PyTorch gRPC Serving 自定义模型 gRPC Serving Web 管 理 系 统 Kubernetes Jar 包 推 送 模 型 部 署 、 扩 缩 容 模型1协议实体模型n协议实体 模型推理加速 GPU上推理优化历程 前期：主要支持TensorFlow框架 采用TF-TRT快速上线 后期：TensorRT+Triton Inference Server支持所有框架 Framework Integration UFF ONNX Model Import Network Definition API Custom Framework TensorRT Optimize r