2019年源于产业实践的开源深度学习平台飞桨(PaddlePaddle).pdf

1、深度学习推动人工智能进入工业大生产阶段人工规则机器学习深度学习标准化自动化模块化通用性深度学习在各行业的商业增值潜力128898785857967575655555044444439383630旅游物流运输零售汽车高新技术油气化学媒体娱乐基础材料有包装商品农业银行医疗保健公共部门电信医疗制药保险半导体航天及国防Average=62来源 人工智能前沿报告：深度学习的应用和价值，麦肯锡百度深度学习20122013201720152018深度学习技术及应用国家工程深度学习技术及应用国家工程实验室挂牌（国内唯一）实验室挂牌（国内唯一）信息流推荐全面使用深度学习信息流推荐全面使用深度学习视觉模型、NLP

2、模型、深度强化学习在多项国际比赛/评测中夺冠深度学习技术平台部DLTP成立2019深度学习模型在搜索和凤深度学习模型在搜索和凤巢上线（业内首次）巢上线（业内首次）深度学习研究院（实验室）深度学习研究院（实验室）IDLIDL成立（业内首个）成立（业内首个）语音识别和语音识别和OCROCR中中应用深度学习模型应用深度学习模型神经网络翻译模型上线百神经网络翻译模型上线百度翻译（业内首次）度翻译（业内首次）深度学习语义匹配特征占深度学习语义匹配特征占搜索权重超过搜索权重超过50%50%领先的语义表示模型Ernie领先的语音识别模型SMLTA深度学习网络结构复杂多样，研发门槛高芯 片模 型应 用框 架组

3、 网训 练预 测深度学习框架极大解放了生产力Paddle 20132016.92017.102018.10PaddlePaddle开源Paddle FluidPaddlePaddle SuitePaddle Fluid 1.0Paddle Fluid 1.5PArallel Distributed Deep LEarning飞桨（PaddlePaddle）历史深度学习当下的挑战与机遇大数据大模型大算力预训练模型迁移学习AutoDL、模型压缩云平台和端高速推理引擎端到端全流程深度学习平台领域标记数据缺少模型设计难上线难训练预测算力不足模型库开发动态图静态图训练大规模分布式训练工业级数据处理预测P

4、addle ServingPaddle MobilePaddleSlim安全与加密PaddleRecPaddleNLPPaddleCV核心框架工具组件VisualDL训练可视化工具PaddleHub迁移学习PARL强化学习EDL弹性深度学习计算EasyDL零基础定制化训练和服务平台AI Studio一站式开发平台服务平台AutoDL Design自动化网络结构设计飞桨（PaddlePaddle）全景图EasyEdge端计算模型生成平台PythonAPIC+interfaceC+FrameworklayersDyGraphLayersInference APIPybindOptimize Pas

5、sMemory ManagementOpsExecutorTracer飞桨基础框架“Program”ProgramDesc-IRExecutorOperatorsTracerDefineCompile TimeRun TimeImperative飞桨分布式训练Parameter ServerCollective AllReduceGPU多机多卡高效同步并行训练Instance type:NVIDIA DGX-1GPU:8x NVIDIA Volta V100CUDA/cuDNN/NCCL:9.2/7.3/2.3.4Dataset:ImagenetResNet50 Benchmark ALL-R

6、educe ALL-Reduce通信拓扑优化梯度向量聚合减少通信次数计算与通信流水并发降低通信等待Paddle Fluid 1.4 和1.5对照GPU多机多卡高效同步并行训练GPU:NVIDIA Tesla V100Machine number*Card number:4*4System:Centos 6u3Cuda/Cudnn:9.0/7.1Dataset:ImageNetPaddleVersion:1.4Model:Resnet50Batch size:32减少通信内容：稀疏通信（DGC）异步高并发Worker线 程 级 的 异 步 I O、异 步 计 算、异 步 通 信高并发Server