陈仲铭-大模型训练中PyTorch与国产芯片的爱恨情仇.pdf

《陈仲铭-大模型训练中PyTorch与国产芯片的爱恨情仇.pdf》由会员分享，可在线阅读，更多相关《陈仲铭-大模型训练中PyTorch与国产芯片的爱恨情仇.pdf（58页珍藏版）》请在三个皮匠报告上搜索。

1、PyTorchPyTorch与国产芯片的与国产芯片的爱恨情仇爱恨情仇演讲人：ZOMI 酱PyTorch+国产芯片一体化机房高效液冷+高功率供电计算子系统网络子系统存储子系统AI芯片使能CANNiMaster NCEDMEDPC云平台（HCS/HCSO/三方平台）AI框架AI训练平台文本生成|视图生成|视图分析|广告推荐|自动驾驶|智能语音|AI Agent|科学智能CCAE统一运维管理平台工具链昇腾AI大模型训练解决方案昇腾计算架构 CANN运行时|毕昇编译器|Ascend C|算子加速库|GE图引擎MindSporePyTorchMindX昇腾应用使能MindX SDK检索聚类|推荐搜索|.

2、MindStudio全流程工具链算子开发工具调试调优工具MindSpeed加速套件分布式并行加速MindIE推理引擎推理运行时|推理服务化模组MDC推理卡小站推理服务器训练卡集群训练服务器昇腾AI训练解决方案PyTorch目 录01PyTorch 框架发展02PyTorch框架架构03昇腾遇上 PyTorch04总结与思考01我没有副标题哦PyTorch PyTorch 框架发展框架发展有没有开发者没用过 PyTorch？可能，你不是开发者为什么你们会用 PyTorch？别人用，我也用 参考样例和模型代码多 论文和模型都是基于 PyTorch PyTorch 真的很好用，我哭死()PyTorc

3、h 易用性很强 基于 PyTorch 的三方库很多 网上能找到 PyTorch 问题的资料很多Paper With Code TrendsPyTorch 框架的发展历程2002.10TorchTorch 是一个Facebook的开源机器学习库、一个科学计算框架和一种基于 Lua 编程语言的脚本语言。2017.01 PyTorch 0.1它标志着该项目的正式诞生。这个版本为神经网络的构建提供了基本的构建块，例如 Tensor（类似于numpy数组，可自动求导）和 autograd（用于自动计算梯度）2018.4 PyTorch 0.4PyTorch 0.4 提出动态计算图（Dynamic Com

4、putational Graph），版本凭借其易用性、灵活性和高效性等特点，成为了深度学习研究和应用的首选框架之一。2018.5 PyTorch 1.0PyTorch 1.0引入了更为丰富的特性，包括动态计算图、更强大的GPU加速支持、改进的模型库以及更好的文档。2019.10PyTorch 1.3PyTorch 1.3 版本的核心特性包括对移动设备的支持、命名张量、量化支持以及类型提升等。这些更新显著提升了 PyTorch 在移动端部署、模型性能和易用性方面的能力。2022.09PyTorch正式加入Linux基金会2023.03 PyTorch 2.0PyTorch 2.0 的核心特性可以

5、概括为：通过 pile API，提供了模型编译功能，能够在不改变模型代码的情况下加速模型，同时保持了与 PyTorch 1.x 的完全向后兼容性。https:/pytorch.org/foundationPyTorch功能定位PyTorch框架具有很多框架优势，简单易用、设备切换简单、灵活的动态图设计，PyTorch目前在开源生态中使用广泛。昇腾芯片在PyTorch上进行适配，可以加快昇腾全栈全场景AI解决方案推广使用。昇腾全栈全场景AI解决方案行业应用ModelArts全栈HiAI Service第三方平台应用使能MindX DLMindSporeTensorFlowPyTorchAI框架C

6、ANN异构计算架构(Compute Architecture for Neural Networks)Ascend-NanoAscend-TinyAscend-LiteAscend-MiniIP&ChipAscend-Cloud消费终端公有云私有云边缘计算IoT行业终端全场景MindX EdgeMindX SDKModelZoohttps:/pytorch.org/foundationPremier Members02我没有副标题哦PyTorch PyTorch 框架架构框架架构PyTorch底层聚焦易用性，向上做好社区服务赋能三方库第三方模型工具库数据预处理基础操作神经网络可视调试strin