19 AI框架专题论坛.pdf

《19 AI框架专题论坛.pdf》由会员分享，可在线阅读，更多相关《19 AI框架专题论坛.pdf（65页珍藏版）》请在三个皮匠报告上搜索。

1、 1 19AI 框架 2 清华大学教授胡事民：统一计算图机器学习框架 Jittor 的创新与探索整理：智源社区 刘贇在第二届北京智源大会 AI 框架专题中，胡事民教授做了主题为统一计算图：机器学习框架 Jittor 的创新与探索 的报告。胡事民是清华大学计算机系教授，主要研究方向为计算机图形学、虚拟现实、智能信息处理、系统软件等。在ACM TOG/SIGGRAPH、IEEE TVCG、IEEE CVPR 等重要刊物和国际会议上发表论文 100 余篇。现为中国计算机学会副理事长、亚洲图形学学会副主席，并担任 Computational Visual Media 主编和 CAD 等多个期刊编委。在

2、报告中，胡事民介绍了他团队研发的机器学习框架计图（Jittor），它基于“统一计算图”的概念，创新地使用了元算子融合和动态编译技术，目前在多种任务性能上超越国外主流平台。除此之外，计图还在易用性、灵活性以及模型算法覆盖度上做了大量改进。以下是智源社区编辑整理的胡事民演讲要点。一、为什么要做 Jittor鉴于国外主流深度学习框架 Tensorfl ow 和 Pytorch 已经构建起了完整的产业链和庞大用户群体，那为什么清华大学要研发“计图”（Jittor）这样一个 AI 框架？为了回答这个问题，胡事民首先介绍了深度学习框架的一些背景知识。胡事民认为，以深度学习为代表的新一代人工智能技术已经产生

3、非常大的影响，深度学习在某种程度上已经成为科学研究和工程应用的一种新范式，数据驱动的思想已经深入人心。机器学习框架是人工智能的一种核心技术，它不仅要负责机器学习、模型的训练、推理，管理人工智能应用所需要的大规模数据和模型，而且还要负责底层的计算设备调度和资源申请，所以如下图 1 所示，它是在计算设备之上、在应用之间的一个框架层或者平台层。图 1：机器学习框架所处层次 3 接下来，胡事民回顾了深度学习框架十年来的演进情况。2008 年，图灵奖获得者 Bengio 所领导的实验室提出了第一个比较成熟的框架 Theano。这个框架奠定了很好的基础，但是很遗憾在 2017 年就停止维护了，其主要成员后

4、来参加了 Tensorfl ow。在 2013 年时，加州伯克利大学博士生贾扬清提出了 Caff e 平台，后来他加盟了谷歌和 Facebook，并在 Facebook 期间发布了颇具影响力的 Caff e2。但真正在工业界、学术界产生重大推动作用的，是 2015 年由谷歌开源的 Tensorfl ow。因为谷歌的强大影响力，其 2017 年发布的 Tensorfl ow1.0 版本在学术界一度取得了垄断性的应用地位。众所周知，在 2017、2018 年左右，绝大多数和深度学习相关的论文实验都是用 Tensorfl ow 来做的。这股势头直到 2018 年 Pytorch 1.0 的出现才发生

5、了变化。Pytorch 最初发布于 2016 年，特色是提出了动态图的概念。到了 2019 年，学术界将近 70%的文章实验是用 Pytorch 这个平台来做的，由此可一窥动态图思想的主导性地位。图 2：深度学习框架的十年间演进胡事民认为，我们国家人工智能研究尽管非常活跃，也取得了很多大的进展，但是整体上的研究布局并不均衡：我们在算法应用方面做得比较多，在学习平台框架方面却做得比较少，而且我们的算法应用研究大多是基于国外平台 Tensorfl ow 和 Pytorch 等，有被“卡脖子”的风险。这类风险的迹象已经在蔓延，比如华为“清单事件”中，华为被谷歌禁用安卓系统；比如今年 1 月 6 号美

6、国特朗普签署法案，要禁止人工智能软件的出口等。胡事民指出，“为什么做中国自己的机器学习平台”？首先是自主创新的需要，比如 EDA，中国在 20 世纪 90年代在 EDA 算法上是非常领先的，但由于没有注重平台研发和发展，导致现在非常被动。第二，做平台也是人才培养的需要，我们需要培养自己的一代新的人工智能领军人才。4 图 3：深度学习框架在中国的进展那么，构建机器学习平台的难点在哪里？胡事民认为它首先要对机器学习算法本身有深刻的理解，对图形图像应用，也包括自然语言等要有精确的把握。特别重要的是，我们需要对底层系统软件要有很好的掌握。胡事民介绍，他们团队尽管是做图形学的，但是在视觉、机器人、操作系