02人工智能的数理基础专题论坛.pdf

《02人工智能的数理基础专题论坛.pdf》由会员分享，可在线阅读，更多相关《02人工智能的数理基础专题论坛.pdf（35页珍藏版）》请在三个皮匠报告上搜索。

1、102 人工智能的数理基础2 伊利诺伊大学香槟分校孙若愚：从全局景观的角度分析并改进 GAN整理：智源社区杨埔孙若愚本次演讲的主题为Global Landscape of GANs:Analysis and Improvement how two lines of code change makes difference。孙若愚，伊利诺伊大学香槟分校（UIUC）助理教授，北京大学数学系理学学士，明尼苏达大学电气工程专业博士。曾经是斯坦福大学管理科学与工程系博士后研究员，Facebook 人工智能研究中心客座研究员。孙若愚在深度学习的优化、机器学习的非凸优化、大规模优化中都做出了重要贡献。个人主

2、页：https:/ruoyus.github.io/在演讲中，首先，对于目前常用的 GAN（Generative Adversarial Network，生成式对抗网络），孙若愚指出了在概率空间上研究的缺陷并提出在函数空间上研究。然后在函数空间上，通过观察函数的景观（landscape），他发现传统的 JS-GAN 有“盆地”，这很有可能导致训练陷入严格的局部最小点无法逃逸，使得模型崩溃。而RS-GAN（Relativistic Standard GAN）没有这样的盆地，也就是有更好的景观。这样的现象在理论上得到了证明，并且在实验中也验证了 RS-GAN 比 JS-GAN 表现得更好。这项工作

3、让我们对 GAN 有了更好的理论上的理解，它是由孙若愚与 Tiantian Fang,Alex Schwing 合作完成，原始论文见参考文献（On Understanding the Global Landscape of Generative Adversarial Nets）。一、传统 GAN 模型的背景介绍GAN 是一种非常流行的生成模型。随着时间的推移，GAN 的功能逐渐强大，生成的目标越来越接近真实目标，主要应用于还原受损的图片、风格迁移、生成图像、生成视频等等。GAN 面临两个非常困难的挑战：第一，是 GAN 调参特别困难，需要花费大量时间调参才能让模型起作用；第二，是 GAN 模

4、型非常庞大，需要花费大量的计算资源。这两点导致了 GAN 难以训练，所以人们希望通过对GAN 的理论理解去设计更好的算法。传统的 JS-GAN 本质上是让生成样本的概率分布和真实数据的概率分布尽量接近，数学化的表达就是一个 min-max 优化问题：图 1：传统的 JS-GAN3对 GAN 的理论研究分为两类。一是从统计的角度，例如关于 JS 距离（参考文献 Goodfellow et al 14）、W-GAN（参考文献 Arjovsky&Bottou,2017）、f-GAN（参考文献 Nowozin et al.16）以及泛化边界（参考文献 Arora,Ge,Liang,Ma,and Zha

5、ng,2017）等等。二是从优化的角度，例如考虑收敛到局部最小点或者稳定点（参考文献 Daskalakis et al.,2018;Daskalakis&Panageas,2018;Azizian et al.,2019;Gidel et al.,2019;Mazumdar et al.;Yazc et al.,2019;Jin et al.,2019;Sanjabi et al.,2018）。孙若愚这里用了一个非常形象的图来讲述了研究模型理论由易到难的三步：S1 概率空间（pdf space），S2 生成函数空间（generator function space），S3 参数空间（param

6、eter space）。理论和实际的差距就在于，在实际中我们都是在参数空间，而理论上通常只能研究概率空间。在优化理论上有四步：01 需要全局最小点吗，02 存在坏局部最小点吗，03 如何收敛到全局最小点，04 收敛速度。图 2：从简单的理论模型过渡到复杂的理论模型他这项工作最大的进步就在于从概率空间上的理论研究进步到了生成函数空间和参数空间上。优化理论是在 01和 02 上。接下来的部分，孙若愚重点研究了生成函数空间和局部最小点空间的情况，因为这种情况最有启发性，能帮助我们理解 GAN。研究清楚这种情况之后，其余三种情况都能够很容易地得到对应的结论。图 3：GAN 的优化分析4二、经验损失（E