清华大学：人工智能之机器学习2020年第1期[50页].pdf

1、 人工智能报告之机器学习 Artificial Intelligence Report of Machine Learning 2020 年第 1 期 顾问：唐杰 2020 年 1 月 II rQqPrRmQmRqOnPmNxPpOpM6M8Q7NsQnNsQmMiNoOrMiNpOpPbRpPzRvPtQtMxNtRrP 图目录 图 1-1 机器学习发展历程 . 1 图 2-1 机器学习分类 . 2 图 2-2 GAN 发展脉络 . 3 图 2-3 AutoML 基本过程 . 5 图 2-4 ATMSeer 自动机器学习定制化工具的用户友好型交互界面 . 5 图 2-5 Transforme

2、r 的网络架构 . 8 图 2-6 图卷积示意图 . 9 图 3-1 深度学习模型最近若干年的重要进展 . 11 图 3-2 卷积神经网络的重要进展 . 12 图 3-3 Auto-Encoder 的重要进展 . 12 图 3-4 循环神经网络 RNN 的重要进展 . 13 图 3-5 网络表示学习与图神经网络的重要进展 . 13 图 3-6 增强学习的重要进展 . 14 图 3-7 生成对抗网络的重要进展 . 14 图 3-8 老虎机的重要进展 . 15 图 5-1 机器学习领域全球学者分布 . 21 图 5-2 机器学习领域学者 h-index 分布 . 22 图 5-3 机器学习领域中国

3、学者分布 . 22 图 6-1 自动驾驶目标识别、运动预测 . 31 图 7-1 机器学习技术趋势 . 35 表目录 表 4-1 ICML 近 10 年 best paper . 18 表 4-2 NeurIPS 近 10 年 best paper . 19 表 5-1 机器学习领域中国与各国合作论文情况 . 23 表 5-2 NeurIPS 高引学者 TOP100 . 26 表 8-1 机器学习三级知识树 . 错误错误!未定义书签。未定义书签。 概述篇 1 1 概述篇概述篇 1.1 机器学习机器学习的概念的概念 机器学习已经成为了当今的热门话题， 但是从机器学习这个概念诞生到机器学习技术的

4、普遍应用经过了漫长的过程。 在机器学习发展的历史长河中， 众多优秀的学者为推动机器学 习的发展做出了巨大的贡献。 从 1642 年 Pascal 发明的手摇式计算机， 到 1949 年 Donald Hebb 提出的赫布理论解 释学习过程中大脑神经元所发生的变化，都蕴含着机器学习思想的萌芽。事实上，1950 年 图灵在关于图灵测试的文章中就已提及机器学习的概念。到了 1952 年，IBM 的亚瑟塞缪 尔（Arthur Samuel，被誉为“机器学习之父”）设计了一款可以学习的西洋跳棋程序。塞缪 尔和这个程序进行多场对弈后发现，随着时间的推移，程序的棋艺变得越来越好1。塞缪尔 用这个程序推翻了以

5、往“机器无法超越人类，不能像人一样写代码和学习”这一传统认识。 并在 1956 年正式提出了“机器学习”这一概念。 对机器学习的认识可以从多个方面进行，有着“全球机器学习教父”之称的 Tom Mitchell 则将机器学习定义为：对于某类任务 T 和性能度量 P，如果计算机程序在 T 上以 P 衡量的性能随着经验 E 而自我完善，就称这个计算机程序从经验 E 学习。 普遍认为，机器学习（Machine Learning，常简称为 ML）的处理系统和算法是主要通过 找出数据里隐藏的模式进而做出预测的识别模式，它是人工智能（Artificial Intelligence，常 简称为 AI）的一个重

6、要子领域。 1.2 机器学习机器学习的发展的发展历史历史 从机器学习发展的过程上来说，其发展的时间轴如下所示： 图 1-1 机器学习发展历程 人工智能之机器学习 2 2 技术篇技术篇 2.1 机器学习算法分类机器学习算法分类 机器学习算法可以按照不同的标准来进行分类。比如按函数 f (x，)的不同，机器学习 算法可以分为线性模型和非线性模型； 按照学习准则的不同， 机器学习算法也可以分为统计 方法和非统计方法。但一般来说，我们会按照训练样本提供的信息以及反馈方式的不同，将 机器学习算法分为监督学习、无监督学习和强化学习 2。 图 2-1 机器学习分类 2.2 机器学习的经典代表算法机器学习的经