郑志彤-下一代人工智能：逻辑理解？物理理解？（GOTC上海会场）（38页）.pdf

1、1下一代人工智能：下一代人工智能：逻辑理解？物理理解？逻辑理解？物理理解？姓名：郑志彤（Liam Zheng）2目录目录1.1.当前人工智能的瓶颈当前人工智能的瓶颈2.2.关于下一代人工智能的各家观点关于下一代人工智能的各家观点3.3.人类智能的分析以及对应人工智能领域的发展人类智能的分析以及对应人工智能领域的发展4.4.下一代人工智能的核心是逻辑理解和物理理解下一代人工智能的核心是逻辑理解和物理理解31.1.当前人工智能的瓶颈当前人工智能的瓶颈1.1 鲁棒性差1.2 BP缺失1.3 需标定训练数据量过大1.4 多任务学习欠缺1.5 持续学习欠缺1.6 解释性欠缺1.7 小结41.1 鲁棒性差

2、图像识别攻击51.1 鲁棒性差语音识别攻击61.1 鲁棒性差NLP攻击-GPT271.1 鲁棒性差迁移性差81.2 BP缺失 单次训练成本高单次训练成本高标准前传与反传的计算流程，其中紫色点表示计算结果需要保存在标准前传与反传的计算流程，其中紫色点表示计算结果需要保存在内存内存中。中。91.2 BP缺失层间分工不明晰101.3 需标定训练数据量过大 监督训练过于主导语音识别训练需要11940小时训练，如果一个人每天读两个小时的其中的文本，需要16年才能读完一遍。AlphaGo zero自我对弈490万盘围棋，才能达到顶尖水平，如果一个人花30年的时间，每天必须下450盘。看图说话的训练，如果一

3、个人一天看100张图片文本对，需要274年才能看完一遍。没有充分利用海量未标定数据人类学习常常是反复观察一部分未标定数据，自动抽取关键特征并聚类，只需要极少量的标定和纠错，迭代几次，就训练完毕。111.4 多任务学习欠缺 CV本身的multitask learning没做好；NLP本身的multitask learning也没做好；robot control的multitask learning更没做好。CV+NLP+robot control的multitask learning 基本没做。人类的小孩从出生就开始做multitask learning。121.5 持续学习欠缺 持续学习（co

4、ntinual learning）对于人类很普通，绝大大部分情况下，随着数据的增加，模型会越学越好。目前的深度模型不能很好的做持续学习，即增量学习，很可能和BP有直接的关系，也可能和突触抽象相关。131.6 解释性欠缺 相对于传统的决策树、causal inference、符号系统，目前的BP深度学习模型基本无法解释，无法定位推理故障。人类的模型常常是理论和实验循环迭代，可以快速定位理论的错误。141.7 小结 训练成本高：迁移能力差，一个场景一个模型；标定数据量大。不能快速定位模型错误位置：BP、可解释性差。不抗攻击：微小扰动导致结果大幅偏离。海量无标定数据利用不足。海量任务间的联系利用不足

5、。参数固定，不能自动持续学习，不能自动持续优化。152.2.关于下一代人工智能的各家观点关于下一代人工智能的各家观点2.1 Geoffrey E.Hinton2.2 Yann LeCun2.3 Yoshua Bengio2.4 朱松纯2.5 国内名家观点2.6 小结162.1 Geoffrey E.Hinton 针对卷积网络丢失位置信息的缺点提出胶囊网络。下一代人工智能要彻底解决整体和部分、三维视角equivariant、不同维度差异显式抽取。下一代人工智能要替换BP。172.2 Yann LeCun 下一代人工智能主要依靠自监督学习，实现路径是对比学习。182.3 Yoshua Bengio

6、 当前人工智能是System1：快速、直觉、无意识、非语言、习惯性。下一代人工智能是System2：慢、逻辑、序列、有意识、语言、算法、规划、推理。下一代人工智能重要路径是注意力机制（ATTENTION）、稀疏因子图（SPARSE FACTOR GRAPH）、元学习（META-LEARNING，从IID到OOD，提升泛化能力）。192.4 朱松纯 当前人工智能是鹦鹉范式，鹦鹉经训练可以与人类对话，但是不理解你在说什么；下一代人工智能是乌鸦范式，乌鸦找到核桃之后，会把核桃扔在路上，让车去压，压碎了再吃。但是因为路上车太多，乌鸦吃不到核桃，于是乌鸦把核桃扔到斑马线上，因为这里有红绿灯，红灯亮时车都