未尽研究：通用AI，通用技术，通向何方（2023）（23页）.pdf

《未尽研究：通用AI，通用技术，通向何方（2023）（23页）.pdf》由会员分享，可在线阅读，更多相关《未尽研究：通用AI，通用技术，通向何方（2023）（23页）.pdf（23页珍藏版）》请在三个皮匠报告上搜索。

1、 1/23 通用 AI，通用技术，通向何方 通用 AI，通用技术，通向何方 未尽研究 2023.05.07 摘要 ChatGPT 自从 2022 年底发布以来，迅速成为风靡全球的现象级产品，开启了通用人工智能的时代。这个应用背后的技术，是用深度神经网络技术训练出来的自然语言大模型，它可以生成内容，也具备了逻辑和推理能力，与其他模型和应用协同完成任务。大模型还能打通语言、图像、视频、音频，以及更多对物理环境的感知，产生“具身”的智能。大模型也可能进一步改变科学研究的范式。尽管大模型目前也存在着事实不准确、幻觉等缺陷，并且进一步引发了关于智能的本质的争议，但大模型通过学习人类语言并且掌握其基本结构

2、，从中产生了智能，并且对人类的智能提供了一种参照。大模型在互联网和数字技术的基础之上，成为一种通用技术，正在迅速渗透到数字经济的各个领域，在计算机上形成了自动化完成复杂任务的能力，在知识工作的领域能显著提升劳动生产力，并且引领数字经济向人工智能化发展。根据以往的电力和信息等通用技术颠覆旧技术的研究，大模型的迅速应用，可能在短期内冲击就业市场，但随着新技术带来更多行业的生产力的提升，并且创造新的需求，新技术可能创造新的就业和增长。但这一切还取决于采取相应的政策。对于中国来说，发展大模型面临着一些瓶颈，如算力落差、开源的语言数据不够丰富、先进大模型人才短缺，等等。但中国可以通过多元分布式的布局，统

3、筹超算中心克服短期算力瓶颈，通过开源及要素市场建立起语料数据的供应。由于中国在特定领域、行业应用方面拥有丰富的应用场景，大模型技术在中国有广阔前景，服务于中国的数字经济与创新型经济的大计。2/23 1 通用 AI 1 通用 AI 用人类所有的语言作为用来学习的数据，去复制人类的智能，去发现一种新的智能，这是一项伟大的实验。费曼说过：凡是我不能创造的，我就无法理解。1.1 ChatGPT 时刻 1.1 ChatGPT 时刻 世界上第一个能像人一样对话的机器人，不可能只是在语言实验室里，而只能是出世不久即在真实的世界里与上亿人对话的 ChatGPT。它的字面意思，就是预训练生成式对话机器人。这个机

4、器人的大脑，就是自然语言大模型。这份报告里自始至终会用自然语言大模型（简称大模型）这个概念。这个由深度神经网络训练出来的 GPT-3.5 大模型，拥有 1750 亿个参数，45 万亿个语言标志(token)。神经网络可以从已知的单词正在组成的句子中，预测下一个单词这也是辛顿（Geoffrey Hinton）等人于 1986 年 5 月在自然杂志上发表的论文中，首次提出的语言模型。自然语言展示出智能，就是排序的游戏。我们置身于一个复杂的世界。无论多么复杂，宇宙万物，从人类语言到蛋白质的结构，皆成序列。序列决定结构。结构决定功能。世界上所有的语种，皆是由遵从一定的语义和语法规则而组成的语言文字序列

5、。根据人类的提示，借助从人类语言中知识的学习，计算机通过概率统计，总是能通过推算出下一个单词，以符合语法、语义、上下文信息等，最终生成对人类有意义的词组、句子、段落、表达，并且与人类流畅地对话。图 1：生成式人工智能输出对话的原理示例 机器学习让计算机从经验中学习知识，而不是以人类给计算机规定的形式以获取所需要的所有知识。计算机用较简单的概念，一层一层地学习复杂概念，构建出多层次的深度神经网络。图 2：人工智能的表现改善迅速。人工智能测试与人类水平相比。Kiela et al.（2021）从 2012 年起，人类训练的模型识别图像和声音，接近并超过了人类的水平；对自然语言的辨识和处理能力迅速提

6、升，一些单项语言能力迅速超越人类的能力。到 2016 年时，一个粗略的经验法则是，只要在一个具体的类别给定 5000 个标注样本，监督深度学习一般将达到可以接受的性能，当至少有 1000 万个标注样本的数据集用于训练时，它将达到或超过人类的表现。人是万物之灵。人类之灵，在于语言。人类所有的知识通过语言传播，所有的智慧通过语言传承。维特根斯坦说，思想的边界，止于语言的边界。是不是说，当机器学习了所有的语言，就能达到人类的智能，这是一个假设，一个需要有勇气去证明的假设。3/23 图 3：大模型缩放定律与涌现能力。左图：当模型大小呈指数增长时，相应的模型性能呈线性增长。右图：当模型尺寸达到一定规模时