1、ChatGPT的技术发展路径和带来的影响2023-0301：人工智能和NLP发展路径02：GPT系列模型发展路径03：ChatGPT技术原理解析04：ChatGPT的影响和意义目录CONTENT3人工智能技术发展脉络人工智能诞生最早可以追溯到1956年的感知机模型，经过近70年的发展，已经渗透到各行各业。2011年之前 模型简单受制于当时计算机硬件的发展，模型普遍简单，能力也相对较弱 场景局限模型只能处理单一场景，通用能力非常弱，导致成本过高。2012年至今 大模型得益于底层技术原理的突破和硬件算力的发展，模型越来越大，GPT3（2020年）达到了惊人的1750亿个参数（一般人脑有神经元120

2、到140亿个）大数据庞大的模型需要对应于海量的数据，GPT3使用的数据量已达到45TB，包括了多种主流语言放置示意图 人工干预往往需要如制定规则，词表，标注样本等大量人工工作。多模态语音，文字，图像之间不再存在明显壁垒，模型处理复杂场景的能力明显增加4人工智能的任务类型一般来说，人工智能处理的任务可以分为两类：1.决策式：人工智能回答“选择题”，模型主要处理诸如：判别，分类，排序等任务。2.生成式：人工智能回答“问答题”，需要模型根据输入，自动生成一些新内容（客观世界可能从未出现）。5NLP发展的技术路径自然语言处理（NLP，Natural Language Processing）是研究人与计

3、算机交互的语言问题的一门学科。传统方法(2012年以前)神经网络(2012年2018年)大模型预训练(2018年至今)提示(Prompt)学习(2020至今)典型方法Word2vec的诞生标志着NLP和神经网络的结合，陆 续 出 现 了 FastText、TextCNN、LSTM、Attention等模型特点神经网络的出现，大量减少了人工干预的工作，同义词可以通过向量表征自动学会，句法分析，词性标注等都已经嵌入进模型结构。典型方法常用方法有SVM、TF-IDF、LDA、同义词表、句法解析，语义规则，BP神经网络。特点需要人工进行干预，如制定规则，词表，权重等。应用场景单一，都是针对特定场景进行

4、开发。需要做大量特征工程。典型方法2018年，GPT和Bert的先后出现，标志着大模型时代的到来，后续诞生的Bart、ERNIE，T5等方法不断探索大模型的能力边界。特点模型参数量、数据量均上升了一个台阶，但是大部分模型利用文本自身特点生成训练样本，省去了很多人工标注的工作。在特定场景使用微调技术，降低了大模型跨场景的门槛。典型方法特点将所有任务，都转变为生成式任务。模型不再需要微调，使得零样本和少样本学习成为可能。提示学习将下游任务的建模方式重新定义，通过合适的prompt来实现直接在预训练模型上解决下游任务，如GPT3，T5。01：人工智能和NLP发展路径02：GPT系列模型发展路径03：

5、ChatGPT技术原理解析04：ChatGPT的影响和意义目录CONTENT7GPT系列模型发展路径在这个大模型时代，国内外各大厂商均对大模型积极布局，呈现百家争鸣的现象。Nvidia或成最大赢家。各大厂商的布局三种技术流派 自从2017年，Transformer被提出来后，Google，Meta，OpenAI均在大模型上有所建树，并产生了三种技术流派：1.自编码(Bert等)2.自回归（GPT等）3.二者结合（T5，BART等）底层技术原理8NLP技术发展带来的影响最近10年，是NLP技术和业务场景发展最快的黄金时期，NLP本身的技术体系被重构，所影响的业务领域也不断扩大。技术体系的改变 中

6、间任务的消亡中间任务是指并不直接面向最终目标，而是为了解决最终目标的一些阶段性任务。因为神经网络的发展，诸如语法分析，词性标注，分词等特有的中间任务已经几乎无人问津。使用场景的扩大 搜广推等内容链接领域NLP最成功的的商业化应用场景就是搜索，推荐，广告，技术的发展催生出一系列巨头（谷歌，百度，字节）未来的发展 大模型时代ChatGPT的出现，标志着大模型已经突破了技术的天花板，让大模型这条技术发展路线更为坚定。All you need is Money现在完成一个NLP任务，需要的不仅是技术，而且还包括算力，数据等资源。这背后都是巨额的资金投入。丰富的人机交互各类聊天机器人，语音助手，等人机交