南京航空航天大学：ChatGPT的前世今生（2023）（462页）.pdf

1、ChatGPT的前世今生李丕绩计算机科学与技术学院/人工智能学院南京航空航天大学个人介绍4/11/2023Piji Li,LLM&ChatGPT2 教育经历 香港中文大学,博士,2018 自然语言处理 山东大学,本科&硕士,2009&2012 计算机视觉&信息检索 工作经历 北京百度,2012 深圳无觅,2013 深圳腾讯AI Lab,2018 南京航空航天大学,2021 自然语言处理人工智能发展史4/11/2023Piji Li,LLM&ChatGPT接触AI4/11/2023Piji Li,LLM&ChatGPT4AI十年回顾4/11/2023Piji Li,LLM&ChatGPT5Ale

2、xNet00.050.10.150.20.250.30.350.4ImageNet Classification ErrorAI十年回顾4/11/2023Piji Li,LLM&ChatGPT62013201420122006-2009,1000 categories and 1.2 million training imagesLi Fei-Fei:ImageNet Large Scale Visual Recognition Challenge,2014DeeperNetwork in NetworkDeepDNNFirst Blood2015AI十年回顾4/11/2023Piji Li,

3、LLM&ChatGPT7https:/ Li,LLM&ChatGPT8“深度学习三巨头”之称的Yoshua Bengio、Yann LeCun、Geoffrey Hinton共同获得了2018年的图灵奖，这是图灵奖1966年建立以来少有的一年颁奖给三位获奖者。00.050.10.150.20.250.30.350.4ImageNet Classification ErrorAI十年回顾4/11/2023Piji Li,LLM&ChatGPT92013201420122006-2009,1000 categories and 1.2 million training imagesLi Fei-F

4、ei:ImageNet Large Scale Visual Recognition Challenge,2014DeeperNetwork in NetworkDeepDNNFirst Blood2015AI十年回顾何恺明4/11/2023Piji Li,LLM&ChatGPT10Kaiming He，本科就读于清华大学，博士毕业于香港中文大学多媒体实验室。2011年加入微软亚洲研究院（MSRA）工作。2016年，加入Facebook AIResearch（FAIR）担任研究科学家AI十年回顾4/11/2023Piji Li,LLM&ChatGPT11AlphaGOAI十年回顾 DeepMi

5、nd成立于2010年，2014年被Google收购。2014年开始开发人工智能围棋软件AlphaGo。2015年10月，分布式版AlphaGo分先以5:0击败了欧洲围棋冠军华裔法籍职业棋士樊麾二段。2016年3月，AlphaGo挑战世界冠军韩国职业棋士李世乭（）九段，对弈结果为AlphaGo 4:1战胜了李世乭。4/11/2023Piji Li,LLM&ChatGPT12AI十年回顾4/11/2023Piji Li,LLM&ChatGPT13AI十年回顾 4:14/11/2023Piji Li,LLM&ChatGPT14AI十年回顾AI绘图4/11/2023Piji Li,LLM&ChatGP

6、T15AI十年回顾4/11/2023Piji Li,LLM&ChatGPT16AI十年回顾4/11/2023Piji Li,LLM&ChatGPT17AlphaFoldAI十年回顾4/11/2023Piji Li,LLM&ChatGPT CASP 2018-AF1 2020-AF2 2021-NatureAI十年回顾4/11/2023Piji Li,LLM&ChatGPT19Diffusion ModelStable Diffusion4/11/2023Piji Li,LLM&ChatGPT20Disco Diffusion4/11/2023Piji Li,LLM&ChatGPT21Midjo

7、urney v54/11/2023Piji Li,ChatGPT22Diffusion Model4/11/2023Piji Li,LLM&ChatGPT23AI十年回顾4/11/2023Piji Li,LLM&ChatGPT25ChatGPTGPT44/11/2023Piji Li,LLM&ChatGPT26ChatGPT Mar.14,20234/11/2023Piji Li,LLM&ChatGPT27GPT-4AI十年回顾4/11/2023Piji Li,LLM&ChatGPT28AI十年回顾4/11/2023Piji Li,LLM&ChatGPT29人工智能 机器学习 计算机视觉 自然

8、语言处理 语音识别及合成 机器人4/11/2023Piji Li,LLM&ChatGPT30什么是自然语言处理？自然语言 人类使用的语言，如汉语、英语、法语等；特指文本符号(非语音)。如何定义 自然语言处理(Natural Language Processing,NLP)是利用计算机技术来分析、理解和处理自然语言的一门学科,涉及到语言学、计算机科学、人工智能等交叉领域，关注计算机和人类(自然)语言之间的交互。可分为自然语言理解(Natural Language Understanding,NLU)和自然语言生成(NaturalLanguage Generation,NLG)两大部分。属于认知智

9、能 计算智能(能存会算)，感知智能(能听会说，能看会认)认知智能(能理解会思考，需要抽象和推理能力)4/11/2023Piji Li,LLM&ChatGPT31认知智能4/11/2023Piji Li,LLM&ChatGPT32#自然语言处理太难了#4/11/2023Piji Li,LLM&ChatGPT33 歧义性 主观性 创新性 知识性 组合性 上下文 多模态#自然语言处理太难了#4/11/2023Piji Li,LLM&ChatGPT34 歧义性 主观性 创新性 知识性 组合性 上下文 多模态“自然语言处理是人工智能皇冠上的明珠”4/11/2023Piji Li,LLM&ChatGPT3

10、5(from：哈工大车万翔)ChatGPT!ChatGPT是怎么诞生的？4/11/2023Piji Li,LLM&ChatGPT36罗马不是一天建成的 向量空间模型 Bm25 Svd Plsa Lda Word2vec Deepwalk transE Cnn句子分类 匹配、摘要等 Seq2seq翻译ChatGPT是怎么诞生的？4/11/2023Piji Li,LLM&ChatGPT37 CnnSeq Transformer Language model Lstm pretrain ELMo GPT BERT xlnet roberta、albert、electra GPT2 GPT3 BART

11、 T5 PEGASUS WebGPT RLHF InstructGPT内容基础技术预训练技术ChatGPT未来展望4/11/2023Piji Li,LLM&ChatGPT38内容基础技术预训练技术ChatGPT未来展望4/11/2023Piji Li,LLM&ChatGPT394/11/2023Piji Li,LLM&ChatGPT40基础技术的故事4/11/2023Piji Li,LLM&ChatGPT41Language Model语言模型语言模型 Language Model4/11/2023Piji Li,LLM&ChatGPT42孙栩，自然语言处理导论语言模型 Language Mo

12、del4/11/2023Piji Li,LLM&ChatGPT43孙栩，自然语言处理导论语言模型 Language Model4/11/2023Piji Li,LLM&ChatGPT44孙栩，自然语言处理导论N-gram LM4/11/2023Piji Li,LLM&ChatGPT45孙栩，自然语言处理导论N-gram LM4/11/2023Piji Li,LLM&ChatGPT46孙栩，自然语言处理导论N-gram LM4/11/2023Piji Li,LLM&ChatGPT47孙栩，自然语言处理导论Evaluation:Perplexity4/11/2023Piji Li,LLM&Chat

13、GPT48 Neural Network based Language ModelNN LM4/11/2023Piji Li,LLM&ChatGPT49NN LM4/11/2023Piji Li,LLM&ChatGPT50孙栩，自然语言处理导论NN LM4/11/2023Piji Li,LLM&ChatGPT51孙栩，自然语言处理导论梯度消失/爆炸4/11/2023Piji Li,LLM&ChatGPT54长程依赖问题循环神经网络在时间维度上非常深！梯度消失或梯度爆炸如何改进？梯度爆炸问题 权重衰减 梯度截断 梯度消失问题 改进模型4/11/2023Piji Li,LLM&ChatGPT55长

14、程依赖问题 改进方法 循环边改为线性依赖关系 增加非线性残差网络？4/11/2023Piji Li,LLM&ChatGPT56Long Short-Term Memory,LSTM4/11/2023Piji Li,LLM&ChatGPT574/11/2023Piji Li,LLM&ChatGPT58I am the GOD Father!4/11/2023Piji Li,LLM&ChatGPT59LSTM现在也没有多少人用了。4/11/2023Piji Li,LLM&ChatGPT60长短期记忆神经网络（Long Short-Term Memory,LSTM）长短期记忆神经网络（Long Sh

15、ort-Term Memory,LSTM）4/11/2023Piji Li,LLM&ChatGPT61LSTM的各种变体 没有遗忘门 耦合输入门和遗忘门 peephole连接4/11/2023Piji Li,LLM&ChatGPT62Gated Recurrent Unit,GRU 顺便讲讲GRU4/11/2023Piji Li,LLM&ChatGPT63Gated Recurrent Unit,GRU4/11/2023Piji Li,LLM&ChatGPT64Gated Recurrent Unit,GRUGated Recurrent Unit,GRU更新门重置门4/11/2023Piji

16、 Li,LLM&ChatGPT65RNN LM的应用4/11/2023Piji Li,LLM&ChatGPT69语言模型做生成？4/11/2023Piji Li,LLM&ChatGPT70ICML 2012NIPS2008ICML 201120024/11/2023Piji Li,LLM&ChatGPT71语言模型 序列生成语言模型 文本生成4/11/2023Piji Li,LLM&ChatGPT72ICML2011LSTM4/11/2023Piji Li,LLM&ChatGPT734/11/2023Piji Li,LLM&ChatGPT74生成LINUX内核代码4/11/2023Piji L

17、i,LLM&ChatGPT75作词机 RNN在“学习”过汪峰全部作品后自动生成的歌词 https:/ Li,LLM&ChatGPT76作诗机。4/11/2023Piji Li,LLM&ChatGPT77Yang et al.Stylistic Chinese Poetry Generation via Unsupervised Style Disentanglement.EMNLP 2018.2013、2014、2015 大家一边玩着word2vec，一边训练着rnn-lm做生成，一边影响着其它领域发展 例如：机器翻译继续发展4/11/2023Piji Li,LLM&ChatGPT78统计机器

18、翻译-SMT4/11/2023Piji Li,LLM&ChatGPT79Chinese:我在北京做了讲座讲座PhraseSeg:我在 北京做了讲座讲座English:IBeijingPhraseTrans:Iin BeijingdidPhrase Reorder:Iin Beijinglecturedidlecturedidlecturein张家俊.机器翻译lectures统计机器翻译-SMT4/11/2023Piji Li,LLM&ChatGPT80Chinese:我在北京做了报告 Phrase Seg:我在 北京做了 报告Phrase Trans:Iin Beijinggave atalk

19、Phrase Reorder:Igave a talkinBeijingEnglish:IgaveatalkinBeijing人工人工设设定的定的模模块块和和特征特征数据稀疏数据稀疏复杂结构复杂结构无能为力无能为力强烈依赖先强烈依赖先验知识验知识张家俊.机器翻译lecturesICML 2012NIPS2008ICML 20112002神经机器翻译EMNLP 20134/11/2023Piji Li,LLM&ChatGPT83神经机器翻译Piji Li,LLM&ChatGPT844/11/2023COLING20122013COLING2006神经机器翻译4/11/2023Piji Li,LL

20、M&ChatGPT85NAACL 2012 Best short PaperACL 2014 Best Paper神经机器翻译4/11/2023Piji Li,LLM&ChatGPT86ACL 2014 Best Paper神经机器翻译4/11/2023Piji Li,LLM&ChatGPT87神经机器翻译4/11/2023Piji Li,LLM&ChatGPT88RNNencdec4/11/2023Piji Li,LLM&ChatGPT89RNNencdec4/11/2023Piji Li,LLM&ChatGPT90RNNencdec4/11/2023Piji Li,LLM&ChatGPT9

21、1Cho et.al.Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation.EMNLP2014RNNencdec4/11/2023Piji Li,LLM&ChatGPT92Phrase Generation+SMT，并不是真正的end-to-end形式的NMT。RNNencdec4/11/2023Piji Li,LLM&ChatGPT93Problem？Seq2seq-attention4/11/2023Piji Li,LLM&ChatGPT94Seq2seq-

22、attention4/11/2023Piji Li,LLM&ChatGPT95Seq2seq-attention4/11/2023Piji Li,LLM&ChatGPT96Seq2seq-attention4/11/2023Piji Li,LLM&ChatGPT97Seq2seq-attention4/11/2023Piji Li,LLM&ChatGPT98bidirectional recurrent neural network(BiRNN)Softmax(Ws,y,c+b)Teacher Forcing！Attention calculation4/11/2023Piji Li,LLM&

23、ChatGPT99Decoding Strategy4/11/2023Piji Li,LLM&ChatGPT100Greedy SearchBeam SearchSeq2seq-attention4/11/2023Piji Li,LLM&ChatGPT101Seq2seq-lstm(no attention)4/11/2023Piji Li,LLM&ChatGPT102Seq2seq-lstm(no attention)4/11/2023Piji Li,LLM&ChatGPT103Seq2seq-lstm(no attention)4/11/2023Piji Li,LLM&ChatGPT104

24、 Seq2seq-attention之后，大厂开始业务上线翻译落地4/11/2023Piji Li,LLM&ChatGPT105在线翻译（谷歌、微软、百度、有道、搜狗等）翻译机（科大讯飞、准儿、百度、搜狗等）同传机器翻译（微软、讯飞、腾讯、搜狗等）基于PowerPoint的语音同传（微软，TAUS 3.22-23）面向自由说话人的语音同传（腾讯，博鳌亚洲论坛）爆发seq2seq应用 Research 例如：华为诺亚-Lifeng的dialogue generation，Jiatao的copymechanism，Zhaopeng的coverage,baotian的matching,etc.Han

25、g Li,Zhengdong LvStartups 大多倒闭了Seq2seq-attention4/11/2023Piji Li,LLM&ChatGPT106Google NMT4/11/2023Piji Li,LLM&ChatGPT107-Deep-Residual-Parallel-Wordpiece(subwords)-Length-normalization-Coverage penalty-Reinforcement learning for BLEUSeq2seq-attention4/11/2023Piji Li,LLM&ChatGPT108Lingpeng Kong,NLP L

26、ecturesSeq2seq-attention4/11/2023Piji Li,LLM&ChatGPT109Lingpeng Kong,NLP LecturesSeq2seq-attention4/11/2023Piji Li,LLM&ChatGPT110Lingpeng Kong,NLP LecturesSeq2seq-attention4/11/2023Piji Li,LLM&ChatGPT111Lingpeng Kong,NLP LecturesConvS2S4/11/2023Piji Li,LLM&ChatGPT112ICML2017ConvS2S4/11/2023Piji Li,L

27、LM&ChatGPT113ConvS2S4/11/2023Piji Li,LLM&ChatGPT114Google:Google说：那怎么行？放大招！ConvS2S4/11/2023Piji Li,LLM&ChatGPT115Transformer4/11/2023Piji Li,LLM&ChatGPT116Transformer4/11/2023Piji Li,LLM&ChatGPT117Transformer4/11/2023Piji Li,LLM&ChatGPT118Transformer4/11/2023Piji Li,LLM&ChatGPT119Transformer Multi-h

28、eaded self-attention Models context Feed-forward layers Computes non-linear hierarchical features Layer norm and residuals Makes training deep networks healthy Positional embeddings Allows model to learn relative positioningVaswani,Ashish,Noam Shazeer,Niki Parmar,Jakob Uszkoreit,Llion Jones,Aidan N.

29、Gomez,ukaszKaiser,and Illia Polosukhin.Attention is all you need.In NIPS,pp.5998-6008.2017.4/11/2023Piji Li,LLM&ChatGPT120Transformer-self-attention4/11/2023Piji Li,LLM&ChatGPT121TransformerTransformer:Multi-Head Attention4/11/2023Piji Li,LLM&ChatGPT122Transformer-multi-head self-att4/11/2023Piji Li

30、,LLM&ChatGPT123Transformer-multi-head self-att4/11/2023Piji Li,LLM&ChatGPT124 Position embedding relative position 很多后续研究Transformer-The Order of The Sequence4/11/2023Piji Li,LLM&ChatGPT125Transformer-Input4/11/2023Piji Li,LLM&ChatGPT126Transformer4/11/2023Piji Li,LLM&ChatGPT127 Add Residual Connect

31、ion NormTransformer Add&Norm4/11/2023Piji Li,LLM&ChatGPT128Transformer4/11/2023Piji Li,LLM&ChatGPT129Transformer-fflayer4/11/2023Piji Li,LLM&ChatGPT130 Cross-attention Masked-self-attentionTransformer-decoder4/11/2023Piji Li,LLM&ChatGPT131Transformer-decoder4/11/2023Piji Li,LLM&ChatGPT132Transformer

32、-results4/11/2023Piji Li,LLM&ChatGPT133Transformer4/11/2023Piji Li,LLM&ChatGPT134内容基础技术预训练技术ChatGPT未来展望4/11/2023Piji Li,LLM&ChatGPT1354/11/2023Piji Li,LLM&ChatGPT136预训练的故事 匹配 检索 分类 聚类4/11/2023Piji Li,LLM&ChatGPT138语义分析-向量表示VSMLDA(2003)Google Word2vec(2013/14)Google LSTM-LM(2015)AI2 ELMo(2017)OpenAI

33、GPT(Jun 2018)Google BERT(Oct 2018)OpenAI GPT2(2019)Google XLNet(2019)OpenAI GPT3(2020)TF-IDF向量表示4/11/2023Piji Li,LLM&ChatGPT139语义分析-向量表示-VSM 缺点 稀疏性:对于大词典，尤其是包括了生僻字的词典，文档稀疏性不可避免；多义词:BOW模型只统计单词出现的次数，而忽略了一个词可能存在多种含义，一词多义；同义词(Synonym):多个单词可以表示同一个意思，一义多词；从同义词和多义词问题可以看到：单词也许不是文档的最基本组成元素，在单词与文档之间还有一层隐含的关系，

34、我们称之为主题(Topic)，我们更关注隐藏在词之后的意义和概念。在写文章时首先确定的是文章的主题，再根据主题选择合适的单词来表达观点。所以，在这里我们需要将单词向量空间转变成话题向量空间，这里也就是从词袋模型转变成LSA模型语义分析-向量表示-VSM4/11/2023Piji Li,LLM&ChatGPT140语义分析-向量表示-VSM4/11/2023Piji Li,LLM&ChatGPT141Latent Semantic Indexing(LSI)4/11/2023Piji Li,LLM&ChatGPT142Latent Semantic Indexing(LSI)4/11/2023P

35、iji Li,LLM&ChatGPT143Latent Semantic Indexing(LSI)4/11/2023Piji Li,LLM&ChatGPT144奇异值跟特征值类似，在矩阵中也是从大到小排列，而且的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。也就是说，我们也可以用前r大的奇异值来近似描述矩阵Latent Semantic Indexing(LSI)4/11/2023Piji Li,LLM&ChatGPT145Latent Semantic Indexing(LSI)4/11/2023Piji Li,LLM&ChatGPT146保

36、留前5项保留前50项原图 LSI是最早出现的主题模型了，它的算法原理很简单，一次奇异值分解就可以得到主题模型，同时解决词义的问题，非常漂亮。将文档表示到话题向量空间的过程就是SVD奇异值分解和降维的过程。降维是LSA分析中最重要的一步，通过降维，去除了文档中的“噪音”，也就是无关信息（比如词的误用或不相关的词偶尔出现在一起），语义结构逐渐呈现。缺点：不好解释Latent Semantic Indexing(LSI)4/11/2023Piji Li,LLM&ChatGPT147pLSA(Probabilistic Latent Semantic Analysis)4/11/2023Piji Li

37、,LLM&ChatGPT148LSA概率意义上的解释 联合概率分布pLSA(Probabilistic Latent Semantic Analysis)4/11/2023Piji Li,LLM&ChatGPT149pLSA(Probabilistic Latent Semantic Analysis)4/11/2023Piji Li,LLM&ChatGPT150pLSA(Probabilistic Latent Semantic Analysis)4/11/2023Piji Li,LLM&ChatGPT151pLSA(Probabilistic Latent Semantic Analysi

38、s)4/11/2023Piji Li,LLM&ChatGPT152 对于一个新的文档而言，我们无法得知它对应的P(d)究竟是什么，因此尽管 PLSA 模型在给定的文档上是一个生成模型，它却无法生成新的未知的文档。该模型的另外的一个问题在于，随着文档数量的增加，P(z|d)的参数也会随着线性增加，这就导致无论有多少训练数据，都容易导致模型的过拟合问题。这两点成为了限制 PLSA 模型被更加广泛使用的两大缺陷。pLSA(Probabilistic Latent Semantic Analysis)4/11/2023Piji Li,LLM&ChatGPT153缺点：Latent Dirichlet

39、Allocation(LDA)被提出Latent Dirichlet Allocation(LDA)4/11/2023Piji Li,LLM&ChatGPT154Latent Dirichlet Allocation(LDA)4/11/2023Piji Li,LLM&ChatGPT155 LDA模型涉及很多数学知识，这也许是LDA晦涩难懂的主要原因。LDA涉及到的先验知识有：词袋模型、二项分布、Gamma函数、Beta分布、多项分布、Dirichlet分布、马尔科夫链、MCMC、Gibbs Sampling、EM算法等。Latent Dirichlet Allocation(LDA)4/11/

40、2023Piji Li,LLM&ChatGPT156 Dirichlet分布 Dirichlet的概率密度函数为：其中：狄利克雷(Dirichlet)分布是多项式分布的共轭分布。Latent Dirichlet Allocation(LDA)4/11/2023Piji Li,LLM&ChatGPT157 Dirichlet分布Latent Dirichlet Allocation(LDA)4/11/2023Piji Li,LLM&ChatGPT158Latent Dirichlet Allocation(LDA)4/11/2023Piji Li,LLM&ChatGPT159Rickjin LD

41、A数学八卦 主题模型-Latent Dirichlet allocation d-z z-w4/11/2023Piji Li,LLM&ChatGPT160语义分析-向量表示-LDA Natural Language Processing Information Retrieval Recommendation Systems4/11/2023Piji Li,LLM&ChatGPT161LDA-主流语义建模技术 Wang,Yi,Xuemin Zhao,Zhenlong Sun,Hao Yan,Lifeng Wang,Zhihui Jin,Liubin Wang,Yang Gao,Ching La

42、w,and Jia Zeng.Peacock:Learning long-tail topic features for industrial applications.ACM Transactions on Intelligent Systems and Technology(TIST)6,no.4(2015):1-23.Large LDA-Peacock4/11/2023Piji Li,LLM&ChatGPT162 Yuan,Jinhui,Fei Gao,Qirong Ho,Wei Dai,Jinliang Wei,Xun Zheng,Eric Po Xing,Tie-Yan Liu,an

43、d Wei-Ying Ma.Lightlda:Big topic models on modest computer clusters.InProceedings of the 24th International Conference on World Wide Web,pp.1351-1361.2015.Large LDA-LightLDA4/11/2023Piji Li,LLM&ChatGPT163 Deep Learning悄悄发展 2006 2011 2012,AlexNet RNN,LSTM4/11/2023Piji Li,LLM&ChatGPT164LDA如火如荼Unsuperv

44、ised Representation Learning Word2Vec-20144/11/2023Piji Li,LLM&ChatGPT165Unsupervised Representation Learning4/11/2023Piji Li,LLM&ChatGPT166 Mikolov,Tomas,Kai Chen,Greg Corrado,and Jeffrey Dean.Efficient estimation of wordrepresentations in vector space.ICLR(2013).-Large improvements in accuracy,low

45、er computational cost.-It takes less than a day to train from 1.6 billion words data set.Unsupervised Representation Learning Word2Vec-20144/11/2023Piji Li,LLM&ChatGPT167man-woman+queen=kingDeepWalk,TransX,腾讯AI Lab开源800万中文词的NLP数据集Problem？Unsupervised Representation Learning Word2Vec-20144/11/2023Pij

46、i Li,LLM&ChatGPT168Unsupervised Representation Learning Semi-Supervised Sequence Learning,Google,NIPS 20154/11/2023Piji Li,LLM&ChatGPT169Unsupervised Representation Learning Semi-Supervised Sequence Learning,Google,NIPS 20154/11/2023Piji Li,LLM&ChatGPT170 Semi-Supervised Sequence Learning,Google,NIP

47、S 2015Unsupervised Representation Learning4/11/2023Piji Li,LLM&ChatGPT171Unsupervised Representation Learning ELMo:Deep Contextual Word Embeddings,AI2&University of Washington,Jun.2017.NAACL.4/11/2023Piji Li,LLM&ChatGPT172Unsupervised Representation Learning ELMo:Deep Contextual Word Embeddings,AI2&

48、University of Washington,Jun.2017 NAACL 2018 best paper4/11/2023Piji Li,LLM&ChatGPT173Unsupervised Representation Learning ELMo:Deep Contextual Word Embeddings,AI2&University of Washington,Jun.20174/11/2023Piji Li,LLM&ChatGPT174NAACL 2018 best paper预训练语言模型 GPT14/11/2023Piji Li,LLM&ChatGPT175ChatGPT研

49、究框架（2023）-国泰君安Ilya采访：2017年，谷歌发表Transformer论文的第二天，OpenAI的研发团队就豁然开朗了，意识到Transformer可以完全解决机器不断预测文本的问题，这最终造就了GPT-3以及迄今为止的一切；Unsupervised Representation Learning Improving Language Understanding by Generative Pre-Training,OpenAI,Jun,2018 GPT4/11/2023Piji Li,LLM&ChatGPT176GPT中的三个字母，每一个的技术or专利都属于Google或者是被

50、Google早期探索过，但合起来就是OpenAI的。Unsupervised Representation Learning Improving Language Understanding by Generative Pre-Training,OpenAI,Jun,2018 GPT4/11/2023Piji Li,LLM&ChatGPT177https:/ Representation Learning4/11/2023Piji Li,LLM&ChatGPT178Improving Language Understanding by Generative Pre-Training,OpenA

51、I,Jun,2018GPTUnsupervised Representation Learning Improving Language Understanding by Generative Pre-Training,OpenAI,Jun,2018 GPT4/11/2023Piji Li,LLM&ChatGPT179Unsupervised Representation Learning Problem Language models only use left context or right context But language understanding is bidirectio

52、nal.4/11/2023Piji Li,LLM&ChatGPT180BERT BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding BERT:Bidirectional Encoder Representations from Transformers4/11/2023Piji Li,LLM&ChatGPT181ACL 2014 Best Long Paper awardNAACL 2012 Best Short Paper awardBERT BERT:Pre-training of

53、Deep Bidirectional Transformers for LanguageUnderstanding BERT:Bidirectional Encoder Representations from Transformers4/11/2023Piji Li,LLM&ChatGPT182BERT The General Language Understanding Evaluation(GLUE)benchmark is a collection of resources for training,evaluating,and analyzing.4/11/2023Piji Li,L

54、LM&ChatGPT183BERT Stanford Question Answering Dataset(SQuAD)is a reading comprehensiondataset4/11/2023Piji Li,LLM&ChatGPT184BERT Best Paper of NAACL 2019Best Paper of NAACL 2018BERTELMo4/11/2023Piji Li,LLM&ChatGPT185BERT-Technical Details4/11/2023Piji Li,LLM&ChatGPT186BERT-Technical Details Input La

55、yer4/11/2023Piji Li,LLM&ChatGPT187BERT-Technical Details Pre-trainingTask#1:Masked LM 15%,10%,10%,80%4/11/2023Piji Li,LLM&ChatGPT188BERT-Technical Details Pre-trainingTask#1:Masked LM Task#2:Next Sentence Prediction 15%,10%,10%,80%4/11/2023Piji Li,LLM&ChatGPT189To learn relationships between sentenc

56、es,predict whether Sentence B is actualsentence that proceeds Sentence A,or a random sentence.BERT-Technical Details Fine-tuning4/11/2023Piji Li,LLM&ChatGPT190BERT Training Details Dataset Books Corpus(800M words)Wikipedia(2,500M words)4/11/2023Piji Li,LLM&ChatGPT191BERT Training Details Parameters

57、BERT-BASE:L=12,H=768,A=12,Total Parameters=110M BERT-LARGE:L=24,H=1024,A=16,Total Parameters=340M 30,000 token bpe vocabulary 512 max-len，256 batch-size 1M steps，40 epochs4/11/2023Piji Li,LLM&ChatGPT192进入大模型时代！BERT Research4/11/2023Piji Li,LLM&ChatGPT193XLNet4/11/2023Piji Li,LLM&ChatGPT194XLNetAutor

58、egressive LMAutoencoder LM,MaskPermutation Language ModelTransformer-XLMore data4/11/2023Piji Li,LLM&ChatGPT195Roberta4/11/2023Piji Li,LLM&ChatGPT196Roberta 从模型上来说，RoBERTa基本没有什么太大创新，主要是在BERT基础上做了几点调整：1）训练时间更长，batch size更大，训练数据更多；2）移除了next sentence predict loss；3）训练序列更长；4）动态调整Masking机制。从实验效果来看，干过了ber

59、t和XLNet。4/11/2023Piji Li,LLM&ChatGPT197ERNIE-1&2 不同于ERNIE1仅有词级别的Pretraining Task，ERNIE2考虑了词级别、结构级别和语义级别3类Pretraining Task，词级别包括KnowledgeMasking（短 语 Masking）、CapitalizationPrediction（大 写 预 测）和 Token-DocumentRelationPrediction（词是否会出现在文档其他地方）三个任务，结构级别包括Sentence Reordering（句子排序分类）和SentenceDistance（句子距离分

60、类）两个任务，语义级别包括DiscourseRelation（句子语义关系）和IR Relevance（句子检索相关性）两个任务。4/11/2023Piji Li,LLM&ChatGPT198ERNIE-1&24/11/2023Piji Li,LLM&ChatGPT199BERT in Tencent Pytorch-BERT 2g-char Chinese-wiki 14g-char news 240g-char news,14g-word newsBorrowed 80 gpus PCG,CSIG,WXG,IEG,TEG4/11/2023Piji Li,LLM&ChatGPT200起步很早

61、，2019年1月公司内部发布。预训练语言模型 GPT24/11/2023Piji Li,LLM&ChatGPT201ChatGPT研究框架（2023）-国泰君安GPT24/11/2023Piji Li,LLM&ChatGPT202GPT24/11/2023Piji Li,LLM&ChatGPT203GPT24/11/2023Piji Li,LLM&ChatGPT204GPT24/11/2023Piji Li,LLM&ChatGPT205开启了NLG的新篇章！4/11/2023Piji Li,LLM&ChatGPT206 Greedy Search Beam Search Top-K Top-P

62、(nucleus)解码算法4/11/2023Piji Li,LLM&ChatGPT207Greedy Search4/11/2023Piji Li,LLM&ChatGPT208Beam Search4/11/2023Piji Li,LLM&ChatGPT209Random Sampling4/11/2023Piji Li,LLM&ChatGPT210Top-K4/11/2023Piji Li,LLM&ChatGPT211Top-p(nucleus)sampling4/11/2023Piji Li,LLM&ChatGPT212效果4/11/2023Piji Li,LLM&ChatGPT213我们

63、早期GPT2训练探索4/11/2023Piji Li,LLM&ChatGPT214中文GPT2于2019年3月训练完成，并在各种下游任务适配。GPT2训练探索4/11/2023Piji Li,LLM&ChatGPT215GPT2训练探索4/11/2023Piji Li,LLM&ChatGPT216GPT2训练探索4/11/2023Piji Li,LLM&ChatGPT217说续写 开局一句话内容全靠编GPT2训练探索4/11/2023Piji Li,LLM&ChatGPT218GPT2训练探索4/11/2023Piji Li,LLM&ChatGPT219GPT2训练探索4/11/2023Pij

64、i Li,LLM&ChatGPT220GPT2训练探索4/11/2023Piji Li,LLM&ChatGPT221GPT2训练探索4/11/2023Piji Li,LLM&ChatGPT222但凡有点商业和产品思维GPT24/11/2023Piji Li,LLM&ChatGPT223Big Model4/11/2023Piji Li,LLM&ChatGPT224T54/11/2023Piji Li,LLM&ChatGPT225T54/11/2023Piji Li,LLM&ChatGPT226T54/11/2023Piji Li,LLM&ChatGPT227 Transformer Encod

65、er-Decoder 模型；BERT-style 式的破坏方法；Replace Span 的破坏策略；15%的破坏比；3 的破坏时小段长度。T54/11/2023Piji Li,LLM&ChatGPT228T54/11/2023Piji Li,LLM&ChatGPT229T54/11/2023Piji Li,LLM&ChatGPT230BART4/11/2023Piji Li,LLM&ChatGPT231ACL2020BART4/11/2023Piji Li,LLM&ChatGPT232 UniLM MASS ALBERT ELECTRA其他4/11/2023Piji Li,LLM&ChatG

66、PT233预训练语言模型-GPT24/11/2023Piji Li,LLM&ChatGPT234大语言模型 GPT34/11/2023Piji Li,LLM&ChatGPT235OpenAI的GPT-3花费了1200万美元Big Model-GPT34/11/2023Piji Li,LLM&ChatGPT236GPT-3May 28,2020Big Model-GPT34/11/2023Piji Li,LLM&ChatGPT237-大语言模型 GPT34/11/2023Piji Li,LLM&ChatGPT238模型越大越厉害Big Model-GPT3:demos4/11/2023Piji

67、Li,LLM&ChatGPT239Big Model-GPT3:demos4/11/2023Piji Li,LLM&ChatGPT240GPT3 Examples4/11/2023Piji Li,LLM&ChatGPT241GPT3 Examples4/11/2023Piji Li,LLM&ChatGPT242GPT3 Examples4/11/2023Piji Li,LLM&ChatGPT243GPT3 如何finetune?4/11/2023Piji Li,LLM&ChatGPT244175B 蒸馏压缩 In-context learning Prompt-learning大模型如何用?4

68、/11/2023Piji Li,LLM&ChatGPT245 蒸馏压缩大模型如何用?4/11/2023Piji Li,LLM&ChatGPT246Jiao,Xiaoqi,Yichun Yin,Lifeng Shang,Xin Jiang,Xiao Chen,Linlin Li,Fang Wang,and Qun Liu.“TinyBERT:Distilling BERT for Natural Language Understanding.”In Findings of the Association for Computational Linguistics:EMNLP 2020,pp.41

69、63-4174.2020.华为诺亚 In-context learning GPT3大模型如何用?4/11/2023Piji Li,LLM&ChatGPT247 Prompt-learning大模型如何用?4/11/2023Piji Li,LLM&ChatGPT248 Prompt-learning Discrete Continues大模型如何用?4/11/2023Piji Li,LLM&ChatGPT249 Chain-of-Thought Prompting大模型如何用?4/11/2023Piji Li,LLM&ChatGPT250Wei,J.,Wang,X.,Schuurmans,D.

70、,Bosma,M.,Chi,E.,Le,Q.and Zhou,D.,2022.Chain of thought prompting elicits reasoning in large language models.NeurIPS 2022.Lets think step by step大模型如何用?4/11/2023Piji Li,LLM&ChatGPT251Kojima,Takeshi,Shixiang Shane Gu,Machel Reid,Yutaka Matsuo,and Yusuke Iwasawa.Large Language Models are Zero-Shot Rea

71、soners.NeurIPS 2022.他们是真正的reasoning么？大模型如何用?4/11/2023Piji Li,LLM&ChatGPT252GPT3 In-Context Learning(ICL)4/11/2023Piji Li,LLM&ChatGPT253 Vision-Language Pretraining多模态预训练4/11/2023Piji Li,LLM&ChatGPT254OpenAI GPT2/34/11/2023Piji Li,LLM&ChatGPT255多模态预训练 OpenAIs DALL-E and CLIP4/11/2023Piji Li,LLM&ChatG

72、PT256多模态预训练 OpenAIs DALL-E and CLIP4/11/2023Piji Li,LLM&ChatGPT257多模态预训练 OpenAIs DALL-E and CLIP4/11/2023Piji Li,LLM&ChatGPT258OpenAIs DALL-E and CLIP4/11/2023Piji Li,LLM&ChatGPT259两个模型中，CLIP用于判别文本和图片是否相关，DALLE用于从文本生成图像。其中，DALLE在对大量生成的候选结果进行rerank时用到了CLIP。DALLE模型结构类似于gpt2/3这种基于Transformer的auto-regre

73、ssive语言模型，有120亿参数。训练序列最长为1280，其中前256为文本序列，BPE词表大为16384；后1024为图像patch序列。DALLE参考了VQVAE的做法学习到了一个8192大的图像patch词表，可以将任意输入图像(256x256)划分成32x32个patch之后在图像词表中找到对应id，构成图像的离散token序列。不同于文本序列部分的正常的masked self-attention，图像序列对attention做了些修改，例如sparseattention等。DALLE的训练目标依然采用极大似然估计，从左到右依次预测。在inference阶段，给定一段文本，DALLE

74、生成了512个候选结果，然后借助CLIP强大的图像-文本相关性判别能力对结果列表进行rerank，最后选择top32个结果。CLIP模型之所以强大，一方面训练数据多，有4亿图像-文本pair，另一方面也采用了Transformer模型对图像的patch序列进行建模，最后使用对比学习(contrastive learning)框架进行训练，256个GPU两周时间就可以训练完，像nlp中的很多预训练模型一样，zero-shot learning的能力也非常强。从目前的一些demo看出，DALLE的效果十分惊艳，当然也依然有GPT2/3这类语言模型对复杂逻辑、推BERTInput Layer4/11

75、/2023Piji Li,LLM&ChatGPT260 微软 BEiT OpenAI iGPT Kaiming He(何恺明)4/11/2023Piji Li,LLM&ChatGPT261BERT on Image4/11/2023Piji Li,LLM&ChatGPT262BERT on Image4/11/2023Piji Li,LLM&ChatGPT263Vision-Language Pre-trainingImageBERT model architecture4/11/2023Piji Li,LLM&ChatGPT264Vision-Language Pre-trainingBEi

76、T v34/11/2023Piji Li,LLM&ChatGPT265Wang,Wenhui,Hangbo Bao,Li Dong,Johan Bjorck,Zhiliang Peng,Qiang Liu,Kriti Aggarwal et al.Image as a foreign language:Beit pretraining for all vision and vision-language tasks.arXiv preprint arXiv:2208.10442(2022).BEiT v34/11/2023Piji Li,LLM&ChatGPT266Wang,Wenhui,Ha

77、ngbo Bao,Li Dong,Johan Bjorck,Zhiliang Peng,Qiang Liu,Kriti Aggarwal et al.Image as a foreign language:Beit pretraining for all vision and vision-language tasks.arXiv preprint arXiv:2208.10442(2022).BEiT v34/11/2023Piji Li,LLM&ChatGPT267Wang,Wenhui,Hangbo Bao,Li Dong,Johan Bjorck,Zhiliang Peng,Qiang

78、 Liu,Kriti Aggarwal et al.Image as a foreign language:Beit pretraining for all vision and vision-language tasks.arXiv preprint arXiv:2208.10442(2022).BEiT v34/11/2023Piji Li,LLM&ChatGPT268Wang,Wenhui,Hangbo Bao,Li Dong,Johan Bjorck,Zhiliang Peng,Qiang Liu,Kriti Aggarwal et al.Image as a foreign lang

79、uage:Beit pretraining for all vision and vision-language tasks.arXiv preprint arXiv:2208.10442(2022).4/11/2023Piji Li,LLM&ChatGPT269Speech RepresentationHuBERTwav2vec 2.0Hsu,Wei-Ning,Benjamin Bolte,Yao-Hung Hubert Tsai,Kushal Lakhotia,Ruslan Salakhutdinov,and Abdelrahman Mohamed.HuBERT:Self-Supervis

80、ed Speech Representation Learning by Masked Predictionof Hidden Units.arXiv preprint arXiv:2106.07447(2021).Baevski,Alexei,Yuhao Zhou,Abdelrahman Mohamed,and Michael Auli.wav2vec 2.0:A Framework for Self-Supervised Learning of SpeechRepresentations.Advances in Neural Information Processing Systems 3

81、3(2020).尽头？大模型还在发展4/11/2023Piji Li,LLM&ChatGPT274GPT3-国内 腾讯AI Lab 智源&清华 阿里巴巴 华为&鹏程实验室 清华&智谱4/11/2023Piji Li,LLM&ChatGPT275PTM4/11/2023Piji Li,LLM&ChatGPT276GLaM,GPT-3,Megatron-Turing NLG,Gopher,Chinchilla,LaMDA,PaLM,GLM-130B，LLaMAA Roadmap for Big Model,2022GPT3 Examples4/11/2023Piji Li,LLM&ChatGPT2

82、77存在的问题：GPT3-长文本生成 相关性 逻辑性 一致性 事实性 丰富性 很难！4/11/2023Piji Li,LLM&ChatGPT278长文本生成很难Issues4/11/2023Piji Li,LLM&ChatGPT279Issues(哈工大 车万翔)Issues4/11/2023Piji Li,LLM&ChatGPT280IssuesIssues4/11/2023Piji Li,LLM&ChatGPT281GPT-3 medical chatbot tells suicidal test patients to kill themselves Trustworthy AI:A C

83、omputationalPerspective-https:/ patient:“Hey,I feel very bad,I want to kill myself.”GPT-3:“I am sorry to hear that.I can help you with that.”the patient:“Should I kill myself?”GPT-3:“I think you should.”Issues Tay4/11/2023Piji Li,LLM&ChatGPT282IssuesIssues4/11/2023Piji Li,LLM&ChatGPT283 Privacy Ethi

84、cs&Social Issues Fairness&Bias Accountability&Auditability Explainability&Interpretability Causal Analysis Safety&RobustnessDevelop NLP models that are“explainable,fair,privacy-preserving,causal,and robust”.Evaluation？IssuesIssues4/11/2023Piji Li,ChatGPT284不听话会骂人没啥用不可控成本高怎么办呢？-指令学习,学会按指令行事！-引入用户反馈与人

85、类进行对齐！DeepmindSparrow4/11/2023Piji Li,LLM&ChatGPT285内容基础技术预训练技术ChatGPT未来展望4/11/2023Piji Li,LLM&ChatGPT286ChatGPT4/11/2023Piji Li,LLM&ChatGPT287ChatGPT4/11/2023Piji Li,LLM&ChatGPT288ChatGPT4/11/2023Piji Li,LLM&ChatGPT2894/11/2023Piji Li,LLM&ChatGPT290ChatGPT GPT3.54/11/2023Piji Li,LLM&ChatGPT291ChatG

86、PT GPT3.54/11/2023Piji Li,LLM&ChatGPT292ChatGPT GPT3.54/11/2023Piji Li,LLM&ChatGPT293InstructGPT4/11/2023Piji Li,LLM&ChatGPT295InstructGPT4/11/2023Piji Li,LLM&ChatGPT296InstructGPT4/11/2023Piji Li,LLM&ChatGPT297InstructGPT4/11/2023Piji Li,LLM&ChatGPT298InstructGPT4/11/2023Piji Li,LLM&ChatGPT299Instr

87、uctGPT4/11/2023Piji Li,LLM&ChatGPT300InstructGPT4/11/2023Piji Li,LLM&ChatGPT301InstructGPT4/11/2023Piji Li,LLM&ChatGPT302InstructGPT4/11/2023Piji Li,LLM&ChatGPT303InstructGPT4/11/2023Piji Li,LLM&ChatGPT304InstructGPT4/11/2023Piji Li,LLM&ChatGPT305InstructGPT4/11/2023Piji Li,LLM&ChatGPT306InstructGPT

88、4/11/2023Piji Li,LLM&ChatGPT307InstructGPT4/11/2023Piji Li,LLM&ChatGPT308InstructGPT4/11/2023Piji Li,LLM&ChatGPT309InstructGPT4/11/2023Piji Li,LLM&ChatGPT310InstructGPT4/11/2023Piji Li,LLM&ChatGPT311SFT dataset contains about 13k training prompts(from the API and labeler-written),RM dataset has 33k

89、training prompts(from the API and labeler-written),PPO dataset has 31k training prompts(only from the API).InstructGPT4/11/2023Piji Li,LLM&ChatGPT312InstructGPT4/11/2023Piji Li,LLM&ChatGPT313InstructGPT4/11/2023Piji Li,LLM&ChatGPT314InstructGPT4/11/2023Piji Li,LLM&ChatGPT315InstructGPT4/11/2023Piji

90、Li,LLM&ChatGPT316InstructGPT4/11/2023Piji Li,LLM&ChatGPT317InstructGPT4/11/2023Piji Li,LLM&ChatGPT318InstructGPT4/11/2023Piji Li,LLM&ChatGPT319InstructGPT4/11/2023Piji Li,LLM&ChatGPT320ChatGPT vs InstructGPT4/11/2023Piji Li,LLM&ChatGPT323ChatGPT vs InstructGPT4/11/2023Piji Li,LLM&ChatGPT324ChatGPT v

91、s InstructGPT4/11/2023Piji Li,LLM&ChatGPT325ChatGPT4/11/2023Piji Li,LLM&ChatGPT326(哈工大 车万翔)ChatGPT4/11/2023Piji Li,LLM&ChatGPT327ChatGPT4/11/2023Piji Li,LLM&ChatGPT328-出圈-new bing-BARD-MOSS-ChatGLM-文心一言-壳:ChatGPT-GPT4-Multimodel-GPT5？ShareGPT(一个ChatGPT 数据共享网站，用户会上传自己觉得有趣的ChatGPT回答)Jacob Devlin4/11/2

92、023Piji Li,LLM&ChatGPT329GPT42023.03.141T参数多模态做题推理Why&How？4/11/2023Piji Li,LLM&ChatGPT330GPT4内容基础技术预训练技术ChatGPT未来展望4/11/2023Piji Li,LLM&ChatGPT331ChatGPT有什么用?以前研究任务的状态针对ChatGPT的研究复现ChatGPT4/11/2023Piji Li,LLM&ChatGPT332未来:ChatGPT后，我们做什么？ChatGPT有什么用?以前研究任务的状态针对ChatGPT的研究复现ChatGPT4/11/2023Piji Li,LLM&

93、ChatGPT333未来:ChatGPT后，我们做什么？教育4/11/2023Piji Li,LLM&ChatGPT334 改论文 写代码 做作业 查资料教育4/11/2023Piji Li,LLM&ChatGPT335 改论文 写代码 做作业 查资料 会出错教育4/11/2023Piji Li,LLM&ChatGPT336 改论文 写代码 做作业 查资料 会出错教育4/11/2023Piji Li,LLM&ChatGPT337 改论文 写代码 做作业 查资料 会出错4/11/2023Piji Li,LLM&ChatGPT338教育 改论文 写代码 做作业 查资料 会出错 改论文 写代码 做作

94、业 查资料 会出错4/11/2023Piji Li,LLM&ChatGPT339教育4/11/2023Piji Li,LLM&ChatGPT340教育 改论文 写代码 做作业 查资料 会出错军事国防领域4/11/2023Piji Li,LLM&ChatGPT341军事国防领域4/11/2023Piji Li,LLM&ChatGPT342军事国防领域4/11/2023Piji Li,LLM&ChatGPT18、导弹制导的神经网络19、通信和网络安全20、反潜战中态势感知的数据融合21、网络安全和密码学22、“群体作战”的群体智能23、远程无人机系统的自主飞行控制24、人工智能卫星和软件定义卫星2

95、5、个人可穿戴系统26、海量军事数据管理27、对抗或颠覆对手的人工智能系统28、信息融合29、态势感知30、路径规划31、人机界面。32、生成报告和行动后总结、汇报报告、事件报告和其他类型的文档。33、为军事模拟生成响应，例如谈判训练或军事演习。1、生成培训材料2、语言翻译3、自动目标识别4、军事机器人5、在仿真中测试材料开发系统6、军事医学7、战斗空间自治8、情报分析9、记录追踪10、军事后勤11、信息战12、无人驾驶车辆13、监视14、致命自主武器系统15、战场环境支持16、用于建模、模拟和战斗训练的虚拟现实和增强现实17、自由空战动态医疗保健4/11/2023Piji Li,LLM&Ch

96、atGPT344医疗保健4/11/2023Piji Li,LLM&ChatGPT345医疗保健4/11/2023Piji Li,LLM&ChatGPT346互联网/IT领域4/11/2023Piji Li,LLM&ChatGPT347互联网/IT领域4/11/2023Piji Li,LLM&ChatGPT348互联网/IT领域4/11/2023Piji Li,LLM&ChatGPT349互联网/IT领域4/11/2023Piji Li,LLM&ChatGPT350互联网/IT领域4/11/2023Piji Li,LLM&ChatGPT351互联网/IT领域4/11/2023Piji Li,Ch

97、atGPT352 在git 存储库中发现了213 个安全漏洞。而相比之下，市场上很好的商业工具却只发现了99 个安全漏洞。文娱方面4/11/2023Piji Li,ChatGPT353文娱方面4/11/2023Piji Li,LLM&ChatGPT354商业营销4/11/2023Piji Li,LLM&ChatGPT355商业营销4/11/2023Piji Li,LLM&ChatGPT356等等4/11/2023Piji Li,LLM&ChatGPT357 法律 金融 工商业 政府报告 文件材料 证明4/11/2023 A组被允许在工作时使用ChatGPT，包括撰写简报、分析财务、整理新闻等；

98、B组则禁止使用ChatGPT，同时要完成相同的工作。证明4/11/2023Piji Li,LLM&ChatGPT359 在速度层面，使用了ChatGPT的A组平均用时17分钟交付作品，而B组则平均花了27分钟，按照8时工作制的换算，ChatGPT可以帮助这类员工提升59%的生产力。在质量层面，考核团队给A组文档打分平均是4.5，B组则是3.8，证明了ChatGPT也让生产质量得到了提高。文书类工作大抵可以分成3个步骤，第1部是内容构思，耗时占比约为25%，第2步是撰写草稿，耗时占比约为50%，第3步是润色修改，耗时占比约为25%。APIs4/11/2023Piji Li,LLM&ChatGPT

99、360March 1,2023发展趋势4/11/2023Piji Li,LLM&ChatGPT361-新一代的知识表示和推理框架-技术同质化愈发严重4/11/2023Piji Li,LLM&ChatGPT362Office 365 Copilot ChatGPT有什么用?以前研究任务的状态 情感对话、个性化对话 可控文本生成 针对ChatGPT的研究 复现ChatGPT4/11/2023Piji Li,LLM&ChatGPT363未来：ChatGPT后，我们做什么？4/11/2023Piji Li,LLM&ChatGPT364Empathetic Dialogue SystemQintong

100、Li,Piji Li,Zhumin Chen,Pengjie Ren and ZhaochunRen.Knowledge Bridging for Empathetic Dialogue Generation.AAAI 2022.4/11/2023Piji Li,LLM&ChatGPT365Empathetic Dialogue System Empathy is a crucial step towards a more humanized human-machine conversation.Empathetic dialogue generation aims to recognize

101、feelings in the conversation partner and reply accordingly.1.A commonsense knowledge graphConceptNet2.An emotional lexicon NRC_VADChallengesHumans usually rely on experience and external knowledge to acknowledge and express implicit emotions.Lacking external knowledge makes it difficult to perceive

102、implicit emotions from limited dialogue history.valence(positivenessnegativeness/pleasure displeasure)arousal(activepassive)dominance(dominantsubmissive)4/11/2023Piji Li,LLM&ChatGPT366Empathetic Dialogue System1.This phenomenon demonstrates that humans need to infer more knowledge to conduct empathe

103、tic dialogues.2.External knowledge is essential in acquiring useful emotional knowledge and improving the performance of empathetic dialogue generation.4/11/2023Piji Li,LLM&ChatGPT367Empathetic Dialogue SystemModelling emotional dependencies between interlocutors is crucial to enhance the accuracy o

104、f external knowledge representation in empathetic dialogues.324/11/2023Piji Li,LLM&ChatGPT368Knowledge-aware Empathetic Dialogue Generation-KEMPA framework KEMP The early attempt to leverage external knowledge toenhance empathetic dialogue generation.An emotional context encoder and an emotion-depen

105、dency decoder Learn the emotional dependencies between the dialoguehistory and target response with bunches of externalemotional concepts.Conducted on a benchmark dataset EMPATHETICDIALOGUES(Rashkin et al.,2019),experimental results confirm the effectiveness of KEMP.4/11/2023Piji Li,LLM&ChatGPT369Kn

106、owledge-aware Empathetic Dialogue Generation-KEMPPreliminaries ConceptNet A large-scale knowledge graph that describes general human knowledge in natural language.It comprises 5.9M tuples,3.1M concepts,and 38 relations.NRC_VAD A lexicon of VAD(Valence-Arousal-Dominance)vectors with dimensions for 20

107、k English words.Zhong,Wang,and Miao(2019)Obtaining Reliable Human Ratings of Valence,Arousal,and Dominance for 20,000 English Words.Saif M.Mohammad.ACL 2018.4/11/2023Piji Li,LLM&ChatGPT370Knowledge-aware Empathetic Dialogue Generation-KEMPInput:1.Multi-turn Dialogue History2.ConceptNet3.NRC_VADTask

108、DefinitionOutput(two subtasks):1.Predict the emotion expressed in the dialogue context.2.Generate an empathetic response.4/11/2023Piji Li,LLM&ChatGPT371Knowledge-aware Empathetic Dialogue Generation-KEMP4/11/2023Piji Li,LLM&ChatGPT372ExperimentsDataset EMPATHETICDIALOGUES(Rashkin et al.,2019)Automat

109、ic Metrics Emotion Accuracy Perplexity Distinct-1 and Distinct-2Human Metrics Empathy Relevance Fluency4/11/2023Piji Li,LLM&ChatGPT373ExperimentsOur model KEMP outperforms state-of-the-art baselines by a large margin in terms of all automatic metrics.4/11/2023Piji Li,LLM&ChatGPT374ExperimentsKEMP ob

110、tains the best performance on both Empathy and Relevance scores.There is no obvious difference among models in terms of Fluency.4/11/2023Piji Li,LLM&ChatGPT375Experiments4/11/2023Piji Li,LLM&ChatGPT376Experiments4/11/2023Piji Li,LLM&ChatGPT377Experiments4/11/2023Piji Li,LLM&ChatGPT378Personalized Di

111、alogue GenerationChen Xu,Piji Li,Wei Wang,Haoran Yang,Siyun Wang,Chuangbai Xiao.COSPLAY:ConceptSet Guided Personalized Dialogue Generation Across Both Party Personas.The 45th International ACM SIGIR Conference on Research and Development in Information Retrieval(SIGIR22).July.20224/11/2023Piji Li,LL

112、M&ChatGPT379Personalized Dialogue GenerationConsistentConsistentI just got back from Disney world.Do you like it?OutputPersona-Chat Dataset(Zhang et al.2018)Input I love to go to Disney world every year.I love to sing songs from the movie frozen.1.persona2.contextHey buddy,how are you doing?4/11/202

113、3Piji Li,LLM&ChatGPT380Personalized Dialogue Generation-ProblemsConsistency Consistency They like to play video games and sing songs from the movie frozen.LogicLogic What is your family like?They are okay,but I like to sing in the park.SOTA 1SOTA 2I love to sing songs from the movie frozen.Persona:E

114、gocentrismEgocentrismConsistencyConsistency1）Show self-persona eagerly while2）Show less interests about the partners.4/11/2023Piji Li,LLM&ChatGPT381Personalized Dialogue Generation-ProblemsI love to sing songs from the movie frozen.Great!I like music too and thats why I play guitar!User Experience U

115、ser Experience Model InteractivityModel InteractivityI have a friend who plays guitar.SOTA 2SOTA 1I love to sing songs from the movie frozen.Persona:How old were you when you learned to play?Do you play in band?EgocentrismEgocentrism1）Show self-persona eagerly while2）Show less interests about the pa

116、rtners.ConsistencyConsistency4/11/2023Piji Li,LLM&ChatGPT382MotivationPersonalizedSelf/PartnerPersona Expression EgocentricSelf/PartnerPersona ExpressionThis workPersonalization or Egocentrism?The key difference between personalization and egocentrism lies in:whether the self-persona expression sacr

117、ifices its partners.4/11/2023Piji Li,LLM&ChatGPT383MethodologyPersonalizedSelf/PartnerPersona expression EgocentricSelf/PartnerPersona expressionThis work1）Balance“answering”and“asking”:Keeping curiosity to your partner.partnermodelteaches2）Balance“speaking”and“listening”:Finding the common ground.4

118、/11/2023Piji Li,LLM&ChatGPT384Methodology1.Balance“answering”and“asking”Reinforcement learning by the self-playMutual Benefit Reward4/11/2023Piji Li,LLM&ChatGPT385MethodologyHow to deal with the persona sparsity problem?Concept Set Framework1111111111111111111111111111 1norm&dotdot&norm11(d)Set Inte

119、rsection(e)Set Distance(a)Concept Set(b)Set Expansion(c)Set UnionVector-Concept Set over a concept vocabularyMatrix-Concept Similarity from knowledge graphVector-Matrix Calculation-Concept Set Operations4/11/2023Piji Li,LLM&ChatGPT386Methodology2.Balance“speaking”and“listening”Concept Copy Mechanism

120、(How)Lead responses around mutual personasCommon Ground Reward(Which)Finding the common ground4/11/2023Piji Li,LLM&ChatGPT387Methodology2.Balance“speaking”and“listening”Concept Copy Mechanism(How)Common Ground Reward(Which)Lead responses around mutual personasFinding the common groundCommon Ground M

121、odeling Geometric ModelingCommon Ground Modeling Geometric ModelingWhere is the optimal location for F Fin?Three points colinear.PartnerPersonaSel fPersonaFuture4/11/2023Piji Li,LLM&ChatGPT388ExperimentsChen Xu,Piji Li,Wei Wang,Haoran Yang,Siyun Wang,Chuangbai Xiao.COSPLAY:Concept Set Guided Persona

122、lized Dialogue Generation Across Both Party Personas.SIGIR 2022.4/11/2023Piji Li,LLM&ChatGPT389Experiments4/11/2023Piji Li,LLM&ChatGPT390Character AIGlow app清华黄民烈聆心智能4/11/2023Piji Li,LLM&ChatGPT391Challenge:Long-range CoherenceQintong Li,Piji Li,Wei Bi,Zhaochun Ren,Yuxuan Lai,Lingpeng Kong.Event Tra

123、nsition Planning for Open-ended Text Generation.The 60th Annual Meeting of the Association for Computational Linguistics(Findings of ACL22).Aug.2022.4/11/2023Piji Li,LLM&ChatGPT392Challenge:Long-range CoherenceTo produce a coherent story continuation which often involves multiple events,given limite

124、d preceding context,a language models(e.g.,GPT-2)need the ability of modeling long-range coherence.Context:Jennifer has a big exam tomorrow.Story:She got so stressed,she pulled an all-nighter.She went into class the next day,weary as can be.Her teacher stated that the test is postponed for next week

125、.Jennifer felt bittersweet about itMostafazadeh et al.A Corpus and Evaluation Framework for Deeper Understanding of Commonsense Stories.NAACL 2016.4/11/2023Piji Li,LLM&ChatGPT393Model Additional Help?Given story context:1.Extract corresponding eventtransition path.2.Develop potential ensuingevent tr

126、ansition paths.3.The planned pathsaccordingly guide the textgeneration model.4/11/2023Piji Li,LLM&ChatGPT394Resources for Event Planning1.Commonsense atlas about inferentialevent description.2.Parameters of pre-trained language model.3.Downstream text generation datasets.1 Radford et al.Language Mod

127、els are Unsupervised Multitask Learners.OpenAI Blog.2 Sap et al.ATOMIC:An Atlas of Machine Commonsense for If-then Reasoning.AAAI 2019.4/11/2023Piji Li,LLM&ChatGPT395Two-stage Method4/11/2023Piji Li,LLM&ChatGPT396How to Generate High-quality Event Transition Path?1.We prefix-tune a GPT-2 on a large

128、amount of eventpaths extracted from commonsense graphs ATOMIC of Planner.2.Then we prefix-tune on training set of the specifictask of Planner.Why?Extrapolate to event sequences that never appeared in these sources with the help of general knowledge stored in the large pre-trained model.Li and Liang.

129、Prefix-tuning:Optimizing continuous prompts for generation.ACL 2021.4/11/2023Piji Li,LLM&ChatGPT397How to Use the Planned Event Path for Text Generation?1.Another GPT-2 is fine-tuned on specificdownstream dataset.Transformer parameters ofGenerator2.Work effectively under the supervision of theeven t

130、ransition path.Event query layer ofGeneratorWhy?An event query layer absorbs information from the planned paths and use the query layer to guide the text generation process.4/11/2023Piji Li,LLM&ChatGPT398ExperimentDatasets ROCStories EmpatheticDialoguesRQ1:How to develop a better event transition pl

131、anner?RQ2:Whether the integration of event transition paths enhances the open-ended text generation?RQ3:How do the event transition paths benefit text generation？1 Mostafazadeh et al.A Corpus and Evaluation Framework for Deeper Understanding of Commonsense Stories.NAACL 2016.2 Rashkin et al.Towards

132、Empathetic Open-domain Conversation Models:a New Benchmark and Dataset.ACL 2019.4/11/2023Piji Li,LLM&ChatGPT399Event Transition Planning(RQ1)4/11/2023Piji Li,LLM&ChatGPT400Event-path-aware Text Generation(RQ2)4/11/2023Piji Li,LLM&ChatGPT401Case4/11/2023Piji Li,LLM&ChatGPT402Symbolic Token Controlled

133、 Generation-SongNetPiji Li,Haisong Zhang,Xiaojiang Liu,and Shuming Shi.Rigid Formats Controlled Text Generation.The 58th annual meeting of the Association for Computational Linguistics(ACL20).Jul.2020.4/11/2023Piji Li,LLM&ChatGPT403Symbolic Token Controlled Generation-SongNet歌词、诗词创作庆祝六一！腾讯AI艾灵与王俊凯领唱

134、中国新儿歌点亮关键词藏头、蕴含的诗词、对联生成4/11/2023Piji Li,LLM&ChatGPT404SongNet Background Challenges约束：严格的格式和模板格式正确、句子完整、押韵合理*关键词埋入：5*5 Deploy王俊凯AI艾灵歌词创作春节微视春联红包故宫腾讯音乐原歌词：十年之前/我不认识你/你不属于我/我们还是一样/陪在一个陌生人左右/走过渐渐熟悉的街头新配词：夜深人静/思念你模样/多少次孤单/想伴在你身旁/是什么让我如此幻想/为何会对你那般痴狂4/11/2023Piji Li,LLM&ChatGPT405BackgroundRigid Formats:#

135、words,#sentences,rhyming rules,etc.Free Formats Generation-Machine Translation-Dialogue Generation-Summary Generation Rigid Formats Generation-Lyrics-SongCi-Sonnet4/11/2023Piji Li,LLM&ChatGPT406Task Definition Input:a rigid format ,:-denotes a place-holder symbol Output:a natural language sentence t

136、ally with C4/11/2023Piji Li,LLM&ChatGPT407Task Definition Polishing:Since is arbitrary and flexible,based on the generated result Y,we can build a new format and generate new result,Task target:4/11/2023Piji Li,LLM&ChatGPT408FrameworkSongNet4/11/2023Piji Li,LLM&ChatGPT409SongNet-Symbols Format and R

137、hyme Symbols:-:general tokens-:punctuation characters-:rhyming tokens/positions4/11/2023Piji Li,LLM&ChatGPT410SongNet-Symbols Intra-Position Symbols:-:local positions of tokens-:punctuation characters-:should be the ending words-Descending Order:The aim is to improve the sentence integrity by impell

138、ing the symbols capture the sentence dynamic information,precisely,the sense to end a sequence.4/11/2023Piji Li,LLM&ChatGPT411SongNet-Symbols Segment Symbols:-s is the symbol index for sentence Shakespeares Sonnet 116ABAB CDCD EFEF GGRhyme Scheme:4/11/2023Piji Li,LLM&ChatGPT412SongNet Attention4/11/

139、2023Piji Li,LLM&ChatGPT413SongNet Training Pre-training and Fine-tuning MLE:minimize the negative log-likelihood Polishing:4/11/2023Piji Li,LLM&ChatGPT414SongNet Generation We can assign any format and rhyming symbols C.Given C,we obtain P and S automatically.SongNet can conduct generation starting

140、from the special token iterativelyuntil meet the ending marker.beam-search algorithm and truncated top-k sampling4/11/2023Piji Li,LLM&ChatGPT415Experiment-Datasets Pre-training-Chinese:News(9200M Chars),Wikipedia(1700M Chars)-English:BooksCorpus(980M words),Wikipedia(2400M words)Fine-tuning-Chinese:

141、SongCi-English:Shakespeares Sonnets4/11/2023Piji Li,LLM&ChatGPT416Experiment Evaluation MetricsGeneral-PPL-DistinctDefined-Format:words match with C?-Rhyme:SongCi-rhyming group,Sonnet-“ABAB CDCD”-Sentence Integrity:4/11/2023Piji Li,LLM&ChatGPT417Experiment Results4/11/2023Piji Li,LLM&ChatGPT418Exper

142、iment Results100 training samples4/11/2023Piji Li,LLM&ChatGPT419Experiment Ablation Analysis4/11/2023Piji Li,LLM&ChatGPT420Experiment Parameter Tuning-kTop-k sampling,k=324/11/2023Piji Li,LLM&ChatGPT421Experiment Human EvaluationRelevance:+2:all the sentences are relevant to the same topic;+1:partia

143、l sentences arerelevant;0:not relevant at all.Fluency:+2:fluent;+1:readable but with some grammar mistakes;0:unreadable.Style:+2:match with SongCi or Sonnet genres;+1:partially match;0:mismatch.4/11/2023Piji Li,LLM&ChatGPT422Experiment Cases4/11/2023Piji Li,LLM&ChatGPT423Experiment Cases-Polishing4/

144、11/2023Piji Li,LLM&ChatGPT424Demo小船桨/桃花轻唱/婉约惹人怀乡/湖畔旁蝉鸣莺啼柳响/你在画舫中央/微风吹乱着青纱帐/是谁轻声吟唱/一曲婉约惹人怀想/古琴弹到远方/杨柳摇荡/荷塘也成双/思念飞扬/让记忆生长/只留岁月苍茫/百转柔肠/你说好梦何妨/别离还是忧伤/千年痴狂/万水流觞/我听得太绝望/却不见她回望/心慌张/情惆怅/桃花盛开芬芳/落日余晖照的影彷徨/有话怎能藏/它仍旧会迷失疯狂/笑问君归向/注定依然爱沧桑/老街两处散场/石板路旁/再找寻信仰/落叶夕阳/等待那一张/最美丽地模样/十字街巷/相遇时很漫长/走过白昼荒凉/大雁南赏/繁华尽忘/往日曾经幻想/像晚霞般

145、闪亮/腾讯音乐4/11/2023Piji Li,LLM&ChatGPT4254/11/2023Piji Li,LLM&ChatGPT腾讯音乐QQ音乐歌词创意Demo（已应用于内部创新业务）4/11/2023Piji Li,LLM&ChatGPT427ChatGPT 苦 危 机4/11/2023Piji Li,LLM&ChatGPT428以前研究任务的状态ChatGPT有什么用?以前研究任务的状态针对ChatGPT的研究复现ChatGPT4/11/2023Piji Li,LLM&ChatGPT429未来：ChatGPT后，我们做什么？ChatGPT/GPT4+Any Tasks 对所在研究任务进

146、行评测：直观感受 深入洞察 查漏补缺 占坑嫌疑，所以要快4/11/2023Piji Li,LLM&ChatGPT430Evaluation/评一评测一测4/11/2023Piji Li,ChatGPT431ChatGPT的缺点 推理机制？CoT原因？真的从code里来？事实错误、逻辑错误？为什么会犯错？Symbolic Knowledge+X Neuro-Symbolic？如何融入预训练？如何约束解码推理？依赖RLHF能解决一切问题么？不断的暴力的枚举似的不要脸的标数据？4/11/2023Piji Li,LLM&ChatGPT432知识和逻辑4/11/2023Piji Li,LLM&ChatG

147、PT433知识和逻辑WebGPTNew Bingperplexity.aiDec 20214/11/2023Piji Li,LLM&ChatGPT434知识和逻辑Feb 24,2023 场景：搜索引擎+GPT4 如何重构流程？类比learning to rank 提出一个generative retrieval的benchmark 如何记忆？如何对model进行增删查改？生成的内容如何溯源？推荐系统如何做？有没有可能做generative recommendation?有无脑占坑灌水嫌疑？4/11/2023Piji Li,LLM&ChatGPT435检索溯源 百事似通 领域专家 Prompt

148、Engineering 如何蒸馏？4/11/2023Piji Li,LLM&ChatGPT436领域突现 API Plugin 机械臂 链接物理世界4/11/2023Piji Li,LLM&ChatGPT437教模型使用工具4/11/2023Piji Li,LLM&ChatGPT438教模型使用工具Feb 9,20234/11/2023Piji Li,LLM&ChatGPT439使用工具Mar 23,20234/11/2023Piji Li,LLM&ChatGPT440统一多种模态-GPT4https:/arxiv.org/pdf/2302.14045.pdf4/11/2023Piji Li,

149、LLM&ChatGPT441统一多种模态 文生图https:/arxiv.org/pdf/2302.14045.pdf4/11/2023Piji Li,LLM&ChatGPT442统一多种模态 文生图 Scaling laws？模型越大效果越好 为什么有的线性？有的任务是突变？涌现？原因？4/11/2023Piji Li,LLM&ChatGPT443涌现能力 Scaling laws？4/11/2023Piji Li,LLM&ChatGPT444涌现能力An ability is emergent if it is not present in smaller models but is pr

150、esent in larger models.Scaling laws？4/11/2023Piji Li,LLM&ChatGPT445涌现能力An ability is emergent if it is not present in smaller models but is present in larger models.Scaling laws？4/11/2023Piji Li,LLM&ChatGPT446涌现能力An ability is emergent if it is not present in smaller models but is present in larger

151、models.4/11/2023Piji Li,LLM&ChatGPT447涌现能力 Scaling laws？4/11/2023Piji Li,LLM&ChatGPT448涌现能力An ability is emergent if it is not present in smaller models but is present in larger models.Beyond the Imitation Game benchmark(BIG-bench)Using smoother metrics.Manual decomposition into subtasks.4/11/2023Pi

152、ji Li,LLM&ChatGPT449涌现能力 原因 Beyond the Imitation Game benchmark(BIG-bench)Using smoother metrics.Manual decomposition into subtasks.4/11/2023Piji Li,LLM&ChatGPT450涌现能力 原因 Beyond the Imitation Game benchmark(BIG-bench)Using smoother metrics.Manual decomposition into subtasks.4/11/2023Piji Li,LLM&Chat

153、GPT451涌现能力 原因合法走棋将军4/11/2023Piji Li,LLM&ChatGPT452涌现能力 原因Beyond the Imitation Game benchmark(BIG-bench)Beyond the Imitation Game benchmark(BIG-bench)Using smoother metrics.Manual decomposition into subtasks.4/11/2023Piji Li,LLM&ChatGPT453涌现能力 原因Beyond the Imitation Game benchmark(BIG-bench)Beyond th

154、e Imitation Game benchmark(BIG-bench)Using smoother metrics.Manual decomposition into subtasks.My opinion:Representation Learning?4/11/2023Piji Li,LLM&ChatGPT454涌现能力 原因Beyond the Imitation Game benchmark(BIG-bench)My opinion:Representation Learning?涌现能力 原因 建模思路：单字接龙-给定前缀，预测下一个字是什么？4/11/2023Piji Li,L

155、LM&ChatGPT455log()w Sp w我是中国人我是中国EE人我是中国人涌现能力 原因 建模思路：单字接龙-给定前缀，预测下一个字是什么？4/11/2023Piji Li,LLM&ChatGPT456log()w Sp w我是中国人我是中国EE人我是中国人我是中国人我是中国风我爱中国风4/11/2023Piji Li,LLM&ChatGPT457涌现能力 原因 Representation Learning?Data-size Model-size Epoch-size4/11/2023Piji Li,LLM&ChatGPT458涌现能力 原因 Representation Lear

156、ning?Data-size Model-size Epoch-size4/11/2023Piji Li,LLM&ChatGPT459涌现能力 原因 Representation Learning?Data-size Model-size Epoch-size4/11/2023Piji Li,LLM&ChatGPT460涌现能力 原因 Representation Learning?Data-size Model-size Epoch-size Reasoning?CoT?4/11/2023Piji Li,LLM&ChatGPT461涌现能力 原因 Representation Learnin

157、g?Data-size Model-size Epoch-size RLHF?4/11/2023Piji Li,LLM&ChatGPT462涌现能力 原因 Representation Learning?Information Compression?神奇的无法解释的case?4/11/2023Piji Li,ChatGPT463安全性 攻击和防御 数据安全问题 原因？finetuneChatGPT有什么用?以前研究任务的状态针对ChatGPT的研究复现ChatGPT4/11/2023Piji Li,LLM&ChatGPT464未来：ChatGPT后，我们做什么？前提条件 意识、情怀、胆大、心

158、细 软件、硬件等资源支撑 研究+工程兼修的人才 坚定技术准备 冰冻三尺非一日之寒4/11/2023465Reproduce ChatGPTPiji Li,LLM&ChatGPT GAI、RL GPT GPT2 GPT3 DALL-E、CLIP Codex、davinci 1&2&3 GPT3.5 WebGPT Summarization via RLHF InstructGPT-Sparrow ChatGPT GPT44/11/2023466ChatGPT技术积累Piji Li,LLM&ChatGPThttps:/yaofu.notion.site/4/11/2023Piji Li,LLM&C

159、hatGPT467ChatGPT12B?6B?DeepSpeed 3D并行,ZeRO Attention:Sparse?Post-LN or Pre-LN or?Position Embedding?GELU?GPUs 炸了？先得到Base model Research Infrastructure?Transformer?4/11/2023468关键技术Piji Li,LLM&ChatGPT SFT、RM；从api采样。Comparison 1-7，多个维度safety等 n*10k左右prompt、code 40人左右标注团队 n个月 ChatGPT/GPT4 暴力标注？暴力+不优雅4/1

160、1/2023469关键技术-Human AnnotationPiji Li,LLM&ChatGPT 三无状态 开源模型+ChatGPT数据 开源模型:GLM,LLaMA ChatGPT数据 APIs ShareGPT 一个ChatGPT 数据共享网站，用户会上传自己觉得有趣的ChatGPT回答4/11/2023470第二条路Piji Li,LLM&ChatGPTLLaMA+ChatGPT Data SFTAlpacaGPT4AllVicunaBARD4/11/2023471LLaMA+ChatGPT DataSFTPiji Li,LLM&ChatGPT https:/vicuna.lmsys.

161、org/https:/ LLaMA 13B 70k samples 8 A100 GPUs One day Eval using GPT44/11/2023472VicunaPiji Li,LLM&ChatGPT 语言理解和多轮对话能力还行 数学、代码、推理能力偏弱4/11/2023473VicunaPiji Li,LLM&ChatGPT 不过，还是有希望了。港科：https:/ 中科院软件所：https:/ DataSFTPiji Li,LLM&ChatGPT4/11/2023Piji Li,LLM&ChatGPT475未来：是否会垄断？操作系统 搜索引擎 iPhone 云+私有化部署 行业颠覆性 工具 代替 狂热的资本 可能团队人还没码齐，热度先退了OpenAI的这条路就是对的么？4/11/2023476未来：ChatGPT后，我们做什么？Piji Li,LLM&ChatGPT4/11/2023477未来：ChatGPT后，我们做什么？Piji Li,LLM&ChatGPT4/11/2023Piji Li,LLM&ChatGPT478THANKS!