知识图谱和自然语言处理.pdf

1、知识图谱和自然语言处理-技术分享语音语义研究部-融智Lab杨栋2023-03-18日期，OPPOSans R，8pt，品牌绿色2个人简介杨栋，OPPO研究院语音语义部融智Lab高级算法研究员。他毕业于香港城市大学博士，现在主要研究方向是自然语言处理，图学习网络，预训练模型，网络研究和应用，致力于使用简单方法解决复杂的实际问题。近期，他主责部门知识增强预训练模型和知识图谱多跳逻辑推理等算法开发。主导构建预训练模型CHAOS,登顶CLUE 三大榜单。在知识图谱多跳推理上，提出GammaE 模型，论文被EMNLP2022 会议Oral Presentation 录取。职位核心职责技术课题高级算法研究

2、员OPPO知识增强预训练模型和知识图谱多跳逻辑推理等算法开发知识增强的自然语言处理，知识图谱逻辑推理,推荐系统3分享内容如何在知识图谱上进行多跳推理(KGs)?Gamma Embeddings(GammaE)如何登顶CLUE？Chinese Hierarchical Language Model Systems for Knowledge Transforming（CHAOS）总结4如何登顶CLUE?1.现状2.解决方案3.模型训练技巧51.1 现状61.1 现状疑问：模型一定是越大越好？Models:155,136,Date:2023.03.187百亿模型1.1 现状万亿模型百亿模型30亿模

3、型万亿MOE百亿模型百亿模型疑问：模型一定是越大越好？8#tokens seen during traininghttps:/babylm.github.io/1.1 现状Trained on more and more data91.1 现状疑问：语料是越多越好？101.1 现状疑问：AI超过人类？111.2 解决方案121.2 解决方案知识增强的预训练模型预训练模型缺乏先验知识。因此，融入知识到预训练模型是一个非常有效的方法。Joint modelsLanguageKnowledge EmbeddingObjectiveContextualized?ObjectiveContextuali

4、zed?Wang(2014)Skig-gramNoTransENoERNIE 1.0 and 2.0(BAIDU 2019,2020)MLMYesTransENoKnowBERT(2019)MLMYes-NoK-BERT(2020)MLMYesVisible Matrix(MLM)YesKEPLER(2020)MLMYesTransENoKG-BART(2021)MLMYesGAT+TransENoCoLAKE(2021)MLMYesMLM(similar to K-BERT)YesERNIE 3.0(BAIDU 2021)MLMYesMLM(Concat)YesJAKET(2021)MLMY

5、esGAT+TransENo1.2 解决方案知识图谱Common KnowledgeLarge Language ModelsCovid-19 networksScholar networks141.2 解决方案知识增强预训练模型框架Pre-trained models15解决方案Encoder：RoBERTa,DeBERTaEncoder-Decoder:T5,ERNIE 3.0模型架构Encoder:BERT,RoBERTa,DeBERTa,ERNIE 1.0 or 2.0,LUKEEncoder-Decoder:T5,BART,BigBird,ERNIE 3.0,mT5,LongT5,B

6、yT5,SentenceT5Decoder:GPT,OPT,BLOOM,Transformer-XL,XLNet1.2 解决方案16Encoder模型RoBERTa 优点：模型泛化能力强，鲁棒性好 缺点：收敛速度太慢啦，需要2.2万亿中文tokens，其次，模型参量小，调整到100亿大模型，有很多不确定因素。DeBERTaDGX-2 machine：16 v100s 优点：解决了BERT和RoBERT，相对位置编码的消失问题；SuperGLUE第一的成绩。缺点：收敛速度太慢啦，需要10万亿中文tokens，其次，模型层数深，训练起来容易不收敛。17Encoder-Decoder模型 ERNIE