石川-大模型时代的图机器学习-DataFun.pdf

1、大模型时代的图机器学习大模型时代的图机器学习石川 教授北京邮电大学图图（网络）是用于描述和建模复杂系统的通用语言金融网络社交网络神经元网络信息网络生物医药网络互联网图（机器学习）发展历史图算法 Dijkstra图神经网络 GCN图信号处理 Shuman哥尼斯堡七桥问题图G是一个有序二元组(V,E)，其中V称为顶集，E称为边集。图机器学习指将机器学习用于图数据，简称图学习或图模型。长尾分布图嵌入 DeepWalk图神经网络图信号处理DeepWalk算法173619562002201320142017最短路径问题图论 Euler网络科学 Barabasi数据 图数据非欧数据 不同领域社交网络化学分

2、子电商网络 不同类型同质图异质图超图图数据图图像(网格)语言(序列)社交网络化学分子电商网络异质图同质图超图下游任务 节点级别任务节点分类 节点回归节点聚类 边级别任务链路预测最短路径预测最大流量预测 图级别任务图分类图生成图压缩图任务图表示学习图表示学习：将网络的每个节点嵌入到低维向量空间浅层模型 基于随机游走的方法 DeepWalk,node2vec深层模型 基于图神经网络的方法 GCN,GraphSage,GAT嵌入生成1.输入：图拓扑 和节点特征 2.初始化:(0)=(0),3.第次迭代:()1(1)+2()(1),4.预测:=softmax(K1)图神经网络的学习流程图神经网络的学习

3、机理图神经网络的发展历程感谢杨成、王啸、魏哲巍、李明、王鑫、张牧涵、严骏驰、贺笛、李佳、谢思泓等人基础模型“基础模型是一个在广泛的数据上训练且可以被应用于广泛的下游任务的模型。”1语言视觉语音语言基础模型初步展现出通用AI能力视觉基础模型展现强大的图像理解能力USM语音基础模型展现出上百种语言识别能力GPT4基础模型已经在语言、视觉和语音等领域成为现实1 R.Bommasani,D.A.Hudson,E.Adeli,R.Altman,S.Arora,S.von Arx,M.S.Bernstein,J.Bohg,A.Bosselut,E.Brun-skill,et al.,“On the opp

4、ortunities and risks of foundation models,”arXiv preprint arXiv:2108.07258,2021.基础模型特点基础模型的两大特点：涌现（Emergence）和同质化（Homogenization）涌现：随着基础模型的扩大，它可能会自发地展现新颖的能力。同质化：模型的多功能性，使其能够在各种应用中部署。机器翻译问答系统文本生成信息抽取同质化基础模型涌现Wei J,Tay Y,Bommasani R,et al.Emergent abilities of large language modelsJ.arXiv preprint arX

5、iv:2206.07682,2022.大语言模型大模型（Large Language Models）是指参数量巨大的预训练语言模型，是基础模型的典型代表。大模型已经从最初的ELMo等具有数百万参数的模型开始，发展到像GPT-4这样具有万亿参数的模型。大语言模型具备理解、生成、逻辑、记忆等人工智能的核心基础能力，为通用人工智能带来曙光。Zhao W X,Zhou K,Li J,et al.A survey of large language modelsJ.arXiv preprint arXiv:2303.18223,2023.大语言模型数据 语言数据：人类语言所形成的文本序列数据、欧式数据

6、骨干架构 主要基于Transformere.g.,BERT1,GPT-32 定义预训练任务 下个单词预测（NWP）下游任务 成百上千种任务机器翻译、情感分析1 Devlin J,Chang M W,Lee K,et al.Bert:Pre-training of deep bidirectional transformers for language understandingJ.arXiv preprint arXiv:1810.04805,2018.2 Brown T,Mann B,Ryder N,et al.Language models are few-shot learnersC.N