图基础模型初探.pdf

《图基础模型初探.pdf》由会员分享，可在线阅读，更多相关《图基础模型初探.pdf（44页珍藏版）》请在三个皮匠报告上搜索。

1、图基础模型初探石川石川 教授教授shichuanbupt.edushichuanbupt.edu北京邮电大学北京邮电大学大纲大纲 图基础模型 相关工作进展 我们的工作 总结 基础模型基础模型“基础模型是一个在广泛的数据上训练且可以被应用于广泛的下游任务的模型。”11 R.Bommasani,D.A.Hudson,E.Adeli,R.Altman,S.Arora,S.von Arx,M.S.Bernstein,J.Bohg,A.Bosselut,E.Brun-skill,et al.,“On the opportunities and risks of foundation models,”ar

2、Xiv preprint arXiv:2108.07258,2021语言视觉语音语言基础模型初步展现出通用AI能力视觉基础模型展现强大的图像理解能力USM语音基础模型展现出上百种语言识别能力GPT4基础模型已经在语言、视觉和语音等领域成为现实基础模型的特点基础模型的特点基础模型的两大特点：涌现（Emergence）和同质化（Homogenization）。涌现：随着基础模型的扩大，它可能会自发地展现新颖的能力。同质化：模型的多功能性，使其能够在各种应用中部署。机器翻译问答系统文本生成信息抽取同质化基础模型涌现2 Wei J,Tay Y,Bommasani R,et al.Emergent ab

3、ilities of large language modelsJ.arXiv preprint arXiv:2206.07682,2022.大语言模型大语言模型大模型（Large Language Models）是指参数量巨大的预训练语言模型，是基础模型的典型代表。3 Zhao W X,Zhou K,Li J,et al.A survey of large language modelsJ.arXiv preprint arXiv:2303.18223,2023.大模型已经从最初的ELMo等具有数百万参数的模型开始，发展到像GPT-4这样具有万亿参数的模型。大语言模型具备理解、生成、逻辑、记

4、忆等人工智能的核心基础能力，为通用人工智能带来曙光。图图图（网络）是用于描述和建模复杂系统的通用语言。金融网络社交网络神经元网络信息网络生物医药网络互联网图（机器学习）发展历史图（机器学习）发展历史图算法 Dijkstra图神经网络 GCN图信号处理 Shuman哥尼斯堡七桥问题图G是一个有序二元组(V,E)，其中V称为顶集，E称为边集。图机器学习指将机器学习用于图数据，简称图学习或图模型。长尾分布图嵌入 DeepWalk图神经网络图信号处理DeepWalk算法173619562002201320142017最短路径问题图论 Euler网络科学 Barabasi网络表示学习网络表示学习网络表示

5、：将网络的每个节点嵌入到低维向量空间。易于计算并行化得到表征适用于经典机器学习算法嵌入应用 节点分类 链接预测 社群检测 网络演化 生成图机器学习的发展与分类图机器学习的发展与分类浅层模型 基于矩阵分解 e.g.,Laplacian eigenmaps 基于随机游走 e.g.,DeepWalk,LINE,node2vec深层模型 基于自动编码器 e.g.,DNGR and SDNE 基于图神经网络 e.g.,GCN,GraphSage,GAT当图模型遇到大模型当图模型遇到大模型大模型解决不了图的问题。大模型难以建模图结构语义。大模型难以处理多样的图任务。图模型不具备大模型的能力。有限的表达能力

6、。深层GNN：过平滑、过压缩问题。没有涌现能力、难以支持多任务。图神经网络的信息瓶颈深层GNN的性能下降图数据的丰富结构语义和丰富任务图基础模型图基础模型图基础模型（Graph Foundation Model,GFM）是一个在广泛的图数据上预训练的模型，适用于在不同的下游图任务。图基础模型预期拥有两个主要特点：涌现和同质化。涌现：随着模型增大，自发地展现新颖的能力。同质化：模型可以适应不同类型的图任务。Jiawei Liu,Cheng Yang,Zhiyuan Lu,Junze Chen,Yibo Li,Mengmei Zhang,Ting Bai,Yuan Fang,Lichao Sun,