24知识智能专题论坛.pdf

1、 1 24知识智能 2 UCLA 孙怡舟：连接附加符号知识到知识图谱嵌入整理：智源社区 熊宇轩在深度学习从感知迈向认知的过程中，知识图谱是表征知识、进行深度推理的一大利器。来自加州大学洛杉矶分校（UCLA）的数据挖掘领域著名学者孙怡舟教授在本届智源大会上带来了主题为Bridging additional symbolic knowledge to knowledge graph embedding的演讲，深入浅出地说明了如何将不确定性、一阶逻辑、多视图嵌入技术引入知识图谱嵌入领域。下面是演讲全文：一、知识图谱嵌入研究现状在我们眼中，知识图谱可以被表征为一个图（即由节点和边组成的异构网络）。该网

2、络包含各种各样不同类型的节点（例如，埃菲尔铁塔是一个著名的景点，而巴黎是一个城市）。在知识图谱中，我们一般还会把节点之间的各种关系标注出来。知识图谱旨在把世界上各种各样的知识以三元组的形式存储起来。例如，在三元组（埃菲尔铁塔，位于，巴黎）中，埃菲尔铁塔为头实体，位于为关系，而巴黎则是尾实体。单独从事实的角度来看，知识图谱是由这样的三元组构成的；而如果从图的角度来看，由于在知识图谱中这些实体节点被关系边所连接，我们认为知识图谱可以被表征为图结构。图 1：知识图谱示例如今，知识图谱在各行各业中都非常流行。我们往往对通用知识图谱（例如，谷歌、百度的知识图谱，以及学术界制作的知识图谱 YaGO 等）更

3、熟悉，但除此之外，还有很多行业知识图谱。例如，我们要做生物医学方面的研究，就需要具体使用生物医学领域的知识图谱（如 PubMed）；面对当下严重的新冠疫情，一些研究者们试图 3 从此类知识图谱中抽取出相应的实体和关系组成知识图谱，帮助我们进行新冠的预测和推理；对于一些电子商务网站来说（如阿里巴巴淘宝、亚马逊），它们也会构建针对产品的知识图谱；此外，WORDNET、ConceptNet 这类知识图谱则旨在捕获常识信息。知识图谱的应用场景也十分广泛。例如，当我们拥有高级语义知识时，它可以帮助我们更深入地解自然语言；在问答（QA）系统和对话系统中，知识图谱可以为我们提供背景知识，使对话系统不仅仅是无

4、意识地与人交流下去。针对以上应用，为了更好地利用知识图谱中的数据，图嵌入技术就是一种能够很好地利用知识图谱数据的方法。知识图谱嵌入旨在用低维向量对知识图谱中存储的实体和关系进行表征，从而适用于很多的下游任务。在有的模型中，我们将关系也建模为一个低维向量；而在更多的情况下，我们将关系编码为一种代数运算。图 2：现有的知识图谱嵌入方法在大多数现有的知识图谱嵌入方法中，假设头实体、尾实体已知，我们将试图利用二者之间的关系构建一个评分函数（score function），该函数旨在计算三元组为真的概率（概率越大，三元组越可能为真）。接着，我们将利用该嵌入的评分函数来定义一个引导训练过程的损失函数。在定

5、义损失函数的过程中，我们往往将观测到的三元组作为正样本，并随机采样得到一些三元组作为负样本，我们期望正样本的得分比负样本得分高。如图 2 所示，现有的各种知识图谱嵌入方法之间最大的区别在于设计评分函数的方式。以经典的 TransE 图嵌入为例，该模型将实体和关系都表征为嵌入向量，我们将度量预测尾实体嵌入h+r（其中 h 为头实体的嵌入，r 为关系的嵌入）与真实尾实体嵌入 t 之间的距离。其它著名的知识图谱嵌入方法大多都沿用了这样的思路，进行了相关的改进。本领域目前性能最佳的方法是唐建教授研究组提出的 RotatE。现有知识图谱嵌入方法的不足之处主要在于：（1）封闭世界假设（close-worl

6、d assumption）：我们认为知识图谱中可以观测到的三元组都为真，所有知识图谱中没有看到的三元组都为假，即所有的知识已经被观测到了。显然，该假设并不成立，我们无法保证将实际上所有为真的三元组都纳入到了知识图谱中，也无法保证知识图谱中所有的三元组都为真。（2）扁平结构假设（fl at structure assumption）：大部分现有的知识图谱嵌入算法认为知识图谱是一个扁平化的结构，即所有的实体和关系仅仅处于同一层上。这意味着我们在定义评分函数时，会 4 把所有的关系看作是同一个层次上的，因此使用同种类型的评分函数去定义这些关系。然而，在真实世界当中有一些具体的实体（例如，中国（国家）