多模态知识图谱构建_20240325235045.pdf

1、友爱力行乐学日新哈尔滨工业大学社会计算与信息检索研究中心RESEARCH CENTER FOR SOCIAL COMPUTING AND INFORMATION RETRIEVAL多模态知识图谱构建初探汇报人：哈工大 刘铭2024年3月25日2知识的分类HARBIN INSTITUTE OF TECHNOLOGY非结构化数据结构化数据单模态数据多模态数据知识知识3HARBIN INSTITUTE OF TECHNOLOGY单模态知识图谱到多模态知识图谱CEO库克苹果公司关系头实体尾实体intel芯片属于产品CEO苹果公司库克苹果电脑人公司知名人士机构物品电脑芯片文本图像4封闭域信息抽取VS开放

2、域信息抽取“蒂姆库克担任苹果公司的首席执行官”（“蒂姆库克”，雇佣关系，“苹果公司”）（“蒂姆库克”，“首席执行官”，“苹果公司”）抽取路线1:封闭信息抽取（Close IE）抽取路线2:开放信息抽取（Open IE）蒂姆库克人机构雇佣关系拥有关系学习关系苹果公司事先给定实体类别和关系类型标签5知识图谱中容纳的事实知识intel芯片苹果电脑属于产品CEO苹果公司库克发热量产品英特尔公司总部圣克克拉总部属于加利福尼亚库比蒂诺市上位词实体属性关系城市洲/省电子产品产品地点苹果公司和英特尔公司产品间的联系公司组织6HARBIN INSTITUTE OF TECHNOLOGY知识图谱中的矛盾事实？In

3、tel处理器的性能objsubjARM处理器的性能强于Intel处理器的性能objsubjARM处理器的性能无法媲美不限制功耗，ARM 处理器的性能暂时无法媲美Intel处理器的性能消耗相同的电能，ARM处理器的性能强于Intel处理器的性能7HARBIN INSTITUTE OF TECHNOLOGY知识图谱中的矛盾事实消耗相同的电能，ARM处理器的性能强于Intel处理器的性能。不限制功耗，ARM 处理器的性能暂时无法媲美Intel处理器的性能Intel处理器的性能objsubjARM处理器的性能强于消耗obj相同的电能条件Intel处理器的性能objsubjARM处理器的性能无法媲美不限

4、制obj功耗条件8HARBIN INSTITUTE OF TECHNOLOGY条件性知识图谱2014年乌克兰发生橙色革命，2022年初乌克兰民间武装与乌克兰政府军爆发冲突，2022年2月24日俄罗斯在乌克兰进行特别军事行动，乌克兰宣布与俄罗斯断交。时间冲突时间发生乌克兰民民间间组组织织橙橙色色革革命命特别军事行动断交2022初实实体体层层关关系系层层条条件件层层次次序序层层2014政府军归属K3.俄俄罗罗斯斯时间进行前前序序后后序序事事实实条条件件头头实实体体尾尾实实体体T1.T2.2022年2月24日K1.K2.9HARBIN INSTITUTE OF TECHNOLOGY开放域事实和条件联

5、合抽取数据集构建Sentencesentences:Mac will abandon Intel processors and use ARM processors instead.Without limitation on power consumption,the performance of ARM processors cannot be compared with that of Intel processors.But the performance of ARM processors is better than that of Intel processor s in the

6、case of consuming the same power.tupletuple-1 1:(Mac,will abandon,Intel processors)tupletuple-2 2:(Mac,use,ARM processors)tupletuple-3 3:(ARM processors:performance,cannot be compared with,Intel processors:performance)tupletuple-4 4:(ARM processors:performance,is better than,Intel processors:perform