当前位置:首页 > 报告详情

多模态知识图谱构建_20240325235045.pdf

上传人: 张** 编号:158445 2024-03-31 29页 6.84MB

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
本文主要介绍了哈尔滨工业大学社会计算与信息检索研究中心在多模态知识图谱构建方面的研究。研究包括非结构化数据、结构化数据、单模态数据和多模态数据的处理,以及条件知识和事实知识的抽取。文章还提到了多模态结构化信息提取的目标,即让计算机自动生成语义化的图结构。研究还涉及了条件知识注入到模型中的方法,以及如何利用模态共作用语义表示和模态约束语义表示进行多模态知识图谱的构建。此外,文章还讨论了模态的概念、多模态表示、多模态命名实体识别、多模态实体关系抽取、视频场景图生成等方面的内容。最后,文章提到了大模型的动态认知,以及相似画像记忆的概念。
如何将不同模态的数据融合构建成知识图谱? 如何在大规模语料库中抽取事实和条件知识? 如何利用视频帧信息提取出场景图并建模物体间关系?
客服
商务合作
小程序
服务号
折叠