融合任务知识的多模态知识图谱补全
DOI:
作者:
作者单位:

苏州大学

作者简介:

通讯作者:

中图分类号:

基金项目:

国家自然科学基金项目(面上项目,重点项目,重大项目)


Task Knowledge Fusion for Multimodal Knowledge Graph Completion
Author:
Affiliation:

Soochow University

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    知识图谱补全任务旨在根据已有的事实三元组(头实体、关系、尾实体)来挖掘知识图谱中缺失的事实三元组. 现有的研究工作主要致力于利用知识图谱中的结构信息来进行知识图谱补全任务. 然而, 这些工作忽略了知识图谱中蕴含的其他模态的信息也可能对知识图谱补全任务有效, 例如实体的描述文本以及与实体相匹配的图像. 并且, 由于基于特定任务的知识通常没有被注入通用的预训练模型, 因而如何在抽取模态信息的过程中融合任务的相关知识变得至关重要. 此外, 因为不同模态特征的对于知识图谱补全的贡献不一样, 所以如何有效地保留有用的多模态信息也是一大挑战. 为了解决上述问题, 本文提出了一种融合任务知识的多模态知识图谱补全方法. 我们利用在当前任务上微调过的多模态编码器, 来获取不同模态下的实体向量表示. 并且, 通过一个基于循环神经网络的模态融合过滤模块, 去除与任务无关的多模态特征. 最后, 利用同构图网络表征并更新所有特征, 从而有效地完成多模态知识图谱补全任务. 实验结果表明, 我们提出的方法能有效地抽取不同模态的信息, 并且能够通过进一步的多模态过滤融合来增强实体的表征能力, 进而提高多模态知识图谱补全任务的性能.

    Abstract:

    The knowledge graph completion task aims to mine the missing fact triples in the knowledge graph based on the existing fact triples (head entity, relation, tail entity). Existing research work mainly focuses on using the structure in the knowledge graph. However, these works ignore that other modal information contained in the knowledge graph may also be effective for the knowledge graph completion task, such as the description text of the entity and the image matching the entity. Moreover, since task-specific knowledge is usually not injected into the general pre-training model, how to fuse task-related knowledge in the process of extracting modal information becomes crucial. Additionally, since different modal features contribute differently to knowledge graph completion, how to effectively retain useful multimodal information is also a great challenge. To solve the above problems, this paper proposes a multimodal knowledge graph completion method that integrates task knowledge. We use a fine-tuned multimodal encoder on the current task to obtain entity vector representations in different modalities. Then, we use a modal fusion-filtering module based on a recurrent neural network to remove task-independent multimodal features. Finally, we employ the simple isomorphic graph network to represent and update all features, thus effectively achieving multimodal knowledge graph completion. Experimental results show that our method can effectively extract information from different modalities, and can enhance the representation ability of entities through further multimodal filtering and fusion, thereby improving the performance of multimodal knowledge graph completion task.

    参考文献
    相似文献
    引证文献
引用本文
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2023-08-25
  • 最后修改日期:2023-12-03
  • 录用日期:2024-04-19
  • 在线发布日期:
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号