时间约束的实体解析中记录对排序研究
作者:
作者单位:

作者简介:

孙琛琛(1987-),男,山西晋中人,博士,讲师,CCF专业会员,主要研究领域为实体解析,实体消歧,大数据分析与挖掘;肖迎元(1969-),男,博士,教授,博士生导师,CCF高级会员,主要研究领域为数据库,个性化推荐系统,大数据挖掘与分析;申德荣(1964-),女,博士,教授,博士生导师,CCF高级会员,主要研究领域为分布式数据管理,数据集成;马建红(1965-),女,博士,教授,博士生导师,CCF高级会员,主要研究领域为软件工程,智能处理,自然语言处理,知识图谱,创新理论与方法;李玉坤(1969-),男,博士,教授,CCF专业会员,主要研究领域为数据库,信息检索,个人信息管理.

通讯作者:

孙琛琛,E-mail:dustinchenchen_sun@163.com

中图分类号:

基金项目:

国家重点研发计划(2018YFB1003404);国家自然科学基金(61672142,61472070,61602103);天津市自然科学基金(17JCYBJC15200)


Research on Record Pair Ranking for Entity Resolution with Time Constraint
Author:
Affiliation:

Fund Project:

National Key Research and Development Program of China (2018YFB1003404); National Natural Science Foundation of China (61672142, 61472070, 61602103); Natural Science Foundation of Tianjin of China (17JCYBJC15200)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    实体解析是数据集成和数据清洗的重要组成部分,也是大数据分析与挖掘的必要预处理步骤.传统的批处理式实体解析的整体运行时间较长,无法满足当前(近似)实时的数据应用需求.因此,研究时间约束的实体解析,其核心问题是基于匹配可能性的记录对排序.通过对多路分块得到的块内信息与块间信息分别进行分析,提出两个基本的记录匹配可能性计算方法.在此基础上,提出一种基于二分图上相似性传播的记录匹配可能性计算方法.将记录对、块及其关联关系构建二分图;相似性沿着二分图不断地在记录对结点与块结点之间传播,直到收敛.收敛结果可以通过不动点计算得到.提出近似的收敛计算方法来降低计算代价,从而保证实体解析的实时召回率.最后,在两个数据集上进行实验评价,验证了所提出方法的有效性,并测试方法的各个方面.

    Abstract:

    Entity resolution (ER) is an important aspect of data integration and data cleaning, and is also a necessary pre-process step of big data analytics and mining. Traditional batch based ER's overall runtime is costly, and cannot satisfy current (nearly) real-time data applications' requirements. Therefore, time constraint entity resolution (TC-ER) is focused on, while core problem is record pair ranking according to match probability both information inner blocks and information across blocks are analyzed from multi-pass blocking respectively, and two basic recordsmatch probability methods are proposed. The basic methods are improved by proposing an advanced record match probability method based on similarity flowing over a biparitite graph.A bipartite graph is constructed according to record pairs, blocks, and relations between them. Similarities iteratively flow between pair nodes and block nodes over the bipartite graph until convergence. The convergence result is computed with fixpoint iterations. An approximate convergence computation mehod is proposed to reduce cost, and it improves real-time recall in TC-ER. Finally, the proposed methods are evaluated on two datasets, which shows their effectiveness and also tests different aspects of the proposed methods.

    参考文献
    相似文献
    引证文献
引用本文

孙琛琛,申德荣,李玉坤,肖迎元,马建红.时间约束的实体解析中记录对排序研究.软件学报,2020,31(3):695-709

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2019-07-15
  • 最后修改日期:2019-09-10
  • 录用日期:
  • 在线发布日期: 2020-01-10
  • 出版日期: 2020-03-06
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号