面向查询式实体解析的多属性数据索引技术
作者:
作者单位:

作者简介:

孙琛琛,E-mail:dustinchenchen_sun@163.com

通讯作者:

孙琛琛,E-mail:dustinchenchen_sun@163.com

基金项目:

国家自然科学基金(62002262,61672142,61602103,62072086,62072084);国家重点研发计划(2018YFB1003404)


Multi-attribute Data Indexing for Query based Entity Resolution
Author:
Affiliation:

Fund Project:

National Natural Science Foundation of China (62002262, 61672142, 61602103, 62072086, 62072084); National Key Research and Development Program of China (2018YFB1003404)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
    摘要:

    实体解析是数据集成的关键方面,也是大数据分析与挖掘的必要预处理步骤.大数据时代,随着查询驱动的数据应用需求不断增长,查询式实体解析成为热点问题.为了提升查询-解析效率,研究面向实体缓存的多属性数据索引技术.涉及两个核心问题:1)如何设计多属性数据索引.设计基于R-树的多属性索引结构.为了满足实体缓存在线生成需求,提出基于空间聚类的在线索引构建方法.提出基于“过滤-验证”的多维查询方法,利用多属性索引有效地过滤掉不可能命中的记录,然后采用相似性函数或距离函数逐一验证候选记录.2)如何将不同的字符串属性插入到树形索引中.解决思路是将字符串映射到数值空间.针对Jaccard相似性和编辑相似性,提出基于q-gram的映射方法,并提出基于向量降维的优化和基于z-order的优化,实现高质量的“字符串→数值”映射.最后,在两个数据集上进行实验评估,验证多属性索引的有效性,并测试其各个方面.

    Abstract:

    Entity resolution is a key aspect of data integration, and also is a necessary preprocessing step of big data analytics and mining. In big data era, more and more query-driven data analytics applications come out, and query-based entity resolution becomes a hot topic. We study multi-attribute data indexing technology for entity cache in order to promote query-resolution efficiency. There are two core problems:1) How to design the multi-attribute index. We design an R-tree based multi-attribute index. Entity cache is produced online, so we propose an online index construction method based on spatial clustering. We propose a filter-verify based multi-dimensional query method:it filters impossible records by the multi-attribute index, and then verifies each candidate record with similarity functions or distance functions. 2) How to insert different string attributes into the tree index. The basic solution is mapping strings into integer spaces. For Jaccard similarity and edit similarity, we propose a q-gram based mapping method, and improve it by vector dimension reduction and z-order, which achieves high mapping qualities. Finally, the proposed hybrid index is experimentally evaluated on two datasets:its effectiveness is validated, and moreover, different aspects of the multi-attribute index are also tested.

    参考文献
    相似文献
    引证文献
引用本文

孙琛琛,申德荣,肖迎元,李玉坤.面向查询式实体解析的多属性数据索引技术.软件学报,,():0

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
历史
  • 收稿日期:2020-08-02
  • 最后修改日期:2020-11-20
  • 录用日期:
  • 在线发布日期: 2021-04-21
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号