学习索引:现状与研究展望
作者:
作者单位:

作者简介:

张洲(1995-),男,学士,CCF学生会员,主要研究领域为数据库索引技术,流式数据处理.
金培权(1975-),男,博士,副教授,CCF高级会员,主要研究领域为数据库系统及应用,大数据存储管理,Web信息抽取与检索.
谢希科(1980-),男,博士,研究员,博士生导师,CCF高级会员,主要研究领域为海量数据分析处理,数据驱动的机器学习,群智感知,区块链技术.

通讯作者:

金培权,E-mail:jpq@ustc.edu.cn

中图分类号:

基金项目:

国家自然科学基金(62072419,61672479)


Learned Indexes: Current Situations and Research Prospects
Author:
Affiliation:

Fund Project:

National Natural Science Foundation of China (62072419, 61672479)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    索引是数据库系统中用于提升数据存取性能的主要技术之一.在大数据时代,随着数据量的不断增长,传统索引(如B+树)的问题日益突出:(1)空间代价过高.例如,B+树索引需要借助O(n)规模的额外空间来索引原始的数据,这对于大数据环境而言是难以容忍的.(2)每次查询需要多次的间接搜索.例如,B+树中的每次查询都需要访问从树根到叶节点路径上的所有节点,这使得B+树的查找性能受限于数据规模.自2018年以来,人工智能与数据库领域的结合催生了“学习索引”这一新的研究方向.学习索引利用机器学习技术学习数据分布和查询负载特征,并用基于数据分布拟合函数的直接式查找代替传统的间接式索引查找,从而降低了索引的空间代价并提升了查询性能.首先对学习索引技术的现有工作进行了系统梳理和分类;然后,介绍了各种学习索引技术的研究动机与关键技术,对比分析了各种索引结构的优劣;最后,对学习索引的未来研究方向进行了展望.

    Abstract:

    Index is one of the key technologies to improve the performance of database systems. In the era of big data, the traditional indexes, such as B+-Tree, have exposed some limitations. Firstly, they cost too much space. For example, B+-Tree requires an extra O(n) space, which is intolerable for big data environment. Secondly, they require multiple indirect searches per query. For example, each query in a B+-Tree requires access to all nodes from the root to the leaf, which limits the search performance of the B+-Tree to the data size. Since 2018, the combination of artificial intelligence and database has given birth to a new research direction called "learned index". Learned indexes use machine learning to learn data distribution and query load characteristics, and replace the traditional indirect index search with a direct search based on fitting functions, so as to reduce the space cost and improve the query performance. This survey firstly systematically sorts out and classifies the existing works of learned indexes. Then, the motivation and key techniques of each learned index are introduced, and the advantages and disadvantages of various index structures are compared and analyzed. Finally, the future research directions of learned indexes are prospected.

    参考文献
    相似文献
    引证文献
引用本文

张洲,金培权,谢希科.学习索引:现状与研究展望.软件学报,2021,32(4):1129-1150

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2020-07-27
  • 最后修改日期:2020-10-09
  • 录用日期:
  • 在线发布日期: 2020-12-02
  • 出版日期: 2021-04-06
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号