HCA-Index: 基于数据冷热感知的学习型索引
CSTR:
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

国家自然科学基金(62432003); 国家大学生创新创业训练计划(251347)


HCA-Index: Learned Index Based on Data Hot-cold Awareness
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    大数据时代背景下, 传统索引(如B+树)面临内存占用过高等问题, 学习型索引以其低内存占用和高查询效率正逐步替代传统索引. 然而, 现有学习型索引难以有效拟合多样化的数据分布, 且易受新数据插入导致分布变化的影响, 引发性能下降. 为解决这些问题, 提出一种基于数据冷热感知的学习型索引HCA-Index. 该索引的核心包括: 设计基于误差阈值的渐进分区算法实现对数据分布的动态拟合; 通过自下而上提取键值范围并采用层级合并策略构建高精度索引; 设计动态演化的数据温度计算模型识别冷热数据; 利用节点级冷热分区支持数据迁移与快速查询. 在真实数据集上进行的实验表明, 相较于传统索引及最新的学习型索引, HCA-Index 在进一步降低内存占用的同时, 显著缩短查询延迟, 并有效减少新数据插入导致的重训练次数.

    Abstract:

    In the era of big data, traditional indexes (e.g., B+ trees) face challenges, including high memory consumption. Learned indexes are increasingly replacing traditional indexes because of their lower memory consumption and higher query efficiency. However, existing learned indexes struggle to effectively adapt to diverse data distributions and are prone to performance degradation when distribution shifts occur due to new data insertions. To address these issues, this study proposes HCA-Index, a learned index based on data hot-cold awareness. The core components of HCA-Index include 1) designing a progressive partitioning algorithm based on error thresholds to dynamically fit data distributions; 2) constructing a high-precision index by extracting key ranges in a bottom-up manner and adopting hierarchical merging strategies; 3) designing a dynamically evolving data temperature calculation model to identify hot and cold data; and 4) leveraging node-level hot-cold partitioning to support data migration and fast querying. Experiments on real-world datasets demonstrate that, compared with traditional indexes and state-of-the-art learned indexes, HCA-Index significantly reduces query latency, further lowers memory consumption, and effectively reduces the number of retraining operations caused by new data insertions.

    参考文献
    相似文献
    引证文献
引用本文

孙伊鸣,信俊昌,赵少杰,操天童,洪振强,安宸. HCA-Index: 基于数据冷热感知的学习型索引.软件学报,,():1-20

复制
相关视频

分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2025-06-14
  • 最后修改日期:2025-10-20
  • 录用日期:
  • 在线发布日期: 2026-06-03
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号