一种基于Spark的频繁项集快速挖掘算法
作者:
作者单位:

作者简介:

丁家满(1974-),男,教授,CCF专业会员,主要研究领域为数据挖掘,云计算,大数据;李海滨(1995-),男,硕士生,主要研究领域为数据挖掘,云计算,大数据;邓斌(1997-),男,硕士生,主要研究领域为数据挖掘,软件工程;贾连印(1978-),男,博士,副教授,CCF专业会员,主要研究领域为数据库.数据挖掘;游进国(1977-),男,博士,副教授,CCF高级会员,主要研究领域为大数据分析,数据仓库,图数据.

通讯作者:

贾连印,JLianyin@163.com

中图分类号:

TP311

基金项目:

国家自然科学基金(61562054)


Fast Mining Algorithm of Frequent Itemset Based on Spark
Author:
Affiliation:

Fund Project:

National Natural Science Foundation of China (61562054)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    如何在海量数据集中提高频繁项集的挖掘效率是目前研究的热点.随着数据量的不断增长,使用传统算法产生频繁项集的计算代价依然很高.为此,提出一种基于Spark的频繁项集快速挖掘算法(fast mining algorithm of frequent itemset based on spark,Fmafibs),利用位运算速度快的特点,设计了一种新颖的模式增长策略.该算法首先采用位串表达项集,利用位运算来快速生成候选项集;其次,针对超长位串计算效率低的问题,考虑将事务垂直分组处理,将同一事务不同组之间的频繁项集通过连接获得候选项集,最后进行聚合筛选得到最终频繁项集.算法在Spark环境下,以频繁项集挖掘领域基准数据集进行实验验证.实验结果表明所提方法在保证挖掘结果准确的同时,有效地提高了挖掘效率.

    Abstract:

    Improving the efficiency of frequent itemset mining in big data is a hot research topic at present. With the continuous growth of data volume, the computing costs of traditional frequent itemset generation algorithms remain high. Therefore, this study proposes a fast mining algorithm of frequent itemset based on Spark (Fmafibs in short). Taking advantage of bit-wise operation, a novel pattern growth strategy is designed. Firstly, the algorithm converts itemset into BitString and exploits bit-wise operation to generate candidate itemset. Secondly, to improve the processing efficiency of long BitString, a vertical grouping strategy is designed and the candidate itemset are obtained by joining the frequent itemset between different groups of same transaction, and then aggregating and filtering them to get the final frequent itemset. Fmafibs is implemented in Spark environment. The experimental results on benchmark datasets show that the proposed method is correct and it can significantly improve the mining efficiency.

    参考文献
    相似文献
    引证文献
引用本文

丁家满,李海滨,邓斌,贾连印,游进国.一种基于Spark的频繁项集快速挖掘算法.软件学报,2023,34(5):2446-2464

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2020-08-17
  • 最后修改日期:2020-12-13
  • 录用日期:
  • 在线发布日期: 2022-07-07
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号