基于贡献度证明共识机制的去中心化联邦学习框架
作者:
作者单位:

作者简介:

乔少杰(1981-),男,博士,教授,CCF杰出会员,主要研究领域为区块链数据库,人工智能数据库;袁冠(1982-),男,博士后,教授,CCF高级会员,主要研究领域为数据挖掘,机器学习;林羽丰(1998-),男,硕士生,主要研究领域为区块链,联邦学习;毛睿(1975-),男,博士,教授,博士生导师,CCF杰出会员,主要研究领域为大数据;韩楠(1984-),女,博士,副教授,主要研究领域为数据库,数据挖掘;元昌安(1964-),男,博士,教授,博士生导师,CCF专业会员,主要研究领域为数据库;杨国平(1997-),男,硕士生,CCF学生会员,主要研究领域为数据库查询优化;Louis Alberto GUTIERREZ(1980-),男,博士,Researcher,主要研究领域为人工智能;李贺(1983-),男,博士,副教授,CCF专业会员,主要研究领域为数据挖掘,机器学习,大数据处理.

通讯作者:

韩楠,hannan@cuit.edu.cn

中图分类号:

基金项目:

国家自然科学基金(61772091,61802035,61962006);四川省科技计划(2021JDJQ0021,2022YFG0186,2021YZD0009,2021ZYD0033);成都市技术创新研发项目(2021-YF05-00491-SN,2021-YF05-02414-GX,2021-YF05-02413-GX,2021-YF05-02420-GX,2021-YF05-02424-GX);成都市重大科技创新项目(2021-YF08-00156-GX,2021-YF08-00159-GX);成都市“揭榜挂帅”科技项目(2021-JB00-00025-GX)


Decentralized Federated Learning Framework Based on Proof-of-contribution Consensus Mechanism
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    在大数据背景下,保证数据可信共享是数据联邦的基本要求.区块链技术代替传统的主从架构,可以提高联邦学习(federated learning,FL)的安全性.然而,现有工作中,模型参数验证与数据持久化所产生的巨大通信成本和存储消耗,已经成为数据联邦中亟待解决的问题.针对上述问题,设计了一种高效的去中心化联邦学习框架(efficient decentralized federated learning framework,EDFL),能够降低存储开销,并显著提升FL的学习效率.首先,提出了一种基于贡献度证明(proof-of-contribution)的共识机制,使得区块生成者的选举基于历史贡献度而不采用竞争机制,从而有效发避免了挖矿过程产生的区块生成延迟,并以异步方式缓解模型参数验证中的阻塞问题;其次,提出了一种角色自适应激励算法,因为该算法基于节点的工作强度和EDFL所分配的角色,所以能够激励合法节点更积极地进行模型训练,并有效地识别出恶意节点;再者,提出一种区块链分区存储策略,使得多重局部修复编码块(local reconstruction code)可被均匀地分布到网络的各个节点上,进而降低节点的本地存储代价,并实现了较高的数据恢复效率;最后,在真实的FEMNIST数据集上,对EDFL的学习效率、存储可扩展性和安全性进行了评估.实验结果表明,EDFL在以上3个方面均优于主流的基于区块链的FL框架.

    Abstract:

    In the background of big data, ensuring credible data sharing is the basic requirement of data federation. Using blockchain technology to replace the traditional client-server architecture can improve the security of federated learning (FL). However, the huge communication cost and storage consumption generated by model parameter validation and data persistence in existing works have become problems that need to be solved urgently in data federation. To tackle these problems, an efficient decentralized federated learning framework (EDFL) is proposed, which can reduce the system overhead and significantly improve the learning efficiency of FL. Firstly, a consensus mechanism based on proof-of-contribution (PoC) is proposed where the election of the block generation is based on historical contribution instead of using the competition mechanism, thus, it can avoid the latency of the block generation caused by the mining process, and asynchronously alleviate the congestion in the model parameter validation. Secondly, a role-adaptive incentive algorithm is presented. Because the proposed algorithm is based on the work intensity of participating nodes and the role assigned by EDFL, it can motivate legitimate nodes to actively conduct model training and effectively identify malicious nodes. Thirdly, blockchain partition storage strategy is proposed. The proposed strategy enables multiple local reconstruction code chunks to be evenly distributed to nodes in the network, which reduces the local storage consumption and achieves higher efficiency of data recovery. Lastly, the learning efficiency, storage scalability, and security of EDFL are evaluated in real FEMNIST dataset. Experimental results show that EDFL outperforms the state-of-the-art blockchain-based FL framework from the above three aspects.

    参考文献
    相似文献
    引证文献
引用本文

乔少杰,林羽丰,韩楠,杨国平,李贺,袁冠,毛睿,元昌安,Louis Alberto GUTIERREZ.基于贡献度证明共识机制的去中心化联邦学习框架.软件学报,2023,34(3):1148-1167

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2022-05-14
  • 最后修改日期:2022-07-29
  • 录用日期:
  • 在线发布日期: 2022-10-26
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号