基于Bregman散度和差分隐私的个性化联邦学习方法
作者:
作者单位:

作者简介:

张少波(1979-), 男, 博士, 教授, CCF高级会员, 主要研究领域为人工智能隐私保护与安全, 大数据隐私保护. ;张激勇(1998-), 男, 硕士, 主要研究领域为联邦学习, 差分隐私, 机器学习. ;朱更明(1967-), 男, 教授, 主要研究领域为人工智能隐私保护, 信息安全, 机器视觉. ;龙赛琴(1986-), 女, 博士, 教授, 博士生导师, CCF专业会员, 主要研究领域为人工智能, 云计算, 边缘计算, 大数据. ;李哲涛(1980-), 男, 博士, 教授, 博士生导师, CCF专业会员, 主要研究领域为人工智能, 物联网, 网络空间安全.

通讯作者:

龙赛琴, saiqinlong@jnu.edu.cn

中图分类号:

TP306

基金项目:

国家重点研发计划(2021YFB3101201); 国家自然科学基金(62272162, 62172159, 62172350, 62032020); 教育部人文社会科学研究规划基金(22YJAZH155); 湖南省自然科学基金(2023JJ30267)


Personalized Federated Learning Method Based on Bregman Divergence and Differential Privacy
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    联邦学习因能解决数据孤岛问题而被广泛关注, 但也存在用户隐私泄露风险和非独立同分布数据下模型异构导致性能下降的问题. 针对该问题, 提出基于Bregman散度和差分隐私的个性化联邦学习方法(FedBDP). 所提方法采用Bregman散度衡量本地参数与全局参数的差异, 并将其作为正则化项更新损失函数, 以减小模型差异来提升模型准确率. 同时, 采用自适应差分隐私技术对本地模型参数进行扰动, 通过定义衰减系数动态调整每轮差分隐私噪声的大小, 以合理分配隐私噪声大小并提升模型可用性. 理论分析表明FedBDP在强凸和非凸光滑函数下满足收敛条件. 实验结果验证该方法在满足差分隐私的前提下, FedBDP模型在MNIST和CIFAR10数据集下能够保证模型准确率.

    Abstract:

    Federated learning has caught much attention because it can solve data islands. However, it also faces challenges such as the risk of privacy leakage and performance degradation due to model heterogeneity under non-independent and identically distributed data. To this end, this study proposes a personalized federated learning method based on Bregman divergence and differential privacy (FedBDP). This method employs Bregman divergence to measure the differences between local and global parameters and adopt it as a regularization term to update the loss function, thereby reducing model differences to improve model accuracy. Meanwhile, adaptive differential privacy technology is utilized to perturb local model parameters, and the attenuation coefficient is defined to dynamically adjust the level of the differential privacy noise in each round, and thus reasonably allocate the privacy noise level and improve the model availability. Theoretical analysis shows that FedBDP satisfies convergence conditions under both strongly convex and non-convex smooth functions. Experimental results demonstrate that the FedBDP method can guarantee accuracy in the MNIST and CIFAR10 datasets on the premise of satisfying differential privacy.

    参考文献
    相似文献
    引证文献
引用本文

张少波,张激勇,朱更明,龙赛琴,李哲涛.基于Bregman散度和差分隐私的个性化联邦学习方法.软件学报,2024,35(11):5249-5262

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2022-10-07
  • 最后修改日期:2023-02-11
  • 录用日期:
  • 在线发布日期: 2023-12-27
  • 出版日期: 2024-11-06
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号