面向企业数据孤岛的联邦排序学习
作者:
作者单位:

作者简介:

史鼎元(1998-),男,本科,主要研究领域为联邦学习,时空大数据分析处理,众包计算,群体智能,隐私保护.
王晏晟(1994-),男,博士,CCF学生会员,主要研究领域为联邦学习,时空大数据分析处理,众包计算,群体智能,隐私保护.
郑鹏飞(1996-),男,硕士,CCF学生会员,主要研究领域为联邦学习,时空大数据分析处理,众包计算,群体智能,隐私保护.
童咏昕(1982-),男,博士,教授,博士生导师,CCF高级会员,主要研究领域为联邦学习,时空大数据分析处理,众包计算,群体智能,隐私保护.

通讯作者:

童咏昕,E-mail:yxtong@buaa.edu.cn

中图分类号:

基金项目:

国家重点研发计划(2018AAA0101100);国家自然科学基金(61822201,U1811463);软件开发环境国家重点实验室(北京航空航天大学)开放课题(SKLSDE-2020ZX-15)


Cross-Silo Federated Learning-to-Rank
Author:
Affiliation:

Fund Project:

National Key Research and Development Program of China (2018AAA0101100); National Natural Science Foundation of China (61822201, U1811463); State Key Laboratory of Software Development Environment (Beihang University) Open Program (SKLSDE-2020ZX-15)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    排序学习(learning-to-rank,简称LTR)模型在信息检索领域取得了显著成果,而该模型的传统训练方法需要收集大规模文本数据.然而,随着数据隐私保护日渐受到人们重视,从多个数据拥有者(如企业)手中收集数据训练排序学习模型的方式变得不可行.各企业之间数据被迫独立存储,形成了数据孤岛.由于排序模型训练需要使用查询记录、文档等诸多隐私信息,数据孤岛难以融合打通,这制约了排序学习模型的训练.联邦学习能够让多数据拥有方在隐私保护的前提下联合训练模型,是一种打通数据孤岛的新方法.在其启发下,提出了一种新的框架,即面向企业数据孤岛的联邦排序学习,它同时解决了联邦学习场景下排序学习所面临的两大挑战,即交叉特征生成与缺失标签处理.为了应对多方交叉特征的生成问题,使用了一种基于略图(sketch)数据结构与差分隐私的方法,其相比于传统加密方法具有更高的效率,同时还具有隐私性与结果精度的理论保证.为了应对缺失标签问题,提出了一种新的联邦半监督学习方法.最终,通过在公开数据集上的大量实验,验证了所提方法的有效性.

    Abstract:

    Learning-to-rank (LTR) model has made a remarkable achievement. However, traditional training scheme for LTR model requires large amount of text data. Considering the increasing concerns about privacy protection, it is becoming infeasible to collect text data from multiple data owners as before, and thus data is forced to save separately. The separation turns data owners into data silos, among which the data can hardly exchange, causing LTR training severely compromised. Inspired by the recent progress in federated learning, a novel framework is proposed named cross-silo federated learning-to-rank (CS-F-LTR), which addresses two unique challenges faced by LTR when applied it to federated scenario. In order to deal with the cross-party feature generation problem, CS-F-LTR utilizes a sketch and differential privacy based method, which is much more efficient than encryption-based protocols meanwhile the accuracy loss is still guaranteed. To tackle with the missing label problem, CS-F-LTR relies on a semi-supervised learning mechanism that facilitates fast labeling with mutual labelers. Extensive experiments conducted on public datasets verify the effectiveness of the proposed framework.

    参考文献
    相似文献
    引证文献
引用本文

史鼎元,王晏晟,郑鹏飞,童咏昕.面向企业数据孤岛的联邦排序学习.软件学报,2021,32(3):669-688

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2020-07-19
  • 最后修改日期:2020-09-03
  • 录用日期:
  • 在线发布日期: 2021-01-21
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号