双标签监督的几何约束对抗训练
作者:
作者单位:

作者简介:

曹刘娟(1983-),女,博士,副教授,CCF专业会员,主要研究领域为机器学习,模式识别;
张宝昌(1976-),男,博士,研究员,CCF专业会员,主要研究领域为视觉感知,边缘计算;
匡华峰(1994-),男,博士生,主要研究领域为对抗学习,机器学习;
黄飞跃(1979-),男,博士,高级工程师,专业会员,主要研究领域为机器学习与计算机视觉;
刘弘(1989-),男,博士,主要研究领域为机器学习,哈希检索;
吴永坚(1982-),男,博士,研究员,CCF专业会员,主要研究领域为机器学习,计算机视觉;
王言(1988-),男,博士,工程师,主要研究领域为多媒体内容检索,机器视觉;
纪荣嵘(1983-),男,博士,教授,博士生导师,CCF专业会员,主要研究领域为计算机视觉,机器学习.

通讯作者:

匡华峰,E-mail:skykuang@stu.xmu.edu.cn

中图分类号:

基金项目:

国家杰出青年科学基金(62025603);国家自然科学基金(U1705262,62072386,62072387,62072389,62002305,61772443,61802324 61702136);广东省基础与应用基础研究基金(2019B1515120049);中央高校基本科研业务费(20720200077,20720200090,20720200091)


Towards Robust Adversarial Training via Dual-label Supervised and Geometry Constraint
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    近年来的研究表明,对抗训练是一种有效的防御对抗样本攻击的方法.然而,现有的对抗训练策略在提升模型鲁棒性的同时会造成模型的泛化能力下降.现阶段主流的对抗训练方法通常都是独立地处理每个训练样本,而忽略了样本之间的关系,这使得模型无法充分挖掘样本间的几何关系来学习更鲁棒的模型,以便更好地防御对抗攻击.因此,重点研究如何在对抗训练过程中保持样本间的几何结构稳定性,达到提升模型鲁棒性的目的.具体而言,在对抗训练中,设计了一种新的几何结构约束方法,其目的是保持自然样本与对抗样本的特征空间分布一致性.此外,提出了一种基于双标签的监督学习方法,该方法同时采用自然样本和对抗样本的标签对模型进行联合监督训练.最后,分析了双标签监督学习方法的特性,试图从理论上解释对抗样本的工作机理.多个基准数据集上的实验结果表明:相比于已有方法,该方法有效地提升了模型的鲁棒性且保持了较好的泛化精度.相关代码已经开源:https://github.com/SkyKuang/DGCAT.

    Abstract:

    Recent studies have shown that adversarial training is an effective method to defend against adversarial example attacks. However, such robustness comes with a price of a larger generalization gap. To this end, existing endeavors mainly treat each training example independently, which ignores the geometry relationship between inter-samples and does not take the defending capability to the full potential. Different from existing works, this study focuses on improving the robustness of the neural network model by aligning the geometric information of inter-samples to make the feature spatial distribution structure between the natural and adversarial samples is consistent. Furthermore, a dual-label supervised method is proposed to leverage true and wrong labels of adversarial example to jointly supervise the adversarial learning process. The characteristics of the dual-label supervised learning method are analyzed and it is tried to explain the working mechanism of the adversarial example theoretically. The extensive experiments have been conducted on benchmark datasets, which well demonstrates that the proposed approach effectively improves the robustness of the model and still keeps the generalization accuracy. Code is available: https://github.com/SkyKuang/DGCAT.

    参考文献
    相似文献
    引证文献
引用本文

曹刘娟,匡华峰,刘弘,王言,张宝昌,黄飞跃,吴永坚,纪荣嵘.双标签监督的几何约束对抗训练.软件学报,2022,33(4):1218-1230

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2021-05-30
  • 最后修改日期:2021-07-16
  • 录用日期:
  • 在线发布日期: 2021-10-26
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号