一种简单的共享式多层梯度补给方法
作者:
作者单位:

作者简介:

杜飞(1991-),男,硕士,主要研究领域为深度学习,集成学习;胡媛媛(1995-),女,硕士生,CCF学生会员,主要研究领域为深度学习;杨云(1981-),男,博士,教授,博士生导师,CCF高级会员,主要研究领域为机器学习,数据挖掘,模式识别,时间数据处理与分析;曹丽娟(1994-),女,硕士生,主要研究领域为深度学习.

通讯作者:

杨云,E-mail:yangyun@ynu.edu.cn

中图分类号:

基金项目:

国家自然科学基金(61663046,61876166);云南省应用基础研究计划(2016FB104);云南省中青年学术技术带头人后备人才项目(2017HB005);云南省创新团队项目(2017HC012);云南省高校重点实验室建设计划


Easy Way for Multilayer Gradient Supplies
Author:
Affiliation:

Fund Project:

National Natural Science Foundation of China (61663046, 61876166); Yunnan Applied Fundamental Research Project (2016FB104); Yunnan Provincial Young Academic and Technical Leaders Reserve Talents (2017HB005); Yunnan Provincial Innovation Team (2017HC012); Yunnan Provincial University Key Laboratory Construction Plan Fund

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    深度学习通过多层特征提取方式,可以将原始复杂数据自动表征为高级抽象特征,该模型具有很强的建模能力,普遍应用于图像识别语音识别、自然语言处理等高复杂问题中.但深度学习由于网络层数深、参数规模庞大,训练时常常会产生梯度消失、陷入局部最优解、过度拟合等现象.借鉴集成学习的思想,提出一个新颖的深度共享集成网络,该网络通过在深度学习各隐藏层引出多个独立输出层的联合训练的方式,在网络的各层注入梯度,从而对低层隐藏层进行梯度补给,从而降低深度学习中的梯度消失现象,并通过集成多输出层的方式使得整个网络拥有更强的泛化性能.

    Abstract:

    Deep learning allows computational models that are composed of multiple processing layers to learn representations of data with multiple levels of abstraction. These have dramatically improved the state-of-the-art methods in speech recognition, visual object recognition, natural language processing, and many other domains. However, due to the large number of layers and large parameter scales, deep learning often results in gradient vanishing, falling into local optimal solution, overfitting, and so on. By using ensemble learning methods, this study proposes a novel deep sharing ensemble network. Through joint training many independent output layers in each hidden layer and injecting gradients, this network can reduce the gradient vanishing phenomenon, and through ensemble multi-output, it can get a better generalization performance.

    参考文献
    相似文献
    引证文献
引用本文

杜飞,杨云,胡媛媛,曹丽娟.一种简单的共享式多层梯度补给方法.软件学报,2020,31(7):2157-2168

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2017-11-07
  • 最后修改日期:2018-03-11
  • 录用日期:
  • 在线发布日期: 2020-07-11
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号