主页期刊介绍编委会编辑部服务介绍道德声明在线审稿编委办公编辑办公English
     
在线出版
各期目录
纸质出版
分辑系列
论文检索
论文排行
综述文章
专刊文章
美文分享
各期封面
E-mail Alerts
RSS
旧版入口
中国科学院软件研究所
  
投稿指南 问题解答 下载区 收费标准 在线投稿
刘宇翔,程禹嘉,陶卿.梯度有偏情形非光滑问题NAG的个体收敛性.软件学报,2020,31(4):0
梯度有偏情形非光滑问题NAG的个体收敛性
Individual Convergence of NAG with Biased Gradient in Nonsmooth Cases
投稿时间:2019-05-31  修订日期:2019-08-01
DOI:10.13328/j.cnki.jos.005926
中文关键词:  机器学习  Nesterov加速方法  随机优化  梯度估计有偏  个体收敛
英文关键词:machine learning  Nesterov accelerated gradient  stochastic optimization  biased gradient  individual convergence
基金项目:国家自然科学基金(61673394)
作者单位E-mail
刘宇翔 中国人民解放军陆军炮兵防空兵学院 信息工程系, 安徽 合肥 230031  
程禹嘉 中国人民解放军陆军炮兵防空兵学院 信息工程系, 安徽 合肥 230031  
陶卿 中国人民解放军陆军炮兵防空兵学院 信息工程系, 安徽 合肥 230031 qing.tao@ia.ac.cn 
摘要点击次数: 105
全文下载次数: 63
中文摘要:
      随机优化方法已经成为处理大规模正则化和深度学习优化问题的首选方法,其收敛速率的获得通常都建立在目标函数梯度无偏估计的基础上,但对机器学习问题来说,很多现象都导致了梯度有偏情况的出现.与梯度无偏情形不同的是,著名的Nesterov加速算法NAG(Nesterov Accelerated Gradient)会逐步累积每次迭代中的梯度偏差,从而导致不能获得最优的收敛速率甚至收敛性都无法保证.近期的研究表明NAG方法也是求解非光滑问题投影次梯度关于个体收敛的加速算法,但次梯度有偏对其影响的研究未见报道.本文针对非光滑优化问题,证明了在次梯度偏差有界的情况下,NAG能获得稳定的个体收敛界,而当次梯度偏差按照一定速率衰减时,NAG仍然可获得最优的个体收敛速率.作为应用,我们得到了一种无须精确计算投影的投影次梯度方法,可以在保持收敛性的同时较快达到稳定学习精度.实验验证了理论分析的正确性及非精确方法的性能.
英文摘要:
      Stochastic method has become our first choice for dealing with large-scale regularization and deep learning optimization problems. The acquisition of its convergence rate heavily depends on the unbiased gradient of objective functions. However, for machine learning problems, many scenarios can result in the appearance of biased gradient. In contrast to the unbiased gradient cases, the well-known Nesterov Accelerated Gradient (NAG) accumulates the error caused by the bias with the iteration. As a result, the optimal convergence will no longer hold and even the convergence cannot be guaranteed. Recent research shows that NAG is also an accelerated algorithm for the individual convergence of projection sub-gradient methods in non-smooth cases. However, until now, there is no report about the affect when the subgradient becomes biased. In this paper, for non-smooth optimization problems, it is proved that NAG can obtain a stable individual convergence bound when the subgradient bias is bounded, and the optimal individual convergence can still be achieved while the subgradient errors decrease at an appropriate. As an application, we obtain an inexact projection subgradient method in which the projection needs not calculate accurately. The derived algorithm can approach the stable learning accuaracy more quick while keeping the convergence. The experiments verify the correctness of theoretical analysis and the performance of inexact methods.
HTML  下载PDF全文  查看/发表评论  下载PDF阅读器
 

京公网安备 11040202500064号

主办单位:中国科学院软件研究所 中国计算机学会 京ICP备05046678号-4
编辑部电话:+86-10-62562563 E-mail: jos@iscas.ac.cn
Copyright 中国科学院软件研究所《软件学报》版权所有 All Rights Reserved
本刊全文数据库版权所有,未经许可,不得转载,本刊保留追究法律责任的权利