主页期刊介绍编委会编辑部服务介绍道德声明在线审稿编委办公编辑办公English
2018-2019年专刊出版计划 微信服务介绍 最新一期:2018年第10期
     
在线出版
各期目录
纸质出版
分辑系列
论文检索
论文排行
综述文章
专刊文章
美文分享
各期封面
E-mail Alerts
RSS
旧版入口
中国科学院软件研究所
  
投稿指南 问题解答 下载区 收费标准 在线投稿
丁世飞,张楠,史忠植.拉普拉斯多层极速学习机.软件学报,2017,28(10):2599-2610
拉普拉斯多层极速学习机
Laplacian Multi Layer Extreme Learning Machine
投稿时间:2015-06-03  修订日期:2015-11-23
DOI:10.13328/j.cnki.jos.005128
中文关键词:  极速学习机  半监督学习  多层极速学习机  流形正则化  权值不确定
英文关键词:extreme learning machine  semi-supervised learning  multi layer extreme learning machine  manifold regularization  weightuncertainty
基金项目:国家自然科学基金(61672522,61379101);国家重点基础研究发展计划(973)(2013CB329502)
作者单位E-mail
丁世飞 中国矿业大学 计算机科学与技术学院, 江苏 徐州 221116
中国科学院 计算技术研究所 智能信息处理重点实验室, 北京 100190 
dingsf@cumt.edu.cn 
张楠 中国矿业大学 计算机科学与技术学院, 江苏 徐州 221116
中国科学院 计算技术研究所 智能信息处理重点实验室, 北京 100190 
 
史忠植 中国科学院 计算技术研究所 智能信息处理重点实验室, 北京 100190  
摘要点击次数: 1193
全文下载次数: 594
中文摘要:
      极速学习机不仅仅是有效的分类器,还能应用到半监督学习中.但是,半监督极速学习机和拉普拉斯光滑孪生支持向量机一样,是一种浅层学习算法.深度学习实现了复杂函数的逼近并缓解了以前多层神经网络算法的局部最小性问题,目前在机器学习领域中引起了广泛的关注.多层极速学习机(ML-ELM)是根据深度学习和极速学习机的思想提出的算法,通过堆叠极速学习机-自动编码器算法(ELM-AE)构建多层神经网络模型,不仅实现了复杂函数的逼近,并且训练过程中无需迭代,学习效率高.把流形正则化框架引入ML-ELM中,提出拉普拉斯多层极速学习机算法(Lap-ML-ELM).然而,ELM-AE不能很好地解决过拟合问题.针对这一问题,把权值不确定引入ELM-AE中,提出权值不确定极速学习机-自动编码器算法(WU-ELM-AE),可学习到更为鲁棒的特征.最后,在前面两种算法的基础上提出权值不确定拉普拉斯多层极速学习机算法(WUL-ML-ELM),它堆叠WU-ELM-AE构建深度模型,并用流形正则化框架求取输出权值.该算法在分类精度上有明显提高并且不需花费太多的时间.实验结果表明,Lap-ML-ELM与WUL-ML-ELM都是有效的半监督学习算法.
英文摘要:
      Extreme learning machine (ELM) not only is an effective classifier in supervised learning, but also can be applied on semi-supervised learning.However, semi-supervised ELM (SS-ELM) is merely a surface learning algorithm similar to Laplacian smooth twin support vector machine (Lap-STSVM).Deep learning has the advantage of approximating the complicated function and alleviating the optimization difficulty associated with deep models.Multi layer extreme learning machine (ML-ELM) has been developed according to the idea of deep learning and extreme learning machine, which stacks extreme learning machines, based auto encoder (ELM-AE) to create a multi-layer neural network.ML-ELM not only approximates the complicated function but also avoids the need to iterate during training process, exhibiting the merits of high learning efficiency.In this article, manifold regularization is introduced into the model of ML-ELM and a Laplacian ML-ELM (Lap-ML-ELM) is put forward.Furthermore, in order to solve the over fitting problem with ELM-AE, weight uncertainty is brought into ELM-AE to form a weight uncertainty ELM-AE (WU-ELM-AE) which can learn more robust features.Finally, a weight uncertainty Laplacian ML-ELM (WUL-ML-ELM) is proposed based on the above two algorithms, which stacks WU-ELM-AE to create a deep network and uses the manifold regularization framework to obtain the output weights.Lap-ML-ELM and WUL-ML-ELM are more efficient than SS-ELM in classification and do not need to spend too much time.Experimental results show that Lap-ML-ELM and WUL-ML-ELM are efficient semi-supervised learning algorithms.
HTML  下载PDF全文  查看/发表评论  下载PDF阅读器
 

京公网安备 11040202500064号

主办单位:中国科学院软件研究所 中国计算机学会
编辑部电话:+86-10-62562563 E-mail: jos@iscas.ac.cn
Copyright 中国科学院软件研究所《软件学报》版权所有 All Rights Reserved
本刊全文数据库版权所有,未经许可,不得转载,本刊保留追究法律责任的权利