主页期刊介绍编委会编辑部服务介绍道德声明在线审稿编委办公编辑办公English
2018-2019年专刊出版计划 微信服务介绍 最新一期:2019年第5期
     
在线出版
各期目录
纸质出版
分辑系列
论文检索
论文排行
综述文章
专刊文章
美文分享
各期封面
E-mail Alerts
RSS
旧版入口
中国科学院软件研究所
  
投稿指南 问题解答 下载区 收费标准 在线投稿
卢泓宇,张敏,刘奕群,马少平.卷积神经网络特征重要性分析及增强特征选择模型.软件学报,2017,28(11):2879-2890
卷积神经网络特征重要性分析及增强特征选择模型
Convolution Neural Network Feature Importance Analysis and Feature Selection Enhanced Model
投稿时间:2017-05-15  修订日期:2017-06-16
DOI:10.13328/j.cnki.jos.005349
中文关键词:  卷积神经网络  特征重要性分析  特征选择  文本分类
英文关键词:convolution neural network  feature importance analysis  feature selection  text categorization
基金项目:国家自然科学基金(61622208,61532011,61672311);国家重点基础研究发展计划(973)(2015CB358700)
作者单位
卢泓宇 智能技术与系统国家重点实验室(清华大学), 北京 100084
清华大学 计算机科学与技术系, 北京 100084 
张敏 智能技术与系统国家重点实验室(清华大学), 北京 100084
清华大学 计算机科学与技术系, 北京 100084 
刘奕群 智能技术与系统国家重点实验室(清华大学), 北京 100084
清华大学 计算机科学与技术系, 北京 100084 
马少平 智能技术与系统国家重点实验室(清华大学), 北京 100084
清华大学 计算机科学与技术系, 北京 100084 
摘要点击次数: 1152
全文下载次数: 2506
中文摘要:
      卷积神经网络等深度神经网络凭借着其强大的表达能力、突出的分类性能,已在不同领域内得到了广泛应用.当面对高维特征时,深度神经网络通常被认为具有较好的鲁棒性,能够隐含地对特征进行选择,但由于网络参数巨大,如果数据量达不到足够的规模,则会导致学习不充分,因而可能无法达到最优的特征选择.而神经网络的黑箱特性使得无法观测神经网络选择了哪些特征,也无法评估其特征选择的能力.为此,以卷积神经网络为例,首先研究如何显式地表达神经网络中的特征重要性,提出了基于感受野的特征贡献度分析方法;其次,将神经网络特征选择与传统特征评价方法进行对比分析发现,在非海量样本的情况下,传统特征评价方法对高重要性特征和噪声特征的识别能力反而能够超过神经网络.因此,进一步地提出了卷积神经网络增强特征选择模型,将传统特征评价方法对特征重要性的理解结合到神经网络的学习过程中,以辅助深度神经网络进行特征选择.在基于文本的社交媒体用户属性建模任务下进行了对比实验,结果验证了该模型的有效性.
英文摘要:
      Because of its strong expressive power and outstanding performance of classification, deep neural network (DNN), such as like convolution neural network (CNN), is widely used in various fields. When faced with high-dimensional features, DNNs are usually considered to have good robustness, for it can implicitly select relevant features. However, due to the huge number of parameters, if the data is not enough, the learning of neural network will be inadequate and the feature selection will not be desirable. DNN is a black box, which makes it difficult to observe what features are chosen and to evaluate its ability of feature selection. This paper proposes a feature contribution analysis method based on neuron receptive field. Using this method, the feature importance of a neural network, for example CNN, can be explicitly obtained. Further, the study finds that the neural network's ability in recognizing relevant and noise features is weaker than the tratitional evaluation methods. To enhance its feature selection ability, a feature selection enhanced CNN model is proposed to improve classification accuracy by applying traditional feature evaluation method to the learning process of neural network. In the task of the text-based user attribute modeling in social media, experimental results demonstrate the validity of the preoposed model.
HTML  下载PDF全文  查看/发表评论  下载PDF阅读器
 

京公网安备 11040202500064号

主办单位:中国科学院软件研究所 中国计算机学会
编辑部电话:+86-10-62562563 E-mail: jos@iscas.ac.cn
Copyright 中国科学院软件研究所《软件学报》版权所有 All Rights Reserved
本刊全文数据库版权所有,未经许可,不得转载,本刊保留追究法律责任的权利