自动化张量分解加速卷积神经网络
作者:
作者单位:

作者简介:

宋冰冰(1994-),男,博士生,CCF学生会员,主要研究领域为深度学习,模型加速.
刘俊晖(1980-),男,博士,讲师,CCF专业会员,主要研究领域为模型驱动开发,深度学习,计算机视觉.
张浩(1992-),男,硕士,主要研究领域为深度学习,生物信息学.
梁宇(1964-),男,教授,主要研究领域为网络技术,虚拟化,云计算.
吴子锋(1996-),男,硕士生,主要研究领域为模型压缩与分解.
周维(1974-),男,博士,教授,博士生导师,CCF专业会员,主要研究领域为分布式处理.

通讯作者:

周维,E-mail:zwei@ynu.edu.cn

中图分类号:

TP183

基金项目:

国家自然科学基金(61762089,61863036,61663047)


Automated Tensor Decomposition to Accelerate Convolutional Neural Networks
Author:
Affiliation:

Fund Project:

National Natural Science Foundation of China (61762089, 61863036, 61663047)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    近年来,卷积神经网络(CNN)展现了强大的性能,被广泛应用到了众多领域.由于CNN参数数量庞大,且存储和计算能力需求高,其难以部署在资源受限设备上.因此,对CNN的压缩和加速成为一个迫切需要解决的问题.随着自动化机器学习(AutoML)的研究与发展,AutoML对神经网络发展产生了深远的影响.受此启发,提出了基于参数估计和基于遗传算法的两种自动化加速卷积神经网络算法.该算法能够在给定精度损失范围内自动计算出最优的CNN加速模型,有效地解决了张量分解中,人工选择秩带来的误差问题,能够有效地提升CNN的压缩和加速效果.通过在MNIST和CIFAR-10数据集上的严格测试,与原网络相比,在MNIST数据集上准确率稍微下降了0.35%,模型的运行时间获得了4.1倍的大幅提升;在CIFAR-10数据集上,准确率稍微下降了5.13%,模型的运行时间获得了0.8倍的大幅提升.

    Abstract:

    Recently, convolutional neural network (CNN) have demonstrated strong performance and are widely used in many fields. Due to the large number of CNN parameters and high storage and computing power requirements, it is difficult to deploy on resource-constrained devices. Therefore, compression and acceleration of CNN models have become an urgent problem to be solved. With the research and development of automatic machine learning (AutoML), AutoML has profoundly impacted the development of neural networks. Inspired by this, this study proposes two automated accelerated CNN algorithms based on parameter estimation and genetic algorithms, which can calculate the optimal accelerated CNN model within a given accuracy loss range, effectively solving the error caused by artificially selected rank in tensor decomposition. It can effectively improve the compression and acceleration effects of the convolutional neural network. By rigorous testing on the MNIST and CIFAR-10 data sets, the accuracy rate on the MNIST dataset is slightly reduced by 0.35% compared to the original network, and the running time of the model is greatly reduced by 4.1 times, the accuracy rate on the CIFAR-10 dataset dropped slightly by 5.13%, and the running time of the model was greatly decreased by 0.8 times.

    参考文献
    相似文献
    引证文献
引用本文

宋冰冰,张浩,吴子锋,刘俊晖,梁宇,周维.自动化张量分解加速卷积神经网络.软件学报,2021,32(11):3468-3481

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2019-11-01
  • 最后修改日期:2020-02-05
  • 录用日期:
  • 在线发布日期: 2021-11-05
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号