主页期刊介绍编委会编辑部服务介绍道德声明在线审稿编委办公English
2020-2021年专刊出版计划 微信服务介绍 最新一期:2020年第10期
     
在线出版
各期目录
纸质出版
分辑系列
论文检索
论文排行
综述文章
专刊文章
美文分享
各期封面
E-mail Alerts
RSS
旧版入口
中国科学院软件研究所
  
投稿指南 问题解答 下载区 收费标准 在线投稿
高晗,田育龙,许封元,仲盛.深度学习模型压缩与加速综述.软件学报,2021,32(1):0
深度学习模型压缩与加速综述
Survey of Deep Learning Model Compression and Acceleration
投稿时间:2019-10-09  修订日期:2020-05-17
DOI:10.13328/j.cnki.jos.006096
中文关键词:  深度学习  模型压缩  模型加速  参数剪枝  参数量化  紧凑网络
英文关键词:deep learning  model compression  model acceleration  parameter pruning  parameter quantization  compact network
基金项目:国家自然科学基金(61872180,61872176);江苏省“双创计划”;江苏省“六大人才高峰”高层次人才项目(B类);蚂蚁金服科研基金;中央高校基本科研业务费14380069专项资金资助
作者单位E-mail
高晗 计算机软件新技术国家重点实验室(南京大学), 江苏 南京 210023  
田育龙 计算机软件新技术国家重点实验室(南京大学), 江苏 南京 210023  
许封元 计算机软件新技术国家重点实验室(南京大学), 江苏 南京 210023 fengyuan.xu@nju.edu.cn 
仲盛 计算机软件新技术国家重点实验室(南京大学), 江苏 南京 210023  
摘要点击次数: 478
全文下载次数: 462
中文摘要:
      随着训练可用数据量的增长与计算平台处理能力的增强,基于深度学习的智能模型能完成越来越复杂的任务,其在计算机视觉、自然语言处理等人工智能领域已经取得重大突破.然而这些深度模型具有庞大的参数规模,与之伴随着可畏的计算开销与内存需求,使得其在计算能力受限平台(例如移动嵌入式设备)的部署中遇到了巨大的困难与挑战,因此如何在不影响深度学习模型性能的情况下进行模型压缩与加速成为研究热点.本文首先对国内外学者提出的经典深度学习模型压缩与加速方法进行分析,从参数剪枝、参数量化、紧凑网络、知识蒸馏、低秩分解、参数共享和混合方式等7个方面分类总结.其次,总结对比几种主流技术的代表性方法在多个公开模型上的压缩与加速效果.最后,对于模型压缩与加速领域的未来研究方向进行展望.
英文摘要:
      With the development of the amount of data available for training and the processing power of new computing platform, the intelligent model based on deep learning can accomplish more and more complex tasks, and it has made major breakthroughs in the field of AI such as computer vision and natural language processing. However, the large number of parameters of these deep models bring awesome computational overhead and memory requirements, which makes the big models must face great difficulties and challenges in the deployment of computing-capable platforms (such as mobile embedded devices). So model compression and acceleration without affecting the performance has become a research hotspot. This paper first analyzes the classical deep learning model compression and acceleration methods proposed by domestic and foreign scholars, and summarizes seven aspects: parameter pruning, parameter quantization, compact network, knowledge distillation, low-rank decomposition, parameter sharing and hybrid methods. Secondly, we compare the compression and acceleration performance of several mainstream representative methods on multiple public models. Finally, the future research directions in the field of model compression and acceleration are discussed.
HTML  下载PDF全文  查看/发表评论  下载PDF阅读器
 

京公网安备 11040202500064号

主办单位:中国科学院软件研究所 中国计算机学会 京ICP备05046678号-4
编辑部电话:+86-10-62562563 E-mail: jos@iscas.ac.cn
Copyright 中国科学院软件研究所《软件学报》版权所有 All Rights Reserved
本刊全文数据库版权所有,未经许可,不得转载,本刊保留追究法律责任的权利