主页期刊介绍编委会编辑部服务介绍道德声明在线审稿编委办公English
2022年专刊出版计划 微信服务介绍 最新一期:2021年第2期
     
在线出版
各期目录
纸质出版
分辑系列
论文检索
论文排行
综述文章
专刊文章
美文分享
各期封面
E-mail Alerts
RSS
旧版入口
中国科学院软件研究所
  
投稿指南 问题解答 下载区 收费标准 在线投稿
龚成,卢冶,代素蓉,刘方鑫,陈新伟,李涛.μL2Q:一种超低损失的深度神经网络量化方法.软件学报,2021,32(8):2-0
μL2Q:一种超低损失的深度神经网络量化方法
μL2Q: An Ultra-Low Loss Quantization Method for DNN Compression
投稿时间:2020-07-21  修订日期:2020-09-07
DOI:10.13328/j.cnki.jos.006189
中文关键词:  神经网络压缩  神经网络量化  权值分布  均匀量化  量化损失最优解
英文关键词:neural network compression  neural network quantization  weight distribution  uniform quantization  extremum of quantization loss
基金项目:国家重点研发计划项目(2018YFB2100300);国家自然科学基金(62002175,61872200);天津自然科学基金项目(19JCZDJC31600,19JCQNJC00600);计算机体系结构国家重点实验室开放课题(CARCH201905);工业机器人应用福建省高校工程研究中心开放基金(MJUKF-IRA1902)
作者单位E-mail
龚成 南开大学计算机学院, 天津 300350
天津市网络和数据安全技术重点实验室(南开大学), 天津 300350 
 
卢冶 南开大学计算机学院, 天津 300350
天津市网络和数据安全技术重点实验室(南开大学), 天津 300350 
luye@nankai.edu.cn 
代素蓉 南开大学计算机学院, 天津 300350
天津市网络和数据安全技术重点实验室(南开大学), 天津 300350 
 
刘方鑫 南开大学计算机学院, 天津 300350
天津市网络和数据安全技术重点实验室(南开大学), 天津 300350 
 
陈新伟 工业机器人应用福建省高校工程研究中心(闽江学院), 福建 350121  
李涛 南开大学计算机学院, 天津 300350
天津市网络和数据安全技术重点实验室(南开大学), 天津 300350
计算机体系结构国家重点实验室(中国科学院计算技术研究所), 北京 100190 
 
摘要点击次数: 109
全文下载次数: 71
中文摘要:
      深度神经网络(DNN)量化是一种高效的模型压缩方法,仅使用少量位宽就可表示模型计算过程中的参数和中间结果数据.数据位宽会直接影响内存占用、计算效率和能耗.以往的模型量化研究仅仅针对数据位宽本身,但却忽视了数据的分布规律,且缺乏有效的定量分析,这导致量化损失难以预测.本文提出一种超低损失的DNN量化方法μL2Q.μL2Q揭示了量化位宽与量化损失之间的内在联系,提出了量化值择优分析方法以降低目标位宽下的量化损失.首先,将原始数据映射为标准正态分布的数据;然后,在等宽的量化区间中搜索最优量化参数;最后,将μL2Q方法融合进DNN的训练过程,并嵌入到主流的机器学习框架Caffe及Keras中以支撑端到端模型压缩的设计和训练.实验结果表明,与其他量化方法相比,在相同的位宽条件下,μL2Q能保证更高的模型精度;与最新的研究方法相比,精度分别提高了1.94%、3.73%和8.24%.显著性物体检测实验证明,μL2Q能够胜任复杂的计算机视觉任务.
英文摘要:
      Deep Neural Network (DNN) quantization is an efficient model compression method, in which parameters and intermediate results are expressed by low bit width. The bit width of data will directly affect the memory footprint, computing power and energy consumption. Previous researches on model quantization lack effective quantitative analysis, which leads to unpredictable quantization loss of these methods. To address this issue, in this paper, we propose an ultra-low loss quantization (μL2Q) method for DNN compression, which reveals the internal relationship between quantization bit width and quantization loss, effectively guiding the selection of quantization bit width and reduce quantization loss. First, we map the original data to the data with standard normal distribution and seek the optimal parameter configuration to reduce the quantization loss under the target bit width. Second, we have encapsulated and integrated μL2Q into two popular Deep Learning training frameworks, including Caffe and Keras, to support the design and training of end-to-end model compression. The experimental results show that compared with the state-of-the-art three clusters of quantization solutions, μL2Q can still guarantee the accuracy and deliver 1.94%, 3.73%, and 8.24% accuracy improvements under the typical neural networks with the same quantization bit width, respectively. In addition, we also verify that μL2Q can be competent for more complex Computer Vision tasks through salient object detection experiments.
HTML  下载PDF全文  查看/发表评论  下载PDF阅读器
 

京公网安备 11040202500064号

主办单位:中国科学院软件研究所 中国计算机学会 京ICP备05046678号-4
编辑部电话:+86-10-62562563 E-mail: jos@iscas.ac.cn
Copyright 中国科学院软件研究所《软件学报》版权所有 All Rights Reserved
本刊全文数据库版权所有,未经许可,不得转载,本刊保留追究法律责任的权利