bck

收藏本站

面向深度卷积神经网络的模型剪枝算法研究

【摘要】:深度学习,特别是卷积神经网络,已经成为了计算机视觉很多领域的最佳解决方案。深度神经网络模型的主要缺点在于其庞大的计算量与参数数量,这在一定程度上限制了深度学习在一些资源受限设备(例如手机或嵌入式设备)上的应用。所谓资源受限,指的是某一特定任务必须在有限资源供应的情况下完成计算,包括但不限于计算时间、存储开销、能源消耗等。这些小型设备对于模型的计算速度和体积都有着严格的要求。因此,如何加快深度模型的运算速度,降低参数数量成为了计算机视觉领域的重要研究课题。另一方面,很多研究表明深度网络存在着严重的过参数化现象,即模型的参数是冗余的。这在一定程度上给模型压缩提供了理论支持。本文认为滤波器级别的剪枝算法是加快神经网络计算速度,降低内存开销的有效技术手段。针对网络剪枝领域的若干重要问题,我们开展了一系列探索,本文所涉及的主要工作包括:1.一种基于重构误差最小化的滤波器剪枝算法:Thi Net。针对以往剪枝算法多为启发式的缺点,我们将模型的剪枝过程形式化地建模为了一个优化问题,并提出了一种贪心算法来更快更好地求解该优化问题。我们发现如果能最小化下一层网络输出的重构误差,移除当前层相应的滤波器就不会对网络的最终精度造成严重的影响。另一方面,为了进一步降低网络的存储开销,我们提出了一种基于通道混合操作的算法(gcos算法)来解决因分组卷积造成的信息阻塞问题,有效避免了精度下降。实验结果表明,Thi Net在多个数据集上超过了以往的启发式剪枝算法,其模型具有良好的泛化性能。2.一种可端到端训练的滤波器剪枝算法:Auto Pruner。针对以往三阶段剪枝算法过于依赖人工设计的剪枝标准的问题,我们提出了一个新的网络模块Auto Pruner。该模块以卷积层的输出张量为输入,通过一系列运算得到一个唯一的索引向量。在模型微调过程中,该索引向量的值将会逐渐变为二值,从而实现更加平滑的剪枝操作。训练完成后,二值向量中所有零元素所对应的滤波器与通道将会被移除,而这并不会影响模型的精度。实验结果表明,Auto Pruner算法显著优于以往的三阶段剪枝算法。3.一种针对残差连接与数据受限的剪枝算法:CURL。针对如何更好地剪枝残差结构以及如何在小数据集上进行网络剪枝的问题,我们提出了一种新的模型剪枝方案CURL。对于残差结构,我们认为同时剪除残差块的中间与输出维度能够实现更好的压缩性能。为了能够直接在小数据集上进行网络剪枝,我们使用若干图像变换技术来扩充原始的小数据集,并使用知识蒸馏技术来微调剪枝后的模型。由于扩充后的数据集存在噪声,我们提出了一种标记细化的方案来同时对知识蒸馏的软标记进行更新。实验结果表明,我们提出的CURL算法有效地解决了以上两个问题,大大降低了剪枝算法的实际应用难度。

下载App查看全文

(如何获取全文? 欢迎:、、)

支持CAJ、PDF文件格式


【相似文献】
中国期刊全文数据库 前16条
1 黄贺;;基于深度学习的商品自动定价模型研究[J];现代商贸工业;2019年09期
2 肖力;BP学习算法及其收敛速度的改进[J];微计算机应用;2003年04期
3 黄旭进;曹飞龙;;矩阵输入的多层前向神经网络学习算法[J];中国计量大学学报;2017年04期
4 周宏强;黄玲玲;王涌天;;深度学习算法及其在光学的应用[J];红外与激光工程;2019年12期
5 吕宏伯,黄铮,张方;神经网络BP算法的一种改进[J];北京工业大学学报;1995年01期
6 李晓静;;基于改进蜂群算法的神经网络及其应用[J];琼州学院学报;2015年02期
7 任家铭;李灿;姚李孝;;基于果蝇算法与自适应性遗传算法组合优化神经网络的光伏电站短期出力预测[J];电网与清洁能源;2018年09期
8 游峰;梁昭德;;基于深度学习的驾驶人疲劳监测算法研究[J];武汉理工大学学报(交通科学与工程版);2018年03期
9 张铃,张钹,吴福朝;神经网络的规划学习算法[J];计算机学报;1994年09期
10 顾攀;张烽栋;;基于神经网络的图像弱监督语义分割算法[J];计算机应用与软件;2018年02期
11 刘轩黄;机动目标的多模型跟踪与预报算法[J];海南大学学报(自然科学版);2001年02期
12 李爽;;数字识别算法在神经网络中的设计[J];硅谷;2010年22期
13 姜紫峰,刘小坤;基于神经网络的交通事件检测算法[J];西安公路交通大学学报;2000年03期
14 许锦波,顾乃杰,陈国良;C~3模型上FFT算法的设计与分析[J];计算机研究与发展;1997年S1期
15 赵群;保铮;焦李成;;二维时延有序反向传播神经网络模型与算法[J];西安电子科技大学学报;1993年03期
16 卓维;张磊;;深度神经网络的快速学习算法[J];嘉应学院学报;2014年05期
中国重要会议论文全文数据库 前20条
1 房育栋;余英林;;高阶自组织映射及其学习算法[A];1995年中国控制会议论文集(上)[C];1995年
2 郝增荣;刘海军;柳征;姜文利;;一种基于神经网络增量学习的辐射源识别算法[A];第十四届全国信号处理学术年会(CCSP-2009)论文集[C];2009年
3 崔慧敏;贾建辉;马纪军;关贵注;王宇宁;张佳颖;;基于改进智能萤火虫算法的系统辨识[A];第三届航天电子战略研究论坛论文集(遥测遥控专刊)[C];2017年
4 胡玉兰;付文;李雪梅;;基于混合基因算法神经网络的故障诊断研究[A];2006中国控制与决策学术年会论文集[C];2006年
5 许伦辉;傅惠;徐建闽;;基于分形维数的交通流预测模型及算法研究[A];2003年中国智能自动化会议论文集(下册)[C];2003年
6 林明森;宋新改;彭海龙;冯倩;;神经网络反演散射计风场算法的研究[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年
7 高文忠;顾树生;平力;;静态神经网络新算法及其收敛性初探[A];1994年中国控制会议论文集[C];1994年
8 罗山;张琳;范文新;;基于神经网络和简单规划的识别融合算法[A];2009系统仿真技术及其应用学术会议论文集[C];2009年
9 徐一;杨静;任志刚;杨迅幸;;基于学习的烟花算法[A];2018中国自动化大会(CAC2018)论文集[C];2018年
10 姚雪;;基于算法多样化培养学生思维习惯和创新精神[A];2019年“区域优质教育资源的整合研究”研讨会论文集[C];2019年
11 熊薇薇;吴怀宇;;一种改进的角点检测算法[A];中国计量协会冶金分会2009年年会论文集[C];2009年
12 陶丽;张自力;丁晓明;;一种适用于动态重构的联盟形成算法[A];2008年计算机应用技术交流会论文集[C];2008年
13 陈伟辉;孙阳;陈杰;倪玮;陈冲;薛超;;基于深度学习的地震识别技术展望[A];国家安全地球物理丛书(十四)——资源·环境与地球物理[C];2018年
14 刘昊;许超;;基于多源数据模型的排序学习算法[A];第八届全国信号和智能信息处理与应用学术会议会刊[C];2014年
15 张兰平;;谈小学一年级算法多样化的优化[A];中华教育理论与实践科研论文成果选编(下)[C];2007年
16 杨红斌;;计划量算法的优化[A];第四届全国医院药剂科建设与管理学术研讨会论文集[C];2012年
17 林克旺;;基于分层网络实现高效的自稳定的选举算法[A];计算机技术与应用进展——全国第17届计算机科学与技术应用(CACIS)学术会议论文集(下册)[C];2006年
18 彭瑾;刘必慰;陈胜刚;刘畅;;神经网络压缩模型的解压算法设计及其硬件实现[A];第二十二届计算机工程与工艺年会暨第八届微处理器技术论坛论文集[C];2018年
19 史天运;贾利民;;进化神经网络全自动设计算法[A];第二十届中国控制会议论文集(下)[C];2001年
20 徐英钟;高震;李波;;基于禁忌搜索的蚁群算法求解旅行商问题[A];第四届中国智能计算大会论文集[C];2010年
中国博士学位论文全文数据库 前20条
1 罗建豪;面向深度卷积神经网络的模型剪枝算法研究[D];南京大学;2020年
2 罗建豪;面向深度卷积神经网络的模型剪枝算法研究[D];南京大学;2020年
3 张元平;复杂场景下的视觉对象跟踪建模及算法研究[D];重庆大学;2019年
4 高震宇;基于深度卷积神经网络的图像分类方法研究及应用[D];中国科学技术大学;2018年
5 梁聪;面向图像分类的卷积神经网络损失函数研究[D];山东大学;2020年
6 梁聪;面向图像分类的卷积神经网络损失函数研究[D];山东大学;2020年
7 刘微;基于生物行为的射频识别系统优化模型与算法研究[D];吉林大学;2011年
8 林蔚天;改进的粒子群优化算法研究及其若干应用[D];华东理工大学;2014年
9 杜超;深度生成模型的学习算法及其在推荐系统中的应用研究[D];清华大学;2019年
10 周蓉;装卸一体化车辆路径问题优化模型及算法研究[D];合肥工业大学;2016年
11 李相勇;车辆路径问题模型及算法研究[D];上海交通大学;2007年
12 艾鹏程;基于卷积神经网络的高能物理事例特征信息在线提取算法研究[D];华中师范大学;2020年
13 王冰;人工蜂群算法的改进及相关应用的研究[D];北京理工大学;2015年
14 朱大铭;人工神经网络的结构学习算法及问题求解研究[D];中国科学院研究生院(计算技术研究所);1999年
15 娄素华;现代电力系统优化模型及其相关算法研究[D];华中科技大学;2005年
16 卢金娜;基于优化算法的径向基神经网络模型的改进及应用[D];中北大学;2015年
17 肖赤心;高维优化进化算法及其应用研究[D];中南大学;2009年
18 毛博;基于卷积神经网络的地震数据重构与模型构建研究[D];吉林大学;2020年
19 浮婷;算法“黑箱”与算法责任机制研究[D];中国社会科学院研究生院;2020年
20 王艳娇;人工蜂群算法的研究与应用[D];哈尔滨工程大学;2013年
中国硕士学位论文全文数据库 前20条
1 郑鑫;基于深度学习算法的微博文本数据情感分类研究[D];杭州电子科技大学;2020年
2 周畅;基于深度学习的图像风格迁移算法研究[D];扬州大学;2020年
3 闫陈静;人脸年龄估计算法的设计与实现[D];北京交通大学;2016年
4 蔡同彪;基于深度学习的计算机辅助手术工具跟踪算法及术后评价研究[D];山东大学;2020年
5 张鹏;基于深度学习的图像去雾算法研究[D];西安电子科技大学;2020年
6 李毅;基于深度学习的图像融合算法研究[D];西安建筑科技大学;2019年
7 成梓锐;基于深度学习的图像着色算法研究与实现[D];中北大学;2018年
8 淡博雅;基于卷积神经网络的宁夏地区病虫害识别算法研究[D];宁夏大学;2020年
9 廖孝存;基于深度学习的调制方式盲识别算法研究及实现[D];电子科技大学;2020年
10 王若辰;基于深度学习的目标检测与分割算法研究[D];北京工业大学;2016年
11 段强;行人跟踪算法研究[D];重庆大学;2016年
12 张镇;卷积神经网络通道剪枝算法研究[D];西安电子科技大学;2020年
13 谭涛;基于卷积神经网络的随机梯度下降优化算法研究[D];西南大学;2020年
14 史晶;基于深度神经网络的语音情感识别模型研究[D];重庆大学;2019年
15 连少远;交通图像中车辆感兴趣区域检测提取算法的研究与实现[D];石家庄铁道大学;2017年
16 王允霞;蜂群算法的研究及其在人工神经网络中的应用[D];华南理工大学;2013年
17 赵月娇;基于生物地理优化算法的神经网络故障诊断方法研究[D];东北石油大学;2013年
18 姚杨;基于卷积神经网络的模型压缩研究[D];南京大学;2020年
19 姚杨;基于卷积神经网络的模型压缩研究[D];南京大学;2020年
20 纪强;基于循环神经网络的深度推荐模型研究[D];安徽大学;2020年
中国重要报纸全文数据库 前20条
1 深圳商报记者 袁斯茹;[N];深圳商报;2019年
2 数字经济学家、商汤智能产业研究院主任 刘志毅;[N];经济观察报;2020年
3 本报记者 武晓莉;[N];中国消费者报;2021年
4 杨玉龙;[N];中国消费者报;2021年
5 本报记者 马成涛;[N];安徽日报;2020年
6 记者 任震宇;[N];中国消费者报;2021年
7 见习记者 陈友敏;[N];上海法治报;2021年
8 郑磊;[N];21世纪经济报道;2020年
9 吴明曦 马伯乐;[N];解放军报;2020年
10 赵熙熙;[N];中国科学报;2017年
11 实习生 高行健;[N];科技日报;2020年
12 重庆市第四中级人民法院 艾庆平;[N];人民法院报;2020年
13 北京大学法学院教授 北京大学电子商务法研究中心主任 薛军;[N];中国市场监管报;2020年
14 何勇海;[N];重庆日报;2020年
15 陈广江;[N];海南日报;2020年
16 陈广江;[N];中国消费者报;2020年
17 任然;[N];中国青年报;2020年
18 龙敏飞;[N];珠海特区报;2020年
19 眉间尺;[N];科技日报;2018年
20 陈航辉;[N];解放军报;2019年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978


{bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck体育下载}| {bckbet}| {bcksports}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck官网}| {bck体育下载}| {bckbet}| {bcksports}| {bck官网}| {bck体育app}| {bck体育}| {bcksports}| {bck官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck体育}| {bcksports}| {bck官网}| {bck体育官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bcksports}| {bck体育下载}| {bck体育app}| {bckbet}|
{uc8}| {uc8体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐城}| {uc8彩票}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8老虎机}| {UC8娱乐}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8彩票}| {uc8}| {uc8体育}| {UC体育}| {uc8官网}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {uc8彩票}| {uc8}| {uc体育}| {UC体育}| {UC8娱乐城}| {uc8}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}|