收藏本站

基于深度压缩的卷积神经网络压缩算法研究

【摘要】:深度学习近年来一直是人工智能领域的热门研究课题,卷积神经网络(Convolutional Neural Network,CNN)作为深度学习的经典学习模型,在图像分类、目标检测、自然语言处理等领域均取得了一系列重要突破。卷积神经网络模型具有参数量大,计算复杂度高的特点,正是这种复杂的多层次网络结构使得模型具有很强的预测能力。由于智能设备的普及,卷积神经网络移植到嵌入式设备上的需求日益增长,但是其巨大的参数冗余以及计算成本限制了它在嵌入式设备尤其是移动设备上的部署,于是众多的神经网络压缩算法应运而生,其中“深度压缩”算法以其突出的压缩性能被广泛应用于大型神经网络的压缩。本文基于卷积神经网络压缩算法进行深入研究,并针对“深度压缩”算法做出了一些改进,主要内容如下:(1)本文提出了基于“深度压缩”算法的动态剪枝和动态量化算法。“深度压缩”算法对大型卷积神经网络的压缩具有令人瞩目的压缩效果,但是该算法在剪枝以及量化过程中忽略了各层权重的不同数量级以及对输出的贡献度,针对此问题本文提出了动态剪枝和动态量化算法,对不同权重数量级的层进行分类,并分别设置阈值和聚类数目,在设置阈值时将简单的指定一个值改为按比例设定阈值,实验结果表明压缩效果要优于传统的深度压缩算法。(2)本文提出了一种用于压缩复数卷积神经网络的改进的“深度压缩”算法。目前许多研究工作都关注于实数卷积神经网络(Real Convolution Neural Network,Real CNN)的压缩,据我们所知,目前复数卷积神经网络(Complex Convolution Neural Network,Complex CNN)的压缩算法还没有论文涉及。与实数神经网络相比,复数神经网络更容易优化,有更好的泛化能力和学习能力,并且对噪声更加鲁棒。本文将“深度压缩”算法从实数域扩展到了复数域,提出了一种用于压缩复数卷积神经网络的改进的深度压缩算法。由于复数卷积神经网络的权重是复数形式,考虑到其虚数部分和实数部分的相关性,我们在剪枝、量化和哈夫曼编码过程中做出了以下改进:1)剪枝阶段:使用复数的模与阈值进行比较;2)量化阶段:使用二维K均值聚类算法对复数权重进行聚类,聚类中心即为共享权重;3)哈夫曼编码:由于复数权重的虚数部分与实数部分的相关性不影响哈夫曼编码的结果,将权重的实数部分与虚数部分分别进行编码。本文提出的压缩算法可以将适合于CIFAR-10数据集的卷积神经网络的参数量压缩8倍,在没有重新训练的情况下准确率损失在3%以内;将适合于IMAGENET数据集的卷积神经网络的参数量压缩16倍,在没有重新训练的情况下准确率损失在2%以内。

下载App查看全文

(如何获取全文? 欢迎:、、)

支持CAJ、PDF文件格式


【相似文献】
中国期刊全文数据库 前17条
1 曾维亮;林志贤;陈永洒;;基于卷积神经网络的智能冰箱果蔬图像识别的研究[J];微型机与应用;2017年08期
2 王媛媛;周涛;吴翠颖;;基于卷积神经网络的PET/CT多模态图像识别研究[J];电视技术;2017年03期
3 尹勰;闫磊;;基于深度卷积神经网络的图像目标检测[J];工业控制计算机;2017年04期
4 王艳娜;孙丙宇;;基于卷积神经网络的烟瘾渴求脑电分类[J];计算机系统应用;2017年06期
5 张庆辉;万晨霞;;卷积神经网络综述[J];中原工学院学报;2017年03期
6 俞汝劼;杨贞;熊惠霖;;基于深度卷积神经网络的航空器检测与识别[J];计算机应用;2017年06期
7 李楚曦;樊晓桠;赵昌和;张盛兵;王党辉;安建峰;张萌;;基于忆阻器的PIM结构实现深度卷积神经网络近似计算[J];计算机研究与发展;2017年06期
8 宋超;许道云;秦永彬;;分离多路卷积神经网络研究[J];计算机工程;2017年06期
9 李超琪;王绍宇;;基于深度卷积神经网络的人脸年龄分类[J];智能计算机与应用;2017年03期
10 袁烨;吴震宇;江先志;;基于卷积神经网络的人群计数研究[J];成组技术与生产现代化;2017年02期
11 张兆晨;冀俊忠;;基于卷积神经网络的fMRI数据分类方法[J];模式识别与人工智能;2017年06期
12 陶宏曜;梁栋屹;;基于卷积神经网络的职位描述文本分类方法[J];软件;2017年06期
13 欧阳针;陈玮;;基于可变形卷积神经网络的图像分类研究[J];软件导刊;2017年06期
14 蒋承知;于起;叶文强;甘凇元;;卷积神经网络算法的比较探究[J];电子技术与软件工程;2017年07期
15 任书蝶;;基于级联卷积神经网络的眼睛检测[J];科技经济导刊;2017年19期
16 杨念聪;任琼;张成喆;周子煜;李倩;邱兰;;基于卷积神经网络的图像特征识别研究[J];信息与电脑(理论版);2017年14期
17 王盛玉;曾碧卿;胡翩翩;;基于卷积神经网络参数优化的中文情感分析[J];计算机工程;2017年08期
中国重要会议论文全文数据库 前10条
1 郭天宇;朱铭健;王云鹤;许超;;基于自整合卷积神经网络的人脸分类算法[A];第十一届全国信号和智能信息处理与应用学术会议专刊[C];2017年
2 林明森;宋新改;彭海龙;冯倩;;神经网络反演散射计风场算法的研究[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年
3 高文忠;顾树生;平力;;静态神经网络新算法及其收敛性初探[A];1994年中国控制会议论文集[C];1994年
4 张子腾;梁烨;胡启鹏;张梦隆;陈智慧;;基于迁移卷积神经网络的脑功能连接分类[A];创新发展与情报服务[C];2019年
5 朱利明;路达;陈占毅;李方明;;基于BP-RBF神经网络的深基坑邻近建筑物沉降势预测[A];土木工程新材料、新技术及其工程应用交流会论文集(下册)[C];2019年
6 郝佳恺;赵广怀;高鹏;牛海洋;郝毅;;可变嵌套深度神经网络自动训练方法[A];全国第四届“智能电网”会议论文集[C];2019年
7 徐小天;李敏;孙跃;高冉馨;;深度神经网络的攻击与防御技术研究[A];第三届智能电网会议论文集——智能用电[C];2019年
8 周浩;戴国忠;;基于神经网络的指挥信息系统体系贡献度分析[A];2019第七届中国指挥控制大会论文集[C];2019年
9 孙军田;张喆;;基于神经网络数据挖掘技术确定灾害等级的灭火救援出动力量模型研究[A];2016中国消防协会科学技术年会论文集[C];2016年
10 许进;保铮;;神经网络与图论[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
中国博士学位论文全文数据库 前10条
1 江沸菠;基于神经网络的混合非线性电阻率反演成像[D];中南大学;2014年
2 郝富生;卷积神经网络判别性增强研究[D];中国科学院大学(中国科学院西安光学精密机械研究所);2019年
3 肖理业;基于机器学习的电磁场建模与设计研究[D];电子科技大学;2019年
4 陈涵瀛;核电站热工水力系统工况预测与诊断方法研究[D];哈尔滨工程大学;2018年
5 梁智杰;聋哑人手语识别关键技术研究[D];华中师范大学;2019年
6 刘昂;微结构硅基光子学器件性能的研究[D];南京大学;2019年
7 赵博雅;基于卷积神经网络的硬件加速器设计及实现研究[D];哈尔滨工业大学;2018年
8 杜昌顺;面向细分领域的舆情情感分析关键技术研究[D];北京交通大学;2019年
9 陈科海;机器翻译上下文表示方法研究[D];哈尔滨工业大学;2019年
10 饶红霞;信息受限下神经网络的状态估计和拟同步研究[D];广东工业大学;2019年
中国硕士学位论文全文数据库 前10条
1 任虹珊;基于深度压缩的卷积神经网络压缩算法研究[D];东南大学;2019年
2 吴正文;卷积神经网络在图像分类中的应用研究[D];电子科技大学;2015年
3 王小雪;基于FPGA的卷积神经网络手写数字识别系统的实现[D];北京理工大学;2016年
4 陈晓东;基于卷积神经网络的语音情感识别[D];华南理工大学;2015年
5 丁嘉莹;基于卷积神经网络的验证码字符识别研究[D];东南大学;2019年
6 康磊;基于卷积神经网络的前方车辆障碍物检测算法研究[D];华南理工大学;2016年
7 谢宝剑;基于卷积神经网络的图像分类方法研究[D];合肥工业大学;2015年
8 马立军;基于3D卷积神经网络的行为识别算法研究[D];中国地质大学(北京);2018年
9 张万亚;多层卷积神经网络深度学习算法的应用研究[D];西安电子科技大学;2017年
10 朱学敏;基于卷积神经网络的眼电信号疲劳检测[D];上海交通大学;2015年
中国重要报纸全文数据库 前10条
1 张允硕 姜正义 甄海锋 河南理工大学;[N];科学导报;2019年
2 湖北日报全媒记者 张爱虎 通讯员 徐向军 实习生 于蓝;[N];湖北日报;2019年
3 记者 刘霞;[N];科技日报;2017年
4 整理 本报记者 诸玲珍 顾鸿儒;[N];中国电子报;2018年
5 ;[N];电子报;2018年
6 张敏;[N];北京日报;2017年
7 ;[N];中国企业报;2017年
8 本报记者 龚丹韵;[N];解放日报;2017年
9 ;[N];中国企业报;2017年
10 张斌;[N];文汇报;2017年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978


{bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck体育下载}| {bckbet}| {bcksports}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck官网}| {bck体育下载}| {bckbet}| {bcksports}| {bck官网}| {bck体育app}| {bck体育}| {bcksports}| {bck官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck体育}| {bcksports}| {bck官网}| {bck体育官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bcksports}| {bck体育下载}| {bck体育app}| {bckbet}|
{uc8}| {uc8体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐城}| {uc8彩票}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8老虎机}| {UC8娱乐}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8彩票}| {uc8}| {uc8体育}| {UC体育}| {uc8官网}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {uc8彩票}| {uc8}| {uc体育}| {UC体育}| {UC8娱乐城}| {uc8}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}|