收藏本站

基于乘积量化的深度神经网络压缩方法

【摘要】:近年来,深度神经网络在计算机视觉、自然语言处理和文本数据等各个领域取得卓越成就。但随之而来的问题是深度神经网络随着模型加深和过度参数化,其网络规模、计算量、耗电量、存储量都在成倍增加,最终导致超大体系结构计算效率较低。尤其是对于具有受限计算和能力资源的应用程序,例如Web服务、移动和嵌入式设备。针对深度学习架构在计算上昂贵且占用大量内存,无法部署在内存资源低的设备(如手机)或移动端的问题,本文提出了一种基于剪枝与乘积量化组合使用对多种不同深度神经网络进行深度压缩的方法,解决深度神经网络中冗余参数过多,模型存储量大等问题。本文压缩网络的第一步是先正常搭建并训练好网络保存最佳参数模型。第二步即利用剪枝方法先阈值扫描确定阈值将网络权重矩阵中低于确定阈值的权重连接剪开减少深度神经网络中冗余参数,然后重新再训练网络补偿损失的性能,再利用乘积量化聚类实现权值共享,牺牲少部分精度,使得神经网络模型的参数量化为8bit,节省了网络的内存开销,提高了网络的压缩比和加速比。在基于GPU的Pytorch框架环境下,本文提出的方法在尽量不损失精度的前提下将LeNet-5、MLP、AlexNet、ResNet 和 VggNet-16 网络模型在 Mnist 或 CIFAR-10 等数据集实验下压缩至23至59倍,同时实现了 1.52至3.3倍的加速比,比单独剪枝压缩提高了至少一倍的压缩率,同时乘积量化相比Kmeans量化加速比提高了一倍以上。实验结果表明通过基于乘积量化结合剪枝的压缩方法,使得卷积神经网络在尽量不损失精度的要求下压缩比和加速比得到大幅度提升,从而让深度神经网络方法应用于嵌入式平台成为了可能。

下载App查看全文

(如何获取全文? 欢迎:、、)

支持CAJ、PDF文件格式


【相似文献】
中国期刊全文数据库 前9条
1 段秉环;文鹏程;李鹏;;面向嵌入式应用的深度神经网络压缩方法研究[J];航空计算技术;2018年05期
2 姜懿家;;卷积神经网络的压缩研究[J];电子制作;2019年02期
3 李杰;孙仁诚;;几种典型卷积神经网络的权重分析与研究[J];青岛大学学报(自然科学版);2019年04期
4 刘佩林;张钰玲;;基于卷积神经网络的语音识别分析[J];电脑迷;2017年01期
5 代耀彬;朱燕燕;黄双华;;基于卷积神经网络的群众留言分类[J];无线互联科技;2020年12期
6 冯伟业;廖可非;欧阳缮;牛耀;;基于胶囊神经网络的合成孔径雷达图像分类方法[J];科学技术与工程;2019年28期
7 李莲;丁文宽;;基于卷积神经网络的辣椒识别[J];天津理工大学学报;2017年03期
8 迟惠生;陈珂;;1995年世界神经网络大会述评[J];国际学术动态;1996年01期
9 王方;苗放;陈垦;;基于优化神经网络的地质灾害监测预警仿真[J];计算机仿真;2019年11期
中国重要会议论文全文数据库 前20条
1 耿传玉;王泽宇;周晓君;阳春华;;基于U-net卷积神经网络双层参数优化的心脏图像分割[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
2 徐硕;;集合经验模态分解的多路-多级神经网络风功率预测模型[A];用电与能效专题讲座暨智能用电及能效管理技术研讨会论文集[C];2019年
3 段滈杉;乔俊飞;蒙西;汤健;;基于模块化神经网络的城市固废焚烧过程氮氧化物软测量[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
4 韩红桂;甄琪;杜永萍;乔俊飞;;基于低秩双线性卷积神经网络的手机型号识别方法[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
5 李淋雨;邱寅祺;何星;;基于LSTM的火电厂入口硝浓度预测方法研究[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
6 潘岚川;马乐乐;刘向杰;;基于卷积神经网络的一次风机故障预警研究[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
7 刘晶;黄进;赵万国;周丽萍;;一种基于卷积神经网络的非法经营线索挖掘模型[A];2020互联网安全与治理论坛论文集[C];2020年
8 包俊;董亚超;刘宏哲;;卷积神经网络的发展综述[A];中国计算机用户协会网络应用分会2020年第二十四届网络新技术与应用年会论文集[C];2020年
9 刘克楠;侯剑;;基于神经网络的唤醒词识别方法[A];中国计算机用户协会网络应用分会2020年第二十四届网络新技术与应用年会论文集[C];2020年
10 朱利明;路达;陈占毅;李方明;;基于BP-RBF神经网络的深基坑邻近建筑物沉降势预测[A];土木工程新材料、新技术及其工程应用交流会论文集(下册)[C];2019年
11 周浩;戴国忠;;基于神经网络的指挥信息系统体系贡献度分析[A];2019第七届中国指挥控制大会论文集[C];2019年
12 张子腾;梁烨;胡启鹏;张梦隆;陈智慧;;基于迁移卷积神经网络的脑功能连接分类[A];创新发展与情报服务[C];2019年
13 徐小天;李敏;孙跃;高冉馨;;深度神经网络的攻击与防御技术研究[A];第三届智能电网会议论文集——智能用电[C];2019年
14 郝佳恺;赵广怀;高鹏;牛海洋;郝毅;;可变嵌套深度神经网络自动训练方法[A];全国第四届“智能电网”会议论文集[C];2019年
15 李玉缝;;基于BP神经网络的主备频率源时差预报方法[A];中国天文学会2018年学术年会摘要集[C];2018年
16 信自成;张江山;张军国;路博勋;李军明;郑瑾;刘青;;基于SOM-RELM的LF炉钢水温度预测[A];第十二届中国钢铁年会论文集——2.炼钢与连铸[C];2019年
17 张兴伟;潘国富;张济博;;自编码神经网络在海底声学底质分类中应用初探[A];2019中国西部声学学术交流会论文集[C];2019年
18 朱张航宇;;美科学家实现突破:意念交流即将成为现实[A];《科学与现代化》2020年第一季度[C];2020年
19 An Yangming;;基于深度学习的Dropout-BP神经网络在测井资料评价煤层气含气量中的应用[A];2019年中国地球科学联合学术年会论文集(二十九)——专题77:井孔地球物理学及深部钻测、专题78:地球化学进展、专题79:地球深部碳循环、专题80:航空地球物理勘查技术与应用[C];2019年
20 ;Nature长文综述:类脑智能与脉冲神经网络前沿[A];《科学与现代化》2020年第一季度[C];2020年
中国博士学位论文全文数据库 前20条
1 肖理业;基于机器学习的电磁场建模与设计研究[D];电子科技大学;2019年
2 陈涵瀛;核电站热工水力系统工况预测与诊断方法研究[D];哈尔滨工程大学;2018年
3 梁智杰;聋哑人手语识别关键技术研究[D];华中师范大学;2019年
4 刘昂;微结构硅基光子学器件性能的研究[D];南京大学;2019年
5 赵博雅;基于卷积神经网络的硬件加速器设计及实现研究[D];哈尔滨工业大学;2018年
6 杜昌顺;面向细分领域的舆情情感分析关键技术研究[D];北京交通大学;2019年
7 陈科海;机器翻译上下文表示方法研究[D];哈尔滨工业大学;2019年
8 饶红霞;信息受限下神经网络的状态估计和拟同步研究[D];广东工业大学;2019年
9 张马路;Spiking机器学习算法研究[D];电子科技大学;2019年
10 付钱华;忆阻神经网络的动力学研究[D];电子科技大学;2019年
11 毛瑞琛;深度神经网络下的规范化地址建设与语义空间模型研究[D];浙江大学;2019年
12 武晨;DFP航天器动力学特性分析及精确控制方法研究[D];哈尔滨工业大学;2018年
13 杨旭辉;基于神经网络的C-ADS InjectorⅡ束流偏移校准技术研究[D];兰州大学;2019年
14 樊英杰;时滞忆阻神经网络的镇定及同步控制研究[D];山东科技大学;2019年
15 冉令燕;基于卷积神经网络的图像分类研究[D];西北工业大学;2018年
16 于佳;语音文档的故事分割技术研究[D];西北工业大学;2018年
17 申晨;基于卷积神经网络的行人再识别算法研究[D];浙江大学;2018年
18 田树耀;基于多尺度变分算法及深度卷积神经网络的图像压缩感知重建[D];燕山大学;2019年
19 孙诗昭;深度学习中深度问题与大模型问题的研究[D];南开大学;2018年
20 刘梦云;基于视觉的室内场景识别及其在多源融合定位中的应用[D];武汉大学;2019年
中国硕士学位论文全文数据库 前20条
1 方秀勤;基于乘积量化的深度神经网络压缩方法[D];西安理工大学;2020年
2 李永礼;基于脉冲神经网络的视觉图像分类方法研究[D];北京化工大学;2019年
3 王征韬;深度神经网络压缩与优化研究[D];电子科技大学;2017年
4 戴东亚;基于神经网络我国居民消费价格指数的应用[D];苏州大学;2018年
5 谢仁义;饱和脉冲Cohen-Grossberg神经网络稳定性分析[D];西南大学;2020年
6 侯洁;多权重耦合神经网络的反同步与有限时间反同步[D];天津工业大学;2019年
7 樊志文;基于深度卷积神经网络的CS-MRI重建方法研究[D];厦门大学;2019年
8 冯冰;基于深度学习的环境声音分类研究[D];厦门大学;2017年
9 柴志忠;基于深度卷积神经网络的病理影像研究[D];厦门大学;2019年
10 代光海;基于神经网络的运动想象脑电信号识别技术研究[D];电子科技大学;2020年
11 刘晓瑜;基于卷积神经网络的新鲜-冷冻猪肉近红外光谱检测研究[D];湖南大学;2019年
12 向鹏程;基于智能算法的自动化霜控制研究[D];天津商业大学;2019年
13 刘光云;基于多特征卷积神经网络的高光谱图像分类方法研究[D];湖南大学;2019年
14 周珍;基于卷积神经网络的指针手表读时方法研究[D];湖南大学;2019年
15 曹红英;基于卷积神经网络的交通标志检测与识别研究[D];湖南大学;2019年
16 汪文;基于链接预测的miRNA疾病相关性研究[D];厦门大学;2019年
17 王抒伟;应用深度神经网络对多导睡眠图的睡眠分期研究[D];厦门大学;2019年
18 周高峰;基于NVDLA的深度学习推断芯片研究[D];厦门大学;2019年
19 熊林;基于抖动算法的忆阻神经网络及其电路实现[D];湖南大学;2019年
20 周辉;基于机器学习和神经网络的微波信号多径干扰抑制研究[D];厦门大学;2019年
中国重要报纸全文数据库 前20条
1 记者 董映璧;[N];科技日报;2020年
2 骆无意;[N];中国航天报;2020年
3 张允硕 姜正义 甄海锋 河南理工大学;[N];科学导报;2019年
4 湖北日报全媒记者 张爱虎 通讯员 徐向军 实习生 于蓝;[N];湖北日报;2019年
5 记者 刘霞;[N];科技日报;2017年
6 整理 本报记者 诸玲珍 顾鸿儒;[N];中国电子报;2018年
7 ;[N];电子报;2018年
8 张敏;[N];北京日报;2017年
9 ;[N];中国企业报;2017年
10 本报记者 龚丹韵;[N];解放日报;2017年
11 ;[N];中国企业报;2017年
12 张斌;[N];文汇报;2017年
13 邓洲 中国社会科学院工业经济研究所;[N];上海证券报;2017年
14 中国科学技术大学终身学习实验室博士 吴茂乾;[N];安徽日报;2017年
15 记者 邱智丽;[N];第一财经日报;2017年
16 卡内基·梅隆大学计算机科学学院机器学习系主任 Tom Mitchell;[N];中国信息化周报;2017年
17 舒年;[N];工人日报;2017年
18 记者 刘霞;[N];科技日报;2017年
19 本报记者 喻思娈;[N];人民日报;2017年
20 中国信息通信研究院标准所副所长 何宝宏;[N];通信产业报;2017年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978


{bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck体育下载}| {bckbet}| {bcksports}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck官网}| {bck体育下载}| {bckbet}| {bcksports}| {bck官网}| {bck体育app}| {bck体育}| {bcksports}| {bck官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck体育}| {bcksports}| {bck官网}| {bck体育官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bcksports}| {bck体育下载}| {bck体育app}| {bckbet}|
{uc8}| {uc8体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐城}| {uc8彩票}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8老虎机}| {UC8娱乐}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8彩票}| {uc8}| {uc8体育}| {UC体育}| {uc8官网}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {uc8彩票}| {uc8}| {uc体育}| {UC体育}| {UC8娱乐城}| {uc8}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}|