bck

收藏本站

面向图像分类的卷积神经网络损失函数研究

【摘要】:图像分类是计算机视觉领域的四大基本任务之一,也是其他三大任务的基础。如何获取更好、更抽象的图像特征表达,是实现图像分类性能提升的关键。卷积神经网络(CNN)作为一种多层、非线性的表示学习方法,可以自动提取原始数据的特征表达,相较传统算法性能优势明显,已成为图像分类领域主流技术。在CNN之中,损失函数决定了整个CNN模型参数的更新过程,是决定网络对原始图像提取的特征表达优劣的重要因素。因此,近年来针对损失函数的相关研究已成为CNN模型泛化性能提升研究方面的热点之一。然而现有损失函数相关的研究工作,特别是面向图像分类任务时,仍存在以下不足:首先,现有工作大多聚焦在单一损失函数的模型优化问题上,缺乏对多损失函数协作优化模型的探讨和分析;其次,现有工作主要围绕CNN倒数第二层特征表达的数学特性展开,缺乏对CNN其他层特征表达数学特性的探索分析,在模型性能的理论分析上仍存在一定局限性;再次,现有工作主要应用于人脸识别、图像检索以及行人再识别等任务。这些任务与图像分类在判别准则上存在本质差异,相应研究成果在应用于图像分类任务时,性能增益有限。针对上述研究现状,本文在理论上首次提出了多损失函数需遵循的两个基本准则,设计了新型的多损失函数协作优化框架—损失迁移(Loss Transferring,LT),有效提升了 CNN模型的泛化性能;通过分析CNN最后一层和决策层特征表达的数学特性,在理论层面首次提出了特征表达的位置特性和无偏特性两个新的特性定义,扩展了 CNN基础理论,进一步通过设计全新的损失函数辅助模型实现了上述两个特性,有效提升了 CNN模型的分类性能。本论文的主要创新点具体总结如下:1)面向多损失函数协作优化CNN问题,论文设计了新型多损失函数协作优化框架—损失迁移(LT),将多损失函数协作优化问题转换成多训练阶段的单损失优化问题。LT借助迁移学习理念,将一个阶段从目标对象中学到的“知识”(即模型参数)传递给下一个训练阶段,实现不同训练阶段所学不同“知识”的融合,有效提升了 CNN模型的泛化性能。同时,为解决不同训练阶段损失函数的选择问题,提出了两个基本准则,以此为基础设计了新型的近邻分界面(Near Classifier Hyper-Plane:N-CHP)损失。进而基于所选损失函数差异,提出了LTMSE,softmax和LTN-CHP,softmax两种训练方法。最后在四个代表性数据集和多个不同CNN模型上对所提理论和方法进行了实验验证。实验结果表明了LT能获得显著的性能提升,同时验证了两个基本准则的有效性。2)从理论上分析了 CNN最后一层特征表达的数学特性,提出了 CNN的“位置特性”(Location Property,LP)。位置特性表明在CNN最后一层,提升CNN模型的分类性能等价于寻找最优的特征映射位置。为找到特征空间中最优特征映射位置,提出了两个特征映射方向:主映射方向(Principal Embedding Direction,PE-direction)和次级映射方向(Secondary Embedding Direction,SE-direction),并在理论上证明了“次级最优特征平面”(Secondary Optimal Feature Plane,S-OFP)在SE-direction上的最优性。以两个映射方向为指导,进一步提出了基于位置特性的损失优化框架:LP-loss。LP-loss包含LPPE和LPSE两部分,并可通过这两部实现特征表达沿PE-direction和SE-direction移动。最后在多个不同的CNN模型和四个代表性数据集上对LP-loss进行了实验验证。实验结果验证了位置特性的正确性,同时也表明了 LP-loss能获得显著的性能提升。3)从理论上分析了 CNN决策层特征表达的数学特性,提出了 CNN的“无偏特性”。无偏特性表明提升CNN模型的分类性能需要保证决策层特征表达中对应于错误类别的元素值互为相等。为实现无偏特性,提出了最小化最大概率约束(Minmax Probability Constraint,MMPC)和指数形式的最小化最大概率约束(Exponential Minmax Probability Constraint,e-MMPC)损失。通过对 softmax损失添加额外的MMPC/e-MMPC损失,可以使CNN模型在最大化正确类别概率的同时最小化所有错误类别的概率。此外,通过梯度分析表明MMPC/e-MMPC可在一定程度上缓解CNN模型梯度消失问题。为解决MMPC/e-MMPC带来的副作用,提出了两阶段再训练策略,进一步提升了 MMPC/e-MMPC损失所带来的性能增益。最后在多个不同CNN模型和四个代表性数据集上对MMPC/e-MMPC进行了实验验证。实验结果验证了无偏特性的正确性,同时表明MMPC/e-MMPC能有效提升分类性能综上所述,本文面向多损失函数协作优化CNN模型的问题,提出了损失迁移训练框架。损失迁移框架通过融合多个损失函数的优势,可有效提升CNN模型泛化能力。同时,通过对CNN最后一层与决策层特征表达数学特性的分析,从理论上提出了 CNN的位置特性与无偏特性。在此基础上,以实现位置特性与无偏特性为目标,设计了 LP-loss和MMPC/e-MMPC损失,提升了 CNN的分类性能。

下载App查看全文

(如何获取全文? 欢迎:、、)

支持CAJ、PDF文件格式


【相似文献】
中国期刊全文数据库 前17条
1 张闪青;;基于卷积神经网络的图像分类算法[J];计算机产品与流通;2019年06期
2 王天辰;;基于卷积神经网络的图像分类研究与应用[J];设备管理与维修;2018年02期
3 童浩然;楚军;沈静静;;基于卷积神经网络的图像分类技术[J];科技视界;2017年32期
4 李腾飞;秦永彬;;基于迭代深度学习的缺陷检测[J];计算机与数字工程;2017年06期
5 岳有军;孙碧玉;王红君;赵辉;;基于级联卷积神经网络的番茄果实目标检测[J];科学技术与工程;2021年06期
6 张斌;王强;;一种改进型卷积神经网络的图像分类方法[J];成都信息工程大学学报;2019年01期
7 肖志鹏;王小华;杨冰;姚金良;;基于卷积神经网络的绘画图像分类研究[J];中国计量大学学报;2017年02期
8 杨真真;匡楠;范露;康彬;;基于卷积神经网络的图像分类算法综述[J];信号处理;2018年12期
9 吕刚;郝平;盛建荣;;一种改进的深度神经网络在小图像分类中的应用研究[J];计算机应用与软件;2014年04期
10 庞丝丝;黄呈铖;;基于卷积神经网络的图像分类研究[J];现代计算机;2019年23期
11 曾平平;李林升;;基于卷积神经网络的水果图像分类识别研究[J];机械设计与研究;2019年01期
12 陈丽丽;韩润萍;;基于卷积神经网络的服饰图像分类[J];北京服装学院学报(自然科学版);2018年04期
13 万建伟,皇甫堪,周良柱;一种新的采用神经网络的图像分类方法研究[J];系统工程与电子技术;1995年02期
14 许少尉;陈思宇;;基于深度学习的图像分类方法[J];电子技术应用;2018年06期
15 沈先耿;;基于稀疏自编码神经网络的军事目标图像分类[J];指挥与控制学报;2017年03期
16 侯小毛;马凌;赵月爱;;基于增强引力搜索和神经网络的图像分类[J];计算机工程与设计;2020年12期
17 杨国亮;王志元;张雨;;一种改进的深度卷积神经网络的精细图像分类[J];江西师范大学学报(自然科学版);2017年05期
中国重要会议论文全文数据库 前20条
1 陈伟辉;孙阳;陈杰;倪玮;陈冲;薛超;;基于深度学习的地震识别技术展望[A];国家安全地球物理丛书(十四)——资源·环境与地球物理[C];2018年
2 彭瑾;刘必慰;陈胜刚;刘畅;;神经网络压缩模型的解压算法设计及其硬件实现[A];第二十二届计算机工程与工艺年会暨第八届微处理器技术论坛论文集[C];2018年
3 徐梦洋;;基于深度学习的行人再识别研究综述[A];中国计算机用户协会网络应用分会2018年第二十二届网络新技术与应用年会论文集[C];2018年
4 范海地;谢凤英;;基于卷积神经网络的皮肤镜图像分类[A];第十五届中国体视学与图像分析学术会议论文集[C];2017年
5 唐业辉;许超;郭天宇;王云鹤;;多级卷积神经网络[A];第十二届全国信号和智能信息处理与应用学术会议论文集[C];2018年
6 郭天宇;朱铭健;王云鹤;许超;;基于自整合卷积神经网络的人脸分类算法[A];第十一届全国信号和智能信息处理与应用学术会议专刊[C];2017年
7 张婷;刘允刚;;基于改进卷积神经网络的语音分离方法[A];第36届中国控制会议论文集(C)[C];2017年
8 田少平;徐雷;邹磊;张海波;王婷;;基于神经网络的飞行员生理参数诊断研究[A];第九届中国航空学会青年科技论坛论文集[C];2020年
9 钟威;段义乾;杨广;;基于神经网络的大迎角非定常气动力建模方法研究[A];第九届中国航空学会青年科技论坛论文集[C];2020年
10 蒋子超;江俊扬;姚清河;杨耿超;;基于神经网络的差分方程快速求解方法[A];第十一届全国流体力学学术会议论文摘要集[C];2020年
11 耿传玉;王泽宇;周晓君;阳春华;;基于U-net卷积神经网络双层参数优化的心脏图像分割[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
12 段滈杉;乔俊飞;蒙西;汤健;;基于模块化神经网络的城市固废焚烧过程氮氧化物软测量[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
13 李淋雨;邱寅祺;何星;;基于LSTM的火电厂入口硝浓度预测方法研究[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
14 韩红桂;甄琪;杜永萍;乔俊飞;;基于低秩双线性卷积神经网络的手机型号识别方法[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
15 潘岚川;马乐乐;刘向杰;;基于卷积神经网络的一次风机故障预警研究[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
16 马昕鹏;李艳坤;庞佳烽;;人工神经网络预测血清中血红蛋白含量[A];2019中国化学会第十五届全国计算(机)化学学术会议论文集[C];2019年
17 康忠健;罗霖;;基于长短期记忆网络的配电网线损预测方法研究[A];第三十九届中国控制会议论文集(7)[C];2020年
18 闫岱峻;刘伟;于圣炜;赵旭;;基于神经网络的散货船阻力预报方法研究[A];第三十一届全国水动力学研讨会论文集(上册)[C];2020年
19 郝立柱;韩阳;潘子英;;循环神经网络方法预报船舶操纵运动研究[A];第三十一届全国水动力学研讨会论文集(下册)[C];2020年
20 徐硕;;集合经验模态分解的多路-多级神经网络风功率预测模型[A];用电与能效专题讲座暨智能用电及能效管理技术研讨会论文集[C];2019年
中国博士学位论文全文数据库 前20条
1 梁聪;面向图像分类的卷积神经网络损失函数研究[D];山东大学;2020年
2 高震宇;基于深度卷积神经网络的图像分类方法研究及应用[D];中国科学技术大学;2018年
3 程起上;面向图像分类的卷积神经网络子结构设计理论与方法研究[D];电子科技大学;2020年
4 罗建豪;面向深度卷积神经网络的模型剪枝算法研究[D];南京大学;2020年
5 艾鹏程;基于卷积神经网络的高能物理事例特征信息在线提取算法研究[D];华中师范大学;2020年
6 毛博;基于卷积神经网络的地震数据重构与模型构建研究[D];吉林大学;2020年
7 马超;基于深度神经网络的三维目标检测与识别技术研究[D];国防科技大学;2019年
8 郝富生;卷积神经网络判别性增强研究[D];中国科学院大学(中国科学院西安光学精密机械研究所);2019年
9 傅瑞罡;基于卷积神经网络的弱监督物体检测方法研究[D];国防科技大学;2018年
10 曾宇骏;基于深度神经网络的智能车辆目标识别与学习控制方法研究[D];国防科技大学;2018年
11 金国强;基于深度学习的复杂工况下端到端的滚动轴承故障诊断算法研究[D];中国科学技术大学;2020年
12 杨钊;面向图像分类和识别的视觉特征表达与学习的研究[D];华南理工大学;2014年
13 张仕良;基于深度神经网络的语音识别模型研究[D];中国科学技术大学;2017年
14 肖理业;基于机器学习的电磁场建模与设计研究[D];电子科技大学;2019年
15 陈涵瀛;核电站热工水力系统工况预测与诊断方法研究[D];哈尔滨工程大学;2018年
16 梁智杰;聋哑人手语识别关键技术研究[D];华中师范大学;2019年
17 刘昂;微结构硅基光子学器件性能的研究[D];南京大学;2019年
18 赵博雅;基于卷积神经网络的硬件加速器设计及实现研究[D];哈尔滨工业大学;2018年
19 杜昌顺;面向细分领域的舆情情感分析关键技术研究[D];北京交通大学;2019年
20 陈科海;机器翻译上下文表示方法研究[D];哈尔滨工业大学;2019年
中国硕士学位论文全文数据库 前20条
1 张舰舰;基于卷积神经网络的食物图像分类研究[D];杭州电子科技大学;2020年
2 Allaberdiev Sharofiddin;基于深度学习的服装图像的分类和检索研究[D];武汉纺织大学;2020年
3 姜晨瑞;轨道场景分类的紧致型深度学习方法研究[D];北京交通大学;2019年
4 缪永彪;基于深度学习的图像增量学习研究[D];浙江工业大学;2020年
5 孙若钒;基于轻量化卷积神经网络的图像分类研究[D];贵州大学;2020年
6 楚敏南;基于卷积神经网络的图像分类技术研究[D];湘潭大学;2015年
7 吴秦龙;结合协同训练的深度图像分类网络[D];南京邮电大学;2016年
8 李明威;图像分类中的卷积神经网络方法研究[D];南京邮电大学;2016年
9 陈浩月;基于深度学习的中国绘画图像分类[D];杭州电子科技大学;2019年
10 魏存超;基于卷积神经网络的医学图像分类的研究[D];哈尔滨工业大学;2017年
11 刘晓;基于极速学习机的深度学习在图像分类上的研究[D];曲阜师范大学;2016年
12 黄继宽;基于深度学习的人脸识别研究[D];宁夏大学;2020年
13 常祥;基于卷积神经网络的图像分类应用研究[D];中北大学;2017年
14 王卓;基于卷积神经网络的肺癌图像分类[D];哈尔滨理工大学;2020年
15 郝涌龙;基于深度学习的图像画风转变[D];重庆大学;2017年
16 高卿;基于卷积神经网络的人脸识别研究[D];广西民族大学;2020年
17 刘文洲;基于多分辨率卷积神经网络的图像分类研究与应用[D];湖北工业大学;2020年
18 王世英;基于卷积神经网络的少样本图像分类方法研究[D];北京交通大学;2020年
19 陈雪地;基于自动设计神经网络的医学图像分类方法研究[D];电子科技大学;2020年
20 邓长银;基于卷积神经网络的监控图像分类研究[D];成都信息工程大学;2019年
中国重要报纸全文数据库 前20条
1 骆无意;[N];中国航天报;2020年
2 记者 董映璧;[N];科技日报;2020年
3 张允硕 姜正义 甄海锋 河南理工大学;[N];科学导报;2019年
4 湖北日报全媒记者 张爱虎 通讯员 徐向军 实习生 于蓝;[N];湖北日报;2019年
5 记者 刘霞;[N];科技日报;2017年
6 整理 本报记者 诸玲珍 顾鸿儒;[N];中国电子报;2018年
7 ;[N];电子报;2018年
8 张敏;[N];北京日报;2017年
9 ;[N];中国企业报;2017年
10 本报记者 龚丹韵;[N];解放日报;2017年
11 ;[N];中国企业报;2017年
12 张斌;[N];文汇报;2017年
13 邓洲 中国社会科学院工业经济研究所;[N];上海证券报;2017年
14 中国科学技术大学终身学习实验室博士 吴茂乾;[N];安徽日报;2017年
15 记者 邱智丽;[N];第一财经日报;2017年
16 卡内基·梅隆大学计算机科学学院机器学习系主任 Tom Mitchell;[N];中国信息化周报;2017年
17 舒年;[N];工人日报;2017年
18 记者 刘霞;[N];科技日报;2017年
19 本报记者 喻思娈;[N];人民日报;2017年
20 中国信息通信研究院标准所副所长 何宝宏;[N];通信产业报;2017年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978


{bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck体育下载}| {bckbet}| {bcksports}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck官网}| {bck体育下载}| {bckbet}| {bcksports}| {bck官网}| {bck体育app}| {bck体育}| {bcksports}| {bck官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck体育}| {bcksports}| {bck官网}| {bck体育官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bcksports}| {bck体育下载}| {bck体育app}| {bckbet}|
{uc8}| {uc8体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐城}| {uc8彩票}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8老虎机}| {UC8娱乐}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8彩票}| {uc8}| {uc8体育}| {UC体育}| {uc8官网}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {uc8彩票}| {uc8}| {uc体育}| {UC体育}| {UC8娱乐城}| {uc8}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}|