收藏本站

钢琴多音估计问题和音乐生成问题的深度学习方法

【摘要】:深度学习近年来在图像处理、自然语言和语音处理等领域取得了令人瞩目的结果,它的成功主要归功于以下几点:1.基础模块简单。从DNN(Deep Neural Networks)时代发展到CNN(Convolutional Neural Networks)时代,构建深度网络的主要元素仅有卷积层、激活层和全连接层几种;2.网络结构灵活。从早期的Le Net和Google Net,一直到后来的Res Net和Dense Net,深度学习仅通过对网络结构,即计算图的调整,就极大地增加了网络深度、提升了网络性能、减少了参数量并加快了计算速度;3.优化求解高效。深度学习使用基于mini-batch的梯度更新策略,可以从网络结构、批量样本等多个层面实现并行计算,并在CPU或GPU集群上高效地运行;4.方便的模型交换和海量的数据支撑。深度网络本质是纯数据的,因此一个模型可以很容易地在不同代码实现之间交换,而不需要重新训练。如果一个深度学习框架原生支持多平台,那么训练好的网络甚至可以不做任何修改就直接部署到应用环境中。随着信息时代的发展,大数据、穿戴设备和物联网为许多领域,例如医疗、健康和智能家居等,奠定了使用深度学习的基础。同时,随着越来越多公开数据集的出现和计算硬件的发展,许多中小规模团队乃至个人都可以投身到深度学习中,使学术界和工业界对深度学习的研究热情持续不减。然而,由于原声音乐信号的多变性和音乐表示方法的复杂性,深度学习在音乐相关领域尚未取得如上述问题般的巨大成功。因此,本文将针对音乐这一领域,从一反一正两方面探讨钢琴的多音估计问题和音乐生成问题的深度学习方法。多音估计是原声音乐信息提取问题中的经典难题,而钢琴因其音响特性,更是多音估计问题的难点。为了联合字典学习的特征分解能力和深度学习的特征提取能力,本文提出了多模态字典学习和稀疏表示层(Multimodal Dictionary Learning and Sparse Representation Layer,简称MDLSRLayer),以及以MDLSRLayer为核心的多音估计网络MPENet。MDLSRLayer的原型是带有编码Lorentzian-Block Frobenius范数约束和字典不相干性(incoherentness/incoherence)约束的非负多模态字典学习和稀疏表示问题。本文将求解这个原型问题的两个子问题对应到深度学习中的前向和反向过程,进而将它嵌入到深度网络中,并给出相应算法与证明。使用MDLSRLayer的网络可以在重构和分类的双重监督下,进行字典和分类器的联合学习和在线学习。需要注意的是,MDLSRLayer的稀疏性与现有深度学习中使用Re LU或Dropout得到的稀疏性不同:前者是MDLSRLayer对输入的良好性质,即数据可以被字典的原子稀疏逼近;而后者是通过非线性变换得到的。实验结果显示,MPENet仅使用单音数据作为训练集在MAPS数据集的RAND子集上取得了目前最好的钢琴多音估计准确率(六个音符叠加时F-measure为83.65%)。实验结果还显示,不做任何修改的MPENet在钢琴自动转录问题(frame-level AMT)上也可以取得较好的结果。除了多音估计问题之外,本文还简单讨论了MDLSRLayer对于其他问题的适用性。以多角度动作识别为例,通过修改模型约束,使用MDLSRLayer的网络在IXMAS数据集也取得了很好的结果。音乐生成问题作为“人工智能”的标志之一,近年来成为了深度学习的热点。由于音乐自身的特点,“MIDI+RNN”组合成为了音乐生成方法的主流。其中,前者是用于训练和生成的数据格式,后者是学习音乐语言的模型。使用MIDI格式主要有两个弊端:其一是为了让模型能够学习到一个旋律的所有可能形式,训练时必须要对数据做增广;其二是平坦的分类结构不仅增加了计算和存储的成本,也增加了分类的难度。本文根据音乐学理论,使用与调(Key)无关的、结构为“调式+音级+变换”的层级式方法来表示音符与和弦,可以仅用一种形式就唯一地确定一个乐谱,因此不需要对同一旋律做数据增广。为了使用深度网络学习层级式音乐表示模型,本文还相应地给出了层级式分类网络的训练和生成算法。以上述为基础,再根据乐曲中和弦模进的变化相比旋律变化要少得多的统计事实,本文进一步提出了调无关、和弦约束的层级式音乐生成方法(Key-Independent,Chord Constrained and Hierarchical Music Generation,简称KICCHMG),以及对应的深度网络KICCHMGNet。KICCHMG方法将音乐生成分为伴奏生成和旋律生成两个步骤,因此KICCHMGNet由用来学习和弦模型与学习旋律模型的两个子网络组成,我们分别称它们为Chord Net和Melod Net。具体生成一个乐谱时,Chord Net首先生成一个和弦模进,然后Melod Net在这个和弦模进的约束下生成符合听感审美的旋律。实验结果显示,使用简单结构的KICCHMGNet在随机生成、指定调式生成与条件生成等不同生成方式下,可以同时满足一定的创新性和听感审美。最后,本文还讨论了KICCHMG方法对于其他调式的扩展能力、目前存在的问题以及未来工作。本文的主要贡献包括:·MDLSRLayer和MPENet:本文针对多音估计问题提出了带有编码的Lorentzian-Block Frobenius范数约束和字典的不相干性(incoherentness/incoherence)约束的非负多模态字典学习和稀疏表示模型。在这个模型的基础上,本文进一步提出了MDLSRLayer和MPENet。实验结果显示,MPENet仅使用单标签样本作为训练集就可以完成多标签分类任务,并在MAPS数据集的RAND子集上取得了目前最好的钢琴多音估计准确率。·KICCHMG和KICCHMGNet:本文针对音乐生成问题提出了调无关、和弦约束的层级式音乐生成方法KICCHMG及其对应的层级式深度网络KICCH-MGNet。该方法:1.在给定具体的调之前,音符只具有相对音高,因此同一个旋律只需要学习一次即可,不需要做数据增广;2.通过层级组合的方式解决了和弦的复杂表示;3.通过伴奏的约束令生成的旋律符合听感和谐。4.支持指定调式和条件生成。

下载App查看全文

(如何获取全文? 欢迎:、、)

支持CAJ、PDF文件格式


【相似文献】
中国期刊全文数据库 前17条
1 郑弦;;数据集采器在临床护理工作中的应用价值探讨[J];基层医学论坛;2017年12期
2 Long-xiang WANG;Xiao-she DONG;Xing-jun ZHANG;Yin-feng WANG;Tao JU;Guo-fu FENG;;TextGen:用于新型存储系统基准测试的真实文本数据集生成方法(英文)[J];Frontiers of Information Technology & Electronic Engineering;2016年10期
3 刘娟;朱翔鸥;刘文斌;;基于交互信息的数据集特征结构研究[J];模式识别与人工智能;2014年01期
4 沈雯漪;;大型数据集数据挖掘算法研究[J];计算机光盘软件与应用;2014年16期
5 职为梅;郭华平;范明;叶阳东;;非平衡数据集分类方法探讨[J];计算机科学;2012年S1期
6 吴克寿;曾志强;;非平衡数据集分类研究[J];计算机技术与发展;2011年09期
7 付优;;非平衡数据集的分类[J];电力学报;2010年04期
8 张缨;周红俊;李建军;刘根林;郑樱;郝春霞;王一吉;康海琼;卫波;;国际脊髓损伤数据集之核心数据集[J];中国康复理论与实践;2009年09期
9 高嘉伟;梁吉业;;非平衡数据集分类问题研究进展[J];计算机科学;2008年04期
10 苗卿;单立新;裘昱;;信息熵在数据集分割中的应用研究[J];电脑知识与技术(学术交流);2007年05期
11 张华;郁书好;;时空数据集的连接处理和优化方法研究[J];皖西学院学报;2006年02期
12 肖苏君;邵可毅;;浅谈自治区级气象数据集系统的建设[J];内蒙古气象;2006年04期
13 靳萍,尚邦治,杨舒,张玉洁;重症监护的基本数据集探讨[J];医疗设备信息;2005年10期
14 张尔强;创建SAS数据集的技巧[J];数理医药学杂志;2003年01期
15 周书明,凌德英;SAS程序与SAS数据集[J];数理医药学杂志;2000年02期
16 佟平;分区数据集的结构、设计与实现[J];计算机工程与设计;1989年05期
17 赵敏哲;;多程序环境下数据集在多级存貯器中的最优放置[J];北京轻工业学院学报;1989年01期
中国重要会议论文全文数据库 前10条
1 缪国宇;刘洪鹏;苏文学;刘荣生;赵相东;;基于数据仓库的企业指标分析系统[A];中国计量协会冶金分会2012年会暨能源计量与节能降耗经验交流会论文集[C];2012年
2 王子恒;齐勇刚;刘军;;路面交通标志检测调研:数据集及算法[A];2018中国汽车工程学会年会论文集[C];2018年
3 郭景峰;杜京;马倩;邹晓红;;一种基于数据集性质的快速等差模式聚类算法[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
4 孟烨;张鹏;宋大为;王雷;;信息检索系统性能对数据集特性的依赖性分析[A];需将论文集名称修改为“第十二届全国人机语音通讯学术会议(NCMMSC2013)论文集[C];2013年
5 田捷;;三维医学影像数据集处理的集成化平台[A];2003年全国医学影像技术学术会议论文汇编[C];2003年
6 冷传良;;飞机化铣成样板划线数据集设计方法探索[A];第十届沈阳科学学术年会论文集(信息科学与工程技术分册)[C];2013年
7 范明;魏芳;;挖掘基本显露模式用于分类[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
8 刘通;张宇献;;基于加权平均数的模糊聚类有效性函数[A];第十届沈阳科学学术年会论文集(信息科学与工程技术分册)[C];2013年
9 林荔;林铖;;福建省小时风速数据集研制及应用[A];第35届中国气象学会年会 S20 深度信息化:应用支持与智能发展[C];2018年
10 于爱荣;刘晓明;曹雷;王俊;;NET Web Services数据集在Delphi中的处理与研究[A];中国航空学会信号与信息处理专业全国第八届学术会议论文集[C];2004年
中国博士学位论文全文数据库 前10条
1 李星达;钢琴多音估计问题和音乐生成问题的深度学习方法[D];吉林大学;2019年
2 孙秀宝;基于CMA-LSAT v1.0数据集的近百年全球陆表气温变化研究[D];南京信息工程大学;2018年
3 陈迪;耕地数量与质量时空变化遥感监测研究[D];中国农业科学院;2019年
4 刘皓;基于深度学习的行人再识别问题研究[D];合肥工业大学;2017年
5 王建培;聚类有效性分析及其在电学层析成像中的应用[D];天津大学;2017年
6 杨勋;跨视域行人再识别若干问题研究[D];合肥工业大学;2017年
7 纳赛尔 阿里 穆罕默德 巴拉卡特;复杂化学数据的知识发现新型化学计量学算法研究[D];湖南大学;2005年
8 李宏;面向应用领域的分类方法研究[D];中南大学;2007年
9 余雳;虚拟可视鼠样品制备技术研究[D];华中科技大学;2006年
10 李超;高阶多数据集建模新方法与应用研究[D];哈尔滨工程大学;2017年
中国硕士学位论文全文数据库 前10条
1 陈振杰;基于压缩树和最近节点优先算法的快速近似近邻查找[D];上海交通大学;2017年
2 姬盼盼;中国西北部典型干旱区NPP驱动力分析[D];新疆大学;2019年
3 谢艳晴;基于非平衡数据集的贷款违规预测研究[D];长江大学;2019年
4 陈磊阳;基于改进VGGNet的不透水面信息提取应用研究[D];河南大学;2019年
5 王远旭;基于机器学习算法的医疗数据处理与分析[D];厦门大学;2018年
6 曹鑫;星环科技Sophon平台分享系统的设计与实现[D];南京大学;2019年
7 李雪;土地利用数据集精度与CFSR降水数据订正对SWAT模型降雨径流模拟研究[D];西北农林科技大学;2019年
8 翁飘;复杂环境下路面裂缝分割算法研究[D];郑州大学;2019年
9 韦玉梅;基于无人车辅助系统的交通标志检测与识别研究[D];上海师范大学;2019年
10 魏红霞;拉曼激光雷达多参数数据集的构建与应用研究[D];西安理工大学;2019年
中国重要报纸全文数据库 前10条
1 记者 张梦然;[N];科技日报;2018年
2 记者 张梦然;[N];科技日报;2018年
3 记者 王莉英;[N];深圳特区报;2017年
4 记者 金昶 通讯员 陈斯音;[N];中国海洋报;2017年
5 中国青年报·中青在线记者 谢宛霏;[N];中国青年报;2017年
6 记者 罗旭;[N];光明日报;2017年
7 记者 刘钊 通讯员 徐文慧 杨溯;[N];中国气象报;2015年
8 冉瑞奎 刘晓林 戴艳萍;[N];中国气象报;2006年
9 通讯员廖雅琴记者冯竞;[N];科技日报;2003年
10 记者 张梦然;[N];科技日报;2015年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978


{bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck体育下载}| {bckbet}| {bcksports}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck官网}| {bck体育下载}| {bckbet}| {bcksports}| {bck官网}| {bck体育app}| {bck体育}| {bcksports}| {bck官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck体育}| {bcksports}| {bck官网}| {bck体育官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bcksports}| {bck体育下载}| {bck体育app}| {bckbet}|
{uc8}| {uc8体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐城}| {uc8彩票}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8老虎机}| {UC8娱乐}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8彩票}| {uc8}| {uc8体育}| {UC体育}| {uc8官网}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {uc8彩票}| {uc8}| {uc体育}| {UC体育}| {UC8娱乐城}| {uc8}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}|