收藏本站

Spark自动调优系统的设计与实现

【摘要】:随着大数据时代的到来,计算机需要处理的数据量与日俱增,面对互联网、工业物联网等领域不断增长的数据规模和计算需求,单个计算节点不再能有效地满足数据存储和处理的需要。在这样的背景下,Apache Spark作为一种具有良好计算性能和环境适应性的分布式计算框架,得到了广泛地使用。Spark有数十个可以影响系统行为的参数,这些参数可以通过改变计算任务的并行度和使用的内存大小等方式,显著地影响Spark应用的性能。目前这些参数通常由系统管理员手动调整,然而人工调参方法对于使用者的专业能力有一定的要求,并且由于可调参数数量众多以及集群环境之间的差异,具有较大的局限性,难以满足所有Spark应用场景下的需要。为解决上述问题,本文对如何自动化地进行Spark应用参数调整做了研究。本文分别研究了如何利用应用历史运行数据来进行自动参数调优的问题和在缺少应用历史数据的情况下如何自动优化参数的问题。除此以外,本文还探讨了如何基于统计方法进一步提升参数优化效果,并且对这种方法的适用性进行了探讨,最后在前述方法的基础上,实现了一个自动在Spark on yarn部署模式下工作的参数优化系统。在应用运行历史记录充足的场景下,本文基于机器学习方法对系统参数和性能之间的回归关系进行建模,并使用这一模型的预测结果判断候选参数的优劣,最后在指定的搜索空间寻找一个适合的优化参数以达到应用性能优化的目的。在这一过程中,本文使用了更加实用的应用性能预测模型建模方法以求得准确的回归效果。在缺乏应用历史记录的场景下,本文通过启发式方法,根据系统的硬件配置调整应用参数,使应用能够获得一个相对于默认参数而言性能更好的配置。另外,为了使这两种方法能够顺利结合在同一个系统中工作,本文设计可将两者结合起来的策略。最后本文利用统计学方法,对应用性能预测模型的准确性和速度对参数优化结果的影响做了讨论,并根据实验结果提出了一种应用性能预测模型优化策略以进一步提升优化效果。实验结果显示,无论是否有充足的历史数据,本文提出的性能优化方法均能通过调整系统参数对应用性能起到良好的优化效果。在有历史数据集的情况下,本文所述方法可以使得来自性能测试基准程序集的四个应用平均运行时间减少约59.92%。

下载App查看全文

(如何获取全文? 欢迎:、、)

支持CAJ、PDF文件格式


【相似文献】
中国期刊全文数据库 前19条
1 李兵;林文钊;罗峥尹;;基于机器学习的智慧农业决策系统设计与实现[J];信息与电脑(理论版);2018年24期
2 舒娜;刘波;林伟伟;李鹏飞;;分布式机器学习平台与算法综述[J];计算机科学;2019年03期
3 刘传会;汪小亚;郭增辉;;机器学习在反洗钱领域的应用与发展[J];清华金融评论;2019年04期
4 孟雨;;机器学习让计算机更智能[J];计算机与网络;2019年14期
5 高华川;;机器学习在经济学中的应用[J];纳税;2019年24期
6 李阳;;机器学习在网络空间安全研究中的应用分析[J];电脑知识与技术;2019年24期
7 胡思润;杨晓旭;宋靖华;;基于机器学习的城市生成方法研究[J];智能建筑与智慧城市;2019年11期
8 蒋良孝;;机器学习课程教学的实践探索[J];新课程研究;2019年23期
9 ;降低机器学习门槛的六大工具[J];电脑知识与技术(经验技巧);2019年10期
10 朱辉;;机器学习在企业级场景中的实践与探讨[J];中国建设信息化;2018年03期
11 彭传意;;机器学习——我们该如何与机器竞争[J];数字通信世界;2018年01期
12 陈轶翔;埃里克·布伦乔尔森;汤姆·米切尔;;机器学习的能力范围及其对劳动力的影响[J];世界科学;2018年04期
13 赵长林;;机器学习即服务[J];网络安全和信息化;2017年10期
14 ;机器学习作用于信息安全的五大顶级案例[J];网络安全和信息化;2018年01期
15 吴承杨;;2018年来说说机器学习[J];软件和集成电路;2018年05期
16 宋雯博;;大数据下的机器学习的应用趋势[J];电脑迷;2018年09期
17 吴炜;孙强;;应用机器学习加速新材料的研发[J];中国科学:物理学 力学 天文学;2018年10期
18 宋明成;;机器学习隐私的安全隐患[J];计算机与网络;2018年16期
19 游思奇;;解读机器学习与深度学习的发展及应用[J];计算机产品与流通;2018年05期
中国重要会议论文全文数据库 前10条
1 王珏;;归纳机器学习[A];2001年中国智能自动化会议论文集(上册)[C];2001年
2 王衍鲁;张利会;张淑洁;石洁茹;王鹏;;大学新生学校适应的个体与环境因素探究:基于机器学习的考察[A];第二十届全国心理学学术会议--心理学与国民心理健康摘要集[C];2017年
3 张长水;;大数据机器学习[A];2015年中国自动化大会摘要集[C];2015年
4 何琳;侯汉清;;基于标引经验和机器学习相结合的多层自动分类[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年
5 李刚;郭崇慧;林鸿飞;杨志豪;唐焕文;;基于词典法和机器学习法相结合的蛋白质名识别[A];大连理工大学生物医学工程学术论文集(第2卷)[C];2005年
6 徐礼胜;李乃民;王宽全;张冬雨;耿斌;姜晓睿;陈超海;罗贵存;;机器学习在中医计算机诊断识别系统中的应用思考[A];第一届全国中西医结合诊断学术会议论文选集[C];2006年
7 吴沧浦;;智能系统与机器学习的新领域[A];西部大开发 科教先行与可持续发展——中国科协2000年学术年会文集[C];2000年
8 蔡健平;林世平;;基于机器学习的词语和句子极性分析[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
9 ;基于机器学习的大数据防诈骗能力研究与应用[A];2018中国信息通信大会论文摘要集[C];2018年
10 ;基于机器学习的影响感知无线根因问题快速定位研究[A];2018中国信息通信大会论文摘要集[C];2018年
中国博士学位论文全文数据库 前10条
1 刘浏;基于机器学习的恶意代码检测与分类技术研究[D];国防科技大学;2017年
2 薛红新;基于机器学习方法的分类与预测问题研究[D];中北大学;2019年
3 韩启迪;基于非线性成矿动力系统的机器学习方法应用研究[D];中国地质大学(北京);2019年
4 殷曦;基于机器学习及统计计算模型的膜蛋白结构预测[D];上海交通大学;2017年
5 杨静;蛋白质残基相互作用预测及其在结构建模中的应用研究[D];上海交通大学;2018年
6 王磊;基于机器学习的药物—靶标相互作用预测研究[D];中国矿业大学;2018年
7 张庆;钙钛矿型功能材料的基因组工程研究[D];上海大学;2018年
8 管月;医学肿瘤影像分类算法研究及其在肝癌上的应用[D];南京大学;2018年
9 郝小可;基于机器学习的影像遗传学分析及其应用研究[D];南京航空航天大学;2017年
10 施建明;基于机器学习的产品剩余寿命预测方法研究[D];中国科学院大学(中国科学院遥感与数字地球研究所);2018年
中国硕士学位论文全文数据库 前10条
1 夏怡童;《机器学习前沿:2017雷蒙德和贝弗利·萨克勒英美科学论坛》翻译实践报告[D];重庆邮电大学;2019年
2 李逍;产品评论的方面级观点挖掘技术研究[D];重庆邮电大学;2019年
3 张辉斌;基于机器学习的机电系统部件级PHM技术研究[D];南京航空航天大学;2019年
4 卞荣臻;基于机器学习的硬件木马检测方法研究[D];南京航空航天大学;2019年
5 叶诗意;《机器学习—新型人工智能》(节选)翻译实践报告[D];湘潭大学;2019年
6 郭银娟;基于多元统计和机器学习的成绩分析及研究[D];湘潭大学;2019年
7 赵庆东;基于机器学习算法的数据分类应用研究[D];宁夏大学;2019年
8 巢泽敏;Spark自动调优系统的设计与实现[D];哈尔滨工业大学;2019年
9 胡乐;融合用户评论的新闻内容质量检测算法研究[D];哈尔滨工业大学;2019年
10 崔宇中;用于割草机平台的行人检测技术研究[D];哈尔滨工业大学;2019年
中国重要报纸全文数据库 前10条
1 CIO.com资深作家 Clint Boulton 编译 Charles;[N];计算机世界;2018年
2 Bob Violino 编译 Charles;[N];计算机世界;2018年
3 本报驻波士顿记者 侯丽;[N];中国社会科学报;2019年
4 王方 编译;[N];中国科学报;2019年
5 Matt Asay 编译 Monkey King;[N];计算机世界;2019年
6 本报记者 操秀英;[N];科技日报;2019年
7 彭博企业数据业务全球负责人 Gerard Francis;[N];计算机世界;2019年
8 Isaac Sacolick 编译 Charles;[N];计算机世界;2019年
9 记者 张梦然;[N];科技日报;2019年
10 惠赞瑾;[N];中国会计报;2019年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978


{bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck体育下载}| {bckbet}| {bcksports}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck官网}| {bck体育下载}| {bckbet}| {bcksports}| {bck官网}| {bck体育app}| {bck体育}| {bcksports}| {bck官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck体育}| {bcksports}| {bck官网}| {bck体育官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bcksports}| {bck体育下载}| {bck体育app}| {bckbet}|
{uc8}| {uc8体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐城}| {uc8彩票}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8老虎机}| {UC8娱乐}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8彩票}| {uc8}| {uc8体育}| {UC体育}| {uc8官网}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {uc8彩票}| {uc8}| {uc体育}| {UC体育}| {UC8娱乐城}| {uc8}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}|