收藏本站

基于hadoop的连接算法中数据倾斜问题的研究

【摘要】:时至今日,随着各项科学技术的飞速发展,大数据处理的需求日益增长。hadoop map/reduce作为一个并行数据处理框架,被越来越多的应用到分布式数据处理当中。map/reduce是一个高效的,可扩展的,高容错的并行编程模型,并且十分易于使用。连接操作作为数据处理中一种十分重要的操作,在传统数据库中已经得到了很多的研究,由于map/reduce自身框架的原因,它并不能很好地支持连接操作。如今已经有很多map/reduce框架下的连接算法,但是这些算法大多没有很好地处理数据倾斜问题,当数据倾斜存在时,会导致数据分布不均匀,降低了分布式算法的执行效率。 本文首先简要的介绍了数据倾斜问题的影响。然后针对两表等值连接提出了分区连接算法,该算法基于分而治之的思想将倾斜数据和非倾斜数据区别对待,结合了传统连接算法、广播连接算法等算法思想,很好的解决了数据倾斜情况下任务负载分布不均匀的问题。接着,针对多表等值连接中的数据倾斜问题,我们利用范围哈希以及单轮map/reduce任务完成多表连接的算法,均匀了数据处理的负载,较好地解决了数据倾斜的影响。最后,我们根据算法进行了一系列实验,通过我们的算法和传统的连接算法,证明了算法的实用性。

下载App查看全文

(如何获取全文? 欢迎:、、)

支持CAJ、PDF文件格式


【相似文献】
中国期刊全文数据库 前20条
1 陈华,李继波;异常(Outlier)检测算法综述[J];大众科技;2005年09期
2 何洪英;;两种排序算法的改进[J];绵阳师范学院学报;2007年11期
3 朱小亮;束学斌;;两种排序算法设计思想教学方法研究[J];池州学院学报;2009年06期
4 殷新春;;求解Hanoi塔问题的O(n)时间迭代算法[J];扬州大学学报(自然科学版);1988年03期
5 门爱华;;XML数据库模式匹配算法研究[J];赤峰学院学报(自然科学版);2007年05期
6 吴素萍;;算法教学中的几点思考[J];电脑知识与技术;2008年36期
7 王志强;孙小军;;网络最大流的新算法[J];计算机工程与设计;2009年10期
8 孙甲霞;陈俊;;求解马鞍点的两种算法及性能分析[J];电脑知识与技术;2009年15期
9 赖院根;王星;;面向检索排序的论文重要度测算[J];情报理论与实践;2009年10期
10 孙旭东;;浅谈算法学习[J];程序员;2008年02期
11 陈林;;浅谈高中数学新教材感想——算法初步的引入[J];网络科技时代;2008年12期
12 何洪英;;双向选择排序算法的实现及性能研究[J];成功(教育);2007年09期
13 唐开山;;堆排序算法研究[J];绍兴文理学院学报(自然科学版);2004年04期
14 吴晓红;;专业导向下高职“计算机数学”课程目标建构与过程设计[J];江苏技术师范学院学报;2011年08期
15 王永红;;约瑟夫环经典问题的几种算法比较[J];现代计算机(专业版);2008年01期
16 周秋芬;;冒泡排序算法及其改进[J];新乡教育学院学报;2009年03期
17 王文燕;孙剑萍;;关于“算法设计与分析”课程的教学探讨与实践[J];中国电力教育;2010年S2期
18 孙宝琳;朱汴梁;;算法设计在制作音乐Flash中的应用[J];江苏教育学院学报(自然科学版);2010年04期
19 王德超;;大学程序设计语言中循环结构算法与教学案例设计[J];软件导刊;2011年08期
20 潘文斌;;迈进算法世界的大门[J];程序员;2006年04期
中国重要会议论文全文数据库 前10条
1 王媛媛;叶阳东;;一个基于IB原理的单类算法——OCRD-BA算法[A];计算机研究新进展(2010)——河南省计算机学会2010年学术年会论文集[C];2010年
2 严哲南;楼荣生;;窗口算法问题的解决方案[A];第十六届全国数据库学术会议论文集[C];1999年
3 张继;何兵;;一种基于错切变形的分布式体绘制算法[A];全国第20届计算机技术与应用学术会议(CACIS·2009)暨全国第1届安全关键技术与应用学术会议论文集(下册)[C];2009年
4 郭建奎;朱扬勇;;一个基于WAP树结构的自顶向下挖掘Web访问模式算法[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
5 刘亮;秦小麟;刘宇雷;李博涵;;链路感知的传感器网络空间范围查询处理算法[A];NDBC2010第27届中国数据库学术会议论文集A辑二[C];2010年
6 宋爱波;赵茂先;王晓玲;董逸生;;稠密数据有趣关联规则的挖掘[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
7 潘瑾;严勇;王晨;方晨;汪卫;施伯乐;;Chopper:一个高效的有序标号树频繁结构的挖掘算法[A];第二十届全国数据库学术会议论文集(研究报告篇)[C];2003年
8 杨建武;;Web检索结果的层次聚类研究[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
9 崔喜宁;;周期三对角Toeplitz矩阵求逆[A];第十二届中国青年信息与管理学者大会论文集[C];2010年
10 赵伟;李立军;陈承收;;基于粒子群优化的随机碰撞检测算法研究[A];'2010系统仿真技术及其应用学术会议论文集[C];2010年
中国博士学位论文全文数据库 前10条
1 陈文豪;X射线局部显微CT伪全局算法及其应用研究[D];中国科学院研究生院(上海应用物理研究所);2014年
2 李南君;宽带与二维阵列测向的几个关键技术研究[D];电子科技大学;2010年
3 时洁;基于矢量阵的水下噪声源近场高分辨定位识别方法研究[D];哈尔滨工程大学;2009年
4 朱张勤;二维光纤光谱数据处理中的若干问题研究[D];中国科学技术大学;2011年
5 聂培尧;基于XML的半结构数据管理及数据集成问题研究[D];西北工业大学;2002年
6 陈昊鹏;软件逆向工程技术研究[D];西北工业大学;2002年
7 王文娟;地球物理反演中病态矩阵方程正则化解算方法研究[D];成都理工大学;2010年
8 赵旭剑;中文新闻话题动态演化及其关键技术研究[D];中国科学技术大学;2012年
9 刘晨轶;基于压缩感知的OCT图像稀疏重建[D];北京邮电大学;2013年
10 熊丙章;高中生的算法理解水平及其教学策略研究[D];西南大学;2013年
中国硕士学位论文全文数据库 前10条
1 刘海珍;高中数学教学中渗透算法思想的研究[D];山东师范大学;2010年
2 李洋洋;高中数学教学中算法思想渗透情况的调查与研究[D];首都师范大学;2013年
3 张文宝;高中算法课程设置与教学研究[D];东北师范大学;2010年
4 吴磊;基于hadoop的连接算法中数据倾斜问题的研究[D];中国科学技术大学;2014年
5 张飞玲;农村中学生算法学习的教学设计与研究[D];陕西师范大学;2010年
6 李红;高中算法教学现状调查及分析[D];辽宁师范大学;2011年
7 尹丹;图聚集算法与聚集图质量评价算法研究[D];哈尔滨工业大学;2011年
8 张清华;高中新课改下算法初步的教学研究[D];河南大学;2012年
9 范雪飞;高中学生算法学习的困难分析与对策研究[D];延边大学;2010年
10 朱小俊;关于高中数学解题通法的教学研究[D];苏州大学;2011年
中国重要报纸全文数据库 前4条
1 新野县第一高级中学校 罗勤;[N];学知报;2011年
2 山东肥城六中 侯慧静;[N];学知报;2011年
3 四川省青神中学校 周莉;[N];学知报;2011年
4 山东省肥城市第六高级中学 朱万良;[N];学知报;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978


{bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck体育下载}| {bckbet}| {bcksports}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck官网}| {bck体育下载}| {bckbet}| {bcksports}| {bck官网}| {bck体育app}| {bck体育}| {bcksports}| {bck官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck体育}| {bcksports}| {bck官网}| {bck体育官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bcksports}| {bck体育下载}| {bck体育app}| {bckbet}|
{uc8}| {uc8体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐城}| {uc8彩票}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8老虎机}| {UC8娱乐}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8彩票}| {uc8}| {uc8体育}| {UC体育}| {uc8官网}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {uc8彩票}| {uc8}| {uc体育}| {UC体育}| {UC8娱乐城}| {uc8}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}|