bck

收藏本站

面向倾斜数据的MapReduce连接算法研究

【摘要】:Google提出的MapReduce编程模型已发展成为最流行的并行计算框架之一。连接运算是数据处理中非常重要的一种操作,然而MapReduce框架不能够很好的支持连接操作,因此MapReduce上连接算法的研究是大数据领域一个重要的内容。但是当前大部分研究内容都是在数据均匀分布的情况下进行连接算法优化,而现实生活中的数据往往是分布不均匀的。MapReduce编程模型在处理倾斜数据时会导致Reduce任务的执行时间差距很大,严重降低了资源利用率。基于以上背景,对于二元等值连接运算,本文提出了基于抽样技术和数据预划分的连接算法,首先在MapReduce中通过蓄水池抽样方法进行并行的快速抽样,然后根据样本空间中数据的分布情况计算连接操作的I/O代价,并根据每个簇的I/O代价进行数据划分,提出簇组合连接算法,核心思想是总是选择代价最大的簇并把它分配给当前任务量最小的Reduce节点;针对严重倾斜的数据,提出簇分割组合连接算法,目的是将非常大的簇均分到所有的Reduce节点处理,获得Reduce任务的负载均衡,提高MapReduce作业的执行效率。对于多元等值连接运算,本文提出值域复制连接算法,通过对连接元组进行复制,实现在单轮的MapReduce作业中完成倾斜数据的连接。实验结果表明,本文提出的算法在处理倾斜数据的连接运算时具有较好的性能。

下载App查看全文

(如何获取全文? 欢迎:、、)

支持CAJ、PDF文件格式


【相似文献】
中国期刊全文数据库 前20条
1 邹汪平;;一种基于网络安全控制的蜂群算法应用研究[J];吉林师范大学学报(自然科学版);2013年04期
2 李向伟;曹博;;时间参数在HITS算法中的应用及改进[J];兰州工业高等专科学校学报;2006年02期
3 吴涛;彭笃学;;一种改进的直线段裁剪算法[J];湛江师范学院学报;2008年03期
4 张瑞子;南琳;胡琨元;田景贺;;基于EPC Class-1 Gen-2标准的防冲突算法与改进[J];计算机工程;2009年02期
5 黄超;周宁;倪佑生;;基于蚁群算法的攻击图分析[J];计算机工程;2009年18期
6 秦永彬;许道云;;警示传播算法的原理分析及算法改进[J];计算机工程与应用;2010年19期
7 郭毅可;韩锐;;云计算中的弹性算法:概要和展望[J];上海大学学报(自然科学版);2013年01期
8 牛玉静;唐棣;;双步圆的反走样生成算法[J];计算机工程与应用;2010年23期
9 肖璞;;XML索引更新算法的改进[J];南京工程学院学报(自然科学版);2010年03期
10 周骏;陈鸣;张佳明;;两类频繁项算法在网络流上的适用性评估[J];计算机工程;2011年16期
11 黄小蓓;隆永红;;分布式数据库管理系统中的並发控制——算法及其性能分析[J];计算技术与自动化;1988年02期
12 李丽珊,朱文兴;基于簇中心动态迁移的一个聚类算法[J];福建农业大学学报;2004年04期
13 王金城;王晓琳;庞古风;;关联规则挖掘算法及其在冷轧生产中的应用[J];清华大学学报(自然科学版);2007年S2期
14 郑皎凌;;大型Web站点逻辑域挖掘算法[J];计算机工程;2008年09期
15 叶福兰;施忠兴;;Apriori算法的改进及应用[J];现代计算机(专业版);2009年09期
16 曹华;;一种高效的Apriori算法优化方法[J];信息系统工程;2012年01期
17 冯能山;林志华;熊金志;祝建军;;一种k-means聚类的改进算法与实现[J];软件导刊;2012年03期
18 杨更;;改进的DK算法在网络信息聚类中的应用[J];计算机应用与软件;2012年08期
19 黄超君;范剑波;;Apriori算法的分析与改进[J];宁波工程学院学报;2013年02期
20 曹金保;;人工蜂群算法研究综述[J];电子设计工程;2013年23期
中国重要会议论文全文数据库 前10条
1 黄纪武;毛泽华;李松涛;张锦雄;;SPMD并行查找算法的MPI实现[A];广西计算机学会——2004年学术年会论文集[C];2004年
2 黄纪武;毛泽华;李松涛;张锦雄;;SPMD并行查找算法的MPI实现[A];广西计算机学会2004年学术年会论文集[C];2004年
3 符丽锦;覃华;邓海;孙欣;;一种改进的Apriori算法的研究[A];广西计算机学会2012年学术年会论文集[C];2012年
4 王东锋;王军民;陈英武;;模糊定性仿真理论研究与算法实现[A];'2000系统仿真技术及其应用学术交流会论文集[C];2000年
5 赵唯;;晶粒度评级的改进算法[A];中国图象图形科学技术新进展——第九届全国图象图形科技大会论文集[C];1998年
6 刘启文;;可扩展的图形学算法演示系统的研究[A];’2004计算机应用技术交流会议论文集[C];2004年
7 佘智;蒋泰;朱延生;;基于Type C协议的防冲突改进算法[A];广西计算机学会25周年纪念会暨2011年学术年会论文集[C];2011年
8 朱绍文;赵培;朱秋云;;基于pSPADE并行挖掘序列算法的研究[A];2003年中国智能自动化会议论文集(下册)[C];2003年
9 杨霞;;新的基于启发式蚁群算法的QoS路由算法[A];广西计算机学会2009年年会论文集[C];2009年
10 陈黎飞;姜青山;董槐林;;基于图形轮廓的快速聚类算法[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
中国博士学位论文全文数据库 前10条
1 钟永腾;基于近场MUSIC算法的复合材料结构健康监测研究[D];南京航空航天大学;2014年
2 刘燕;入侵杂草优化算法在阵列天线综合中的应用[D];西安电子科技大学;2015年
3 苗义烽;突发事件下的列车运行调度模型与算法研究[D];中国铁道科学研究院;2015年
4 单美静;求解非线性实代数系统的混合算法研究[D];华东师范大学;2008年
5 邱剑锋;人工蜂群算法的改进方法与收敛性理论的研究[D];安徽大学;2014年
6 潘磊;若干社区发现算法研究[D];南京大学;2014年
7 陈俊波;频繁闭合项集挖掘算法及应用研究[D];浙江大学;2009年
8 陆楠;关联规则的挖掘及其算法的研究[D];吉林大学;2007年
9 范洪博;快速精确字符串匹配算法研究[D];哈尔滨工程大学;2011年
10 寇晓丽;群智能算法及其应用研究[D];西安电子科技大学;2009年
中国硕士学位论文全文数据库 前10条
1 安世勇;命题逻辑中随机3-SAT问题算法研究[D];西南交通大学;2015年
2 毕晓庆;油气探矿权竞争性出让系统设计与实现[D];中国地质大学(北京);2015年
3 王明明;铁路大机与线路固定设施间距检测算法研究[D];西南交通大学;2015年
4 李静;基于视频图像序列的运动目标检测与跟踪算法研究[D];宁夏大学;2015年
5 刘贝玲;基于天地图的租房平台开发及其关键技术研究[D];西南交通大学;2015年
6 曹海锋;IDS中串匹配臭算法并行优化研究[D];西安建筑科技大学;2015年
7 周攀;基于蚁群算法的山区高速铁路隧道火灾应急疏散最优路径研究[D];西南交通大学;2015年
8 张路奇;基于改进蚁群算法的WSN路由协议的研究[D];中国地质大学(北京);2015年
9 王晓晨;入侵杂草优化算法的应用与改进[D];长安大学;2015年
10 信琴琴;手势控制和识别算法研究[D];闽南师范大学;2015年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978


{bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck体育下载}| {bckbet}| {bcksports}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck官网}| {bck体育下载}| {bckbet}| {bcksports}| {bck官网}| {bck体育app}| {bck体育}| {bcksports}| {bck官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck体育}| {bcksports}| {bck官网}| {bck体育官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bcksports}| {bck体育下载}| {bck体育app}| {bckbet}|
{uc8}| {uc8体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐城}| {uc8彩票}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8老虎机}| {UC8娱乐}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8彩票}| {uc8}| {uc8体育}| {UC体育}| {uc8官网}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {uc8彩票}| {uc8}| {uc体育}| {UC体育}| {UC8娱乐城}| {uc8}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}|