收藏本站

基于遗传算法的主题爬虫搜索策略研究

【摘要】:传统的搜索引擎需要对互联网上的信息进行广泛的收集和分析处理,随着互联网的急剧膨胀,传统的搜索引擎需要处理的网络信息也越来越多,同时也就不可避免的为用户提供了或多或少的无关信息。在专业化需求日益增长的今天,主题搜索引擎以其分类细致精确、数据全面准确的特点迅速流行起来,而主题搜索引擎的关键技术——主题爬虫的搜索策略就成为了近几年的研究热点。 本文将遗传算法应用在主题爬虫的搜索中,引入遗传算法来改进爬虫的搜索策略,利用遗传算法高效、并行、全局寻优的特点,提高爬虫的搜索效率。本文的研究内容主要有以下两个方面:根据网络特点改进传统的遗传算法;通过实验验证改进后的效果。 基于遗传算法的主题爬虫搜索策略,是将待检索的问题提交给通用搜索引擎,对其返回的结果集进行处理,选择一定数目的URL作为初始群体;通过交叉操作,提取初始群体中URL对应页面包含的所有超链,产生出大量新的个体,再对所有超链进行相似度预测,选出相关度高的种子作为交叉结果;通过变异操作,引入目录型网页,扩大搜索范围;通过选择操作,对遗传之后的结果进行处理,选出相关度高的个体作为新一代的种子进入新一轮的遗传;通过爬虫终止搜索条件,来结束爬虫的搜索。 本文在构造初始群时,将待检索的问题提交给通用搜索引擎Google,对其返回的结果集选择前n个URL,再扩展、去重、计算Authority和Hub值,重点是引入了Alexa排名,然后依据综合排名值选择初始种子集合。在交叉过程,根据超链的锚文本有效地预测对应的页面与主题的相似度。在变异阶段,根据目录型网页包含的大量链接和详细的分类来寻找相关网页。 本文设计了一个实验,来验证遗传算法在爬虫搜索中应用的可行性以及改进后的遗传算法的效果。在实验中,本文采用GA、HITS、Best-First三种算法分别对给定主题进行搜索,将搜索到的网页根据向量空间模型算法计算其与主题的相关度,再分别统计三种算法搜索到的相关的网页数。实验结果表明,本文的基于遗传算法的爬虫搜索策略在某种程度上具有一定的优势。

下载App查看全文

(如何获取全文? 欢迎:、、)

支持CAJ、PDF文件格式


【相似文献】
中国期刊全文数据库 前20条
1 曾长清;王玉皞;陈绯;黎鹰;;基于量子遗传克隆挖掘的Web搜索策略[J];广西师范大学学报(自然科学版);2009年01期
2 邵雄凯;梁云静;刘建舟;;基于遗传算法的主题信息搜索研究[J];网络安全技术与应用;2009年11期
3 陈玲俐;于洁;;双重模糊编码遗传算法及聚焦搜索策略[J];生物数学学报;2011年01期
4 陈悦;陈运;杨义先;胡迪;;基于遗传算法的聚焦爬虫搜索策略设计与研究[J];成都信息工程学院学报;2011年05期
5 池勇敏;郝泳涛;;分布式主题爬虫的设计与实现[J];计算机应用与软件;2010年12期
6 高伟锋;;基于Heritrix的主题网络爬虫设计与实现[J];南宁职业技术学院学报;2011年01期
7 付国瑜;黄贤英;;基于Web页面平均质量的Web搜索模型和优化算法[J];计算机应用;2009年04期
8 张玲;秦拯;易先卉;;基于遗传算法的Web信息采集策略研究[J];情报理论与实践;2008年02期
9 任荣;;浅析基于遗传算法的关联规则数据挖掘技术[J];电脑知识与技术;2009年03期
10 柯慧凌;李剑;李志勇;蒋慕蓉;;遗传算法应用于水平集模型实现图像分割参数的选取[J];云南大学学报(自然科学版);2009年S1期
11 李元臣;刘维群;;网络个性化信息的特征提取研究[J];;2006年12期
12 李建卓;;基于遗传算法的时间表问题研究[J];科技信息;2009年20期
13 张惠珍;马良;;基于变尺度混沌优化策略的混合遗传算法及在神经网络中的应用[J];上海理工大学学报;2007年03期
14 刘维群;李元臣;;基于遗传算法的个性化信息的特征提取[J];现代情报;2006年06期
15 宋雪枫;陈江义;张明伟;;基于遗传算法的矩形件排样问题求解[J];煤矿机械;2011年05期
16 鲁燃,马学强,潘美芹;利用遗传算法搜索全局最优的一种混合算法[J];山东师大学报(自然科学版);2000年04期
17 江金龙;薛云灿;杨启文;;基于遗传算法和直接搜索策略的PID整定研究[J];计算机仿真;2005年12期
18 田苗苗;许建潮;汪津;丁桂英;;基于遗传算法的Web信息自动标引研究[J];吉林大学学报(信息科学版);2006年05期
19 李明;王健琨;;基于聚类与遗传算法的Web图像检索[J];计算机工程与设计;2008年15期
20 陈勇;;基于遗传算法的多值站内搜索设计与实现[J];微电子学与计算机;2008年11期
中国重要会议论文全文数据库 前10条
1 周海清;王恭先;陈正汉;;基于面向对象遗传算法的抗滑桩优化设计程序的研制[A];中国土木工程学会第九届土力学及岩土工程学术会议论文集(下册)[C];2003年
2 吴建生;金龙;;基于实数编码的遗传算法神经网络预报建模研究[A];推进气象科技创新加快气象事业发展——中国气象学会2004年年会论文集(下册)[C];2004年
3 申元霞;张翠芳;;GA-BP算法在系统辨识中的应用[A];中国自动化学会、中国仪器仪表学会2004年西南三省一市自动化与仪器仪表学术年会论文集[C];2004年
4 刘辙;彭亮;崔广才;吴学礼;;混合遗传算法在车间调度中的应用[A];中国自动化学会全国第九届自动化新技术学术交流会论文集[C];2004年
5 曹春红;李文辉;张永坚;;遗传蚂蚁算法在几何约束求解中的应用[A];中国仪器仪表学会第六届青年学术会议论文集[C];2004年
6 姜楠;张春森;;遗传算法在图像模板匹配中的应用[A];高精度几何量光电测量与校准技术研讨会论文集[C];2008年
7 朱秀娥;周宝焜;;振动筛设计的遗传算法[A];福建省科协第三届学术年会装备制造业专题学术年会论文集[C];2003年
8 何奉道;梁向阳;;基于遗传算法的机车周转图优化编制方法[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
9 刘忠凯;薛正辉;任武;李伟明;高本庆;;用遗传算法优化八木天线[A];2005'全国微波毫米波会议论文集(第二册)[C];2006年
10 汝勇;杨树强;;遗传算法在历史性约束组合优化问题中的应用[A];2010通信理论与技术新发展——第十五届全国青年通信学术会议论文集(上册)[C];2010年
中国博士学位论文全文数据库 前10条
1 袁丽华;基于物种进化的遗传算法研究[D];南京航空航天大学;2009年
2 张旭;具有拓扑结构布局优化的理论及算法[D];大连理工大学;2004年
3 廖平;基于遗传算法的形状误差计算研究[D];中南大学;2002年
4 周明;高新技术产业投资环境系统研究[D];西北工业大学;2006年
5 陈霄;DNA遗传算法及应用研究[D];浙江大学;2010年
6 曹宇;利用遗传算法对声障板优化设计的研究[D];哈尔滨工程大学;2010年
7 于健海;基于遗传算法的模拟电路优化设计方法研究[D];哈尔滨工业大学;2010年
8 李军华;基于知识和多种群进化的遗传算法研究[D];南京航空航天大学;2009年
9 张需溥;小型化微带天线的设计与数值分析[D];上海大学;2004年
10 杨春成;空间数据挖掘中聚类分析算法的研究[D];解放军信息工程大学;2004年
中国硕士学位论文全文数据库 前10条
1 梁云静;基于遗传算法的主题爬虫搜索策略研究[D];湖北工业大学;2010年
2 朱奉梅;遗传算法在高校排课系统中的研究与应用[D];东北大学;2009年
3 孙晓丽;基于遗传算法的既有线平面及纵断面整正优化设计[D];中南大学;2010年
4 冯秋霞;解最小生成树问题的新的遗传算法[D];西安电子科技大学;2010年
5 郭佳;基于遗传算法的认知无线网络资源分配技术研究[D];西安电子科技大学;2010年
6 宋品;基于改进遗传算法的波束形成技术研究及其应用[D];西安电子科技大学;2010年
7 高建兵;基于遗传算法的模糊推理控制系统的参数优化研究[D];辽宁工程技术大学;2011年
8 李振业;多向变异遗传算法及其优化神经网络的研究[D];华南理工大学;2011年
9 栾丽霞;遗传算法在潍坊商校排课系统的研究与应用[D];电子科技大学;2011年
10 王辉;基于改进遗传算法的物流配送路径优化研究[D];山东科技大学;2010年
中国重要报纸全文数据库 前10条
1 林京;[N];中国水利报;2002年
2 章森 王伟;[N];计算机世界;2006年
3 惠正一;[N];第一财经日报;2005年
4 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;[N];中国计算机报;2005年
5 陈珊;[N];人民邮电;2005年
6 朱伟;[N];文汇报;2005年
7 赵法忠;[N];中国经营报;2005年
8 商报记者  吴辰光;[N];北京现代商报;2006年
9 金朝力;[N];北京商报;2006年
10 元元;[N];证券日报;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978


{bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bcksports}| {bck体育下载}| {bckbet}| {bcksports}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bck官网}| {bck体育下载}| {bckbet}| {bcksports}| {bck官网}| {bck体育app}| {bck体育}| {bcksports}| {bck官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck官网}| {bck体育}| {bcksports}| {bck官网}| {bck体育官网}| {bck体育下载}| {bck体育}| {bckbet}| {bcksports}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bck体育}| {bckbet}| {bck官网}| {bck}| {bck体育官网}| {bck体育下载}| {bck体育app}| {bcksports}| {bck官网}| {bck}| {bck体育官网}| {bcksports}| {bck体育下载}| {bck体育app}| {bckbet}|
{uc8}| {uc8体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐城}| {uc8彩票}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8老虎机}| {UC8娱乐}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8老虎机}| {uc8彩票}| {uc8}| {uc8体育}| {UC体育}| {uc8官网}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {uc8彩票}| {uc8}| {uc体育}| {UC体育}| {UC8娱乐城}| {uc8}| {UC体育}| {uc8官网}| {uc8老虎机}| {uc8}| {uc体育}| {uc8体育}| {UC体育}| {uc8官网}| {uc8老虎机}| {UC8娱乐}| {UC8娱乐城}|