众文网1.求网络爬虫参考文献
主题网络爬虫研究综述 摘要： 首先给出了主题网络爬虫的定义和研究目标； 然后系统分析了近年来国内外主题爬虫的研究方法和技 术， 包括基于文字内容的方法、基于超链分析的方法、基于分类器预测的方法以及其他主题爬行方法， 并比较了 各种方法优缺点； 最后对未来的研究方向进行了展望。
关键词： 主题网络爬虫； 信息检索； Web 挖掘 中图分类号： TP391 文 献标志码： A 文 章编号： 1001- 3695( 2007) 10- 0026- 04 Survey on topic-focused Web crawler LIU Jin-hong, LUYu-liang( Dept. of Network, PLA Electric Engineer Institute, Hefei 230037, China) Abstract: This paper gave the goal of focused crawling, then comprehensively analyzed the recent advances of the relevant researches and applications about focused-crawler, included focused crawling methods based on text contents, link analyses' methods, classifier-guided methods and other focused methods. Finally pointed out the future direction of focused crawling.Key words: topic-focused crawler; information retrieval; Web mining0 引言 随着网络上海量信息的爆炸式增长， 通用搜索引擎面临着 索引规模、更新速度和个性化需求等多方面的挑战[ 1, 2] 。面对 这些挑战， 适应特定主题和个性化搜索的主题网络爬虫（ focused crawler or topical crawler） 应运而生[ 3, 4] 。
基于主题网络 爬虫的搜索引擎（ 即第四代搜索引擎） 已经成为当前搜索引擎 和Web 信息挖掘中的一个研究热点和难点。通用网络爬虫的目标就是尽可能多地采集信息页面， 而在 这一过程中它并不太在意页面采集的顺序和被采集页面的相 关主题。
这需要消耗非常多的系统资源和网络带宽， 并且对这 些资源的消耗并没有换来采集页面的较高利用率。主题网络 爬虫则是指尽可能快地爬行、采集尽可能多的与预先定义好的 主题相关的网页。
主题网络爬虫可以通过对整个Web 按主题 分块采集， 并将不同块的采集结果整合到一起， 以提高整个 Web 的采集覆盖率和页面利用率。1 主题爬虫的定义和研究目标 定义1 网络爬虫是一个自动提取网页的程序， 它为搜索 引擎从Web 上下载网页， 是搜索引擎的重要组成部分。
通用 网络爬虫从一个或若干初始网页的URL 开始， 获得初始网页 上的URL 列表； 在抓取网页的过程中， 不断从当前页面上抽取 新的URL 放入待爬行队列， 直到满足系统的停止条件。定义2 主 题网络爬虫就是根据一定的网页分析算法过 滤与主题无关的链接， 保留主题相关的链接并将其放入待抓取 的URL 队列中； 然后根据一定的搜索策略从队列中选择下一 步要抓取的网页URL， 并重复上述过程， 直到达到系统的某一 条件时停止。
所有被网络爬虫抓取的网页将会被系统存储， 进 行一定的分析、过滤， 并建立索引， 对于主题网络爬虫来说， 这 一过程所得到的分析结果还可能对后续的抓取过程进行反馈 和指导。定义3 如果网页p 中包含超链接l， 则p 称为链接l 的父 网页。
定义4 如果超链接l 指向网页t， 则网页t 称为子网页，又称为目标网页。主题网络爬虫的基本思路就是按照事先给出的主题， 分析 超链接和已经下载的网页内容， 预测下一个待抓取的URL 以 及当前网页的主题相关度， 保证尽可能多地爬行、下载与主题 相关的网页， 尽可能少地下载无关网页。
相对于通用网络爬 虫， 主题网络爬虫需要解决以下四个主要问题：a） 如何描述或定义感兴趣的主题（ 即抓取目标） ？b） 怎样决定待爬行URL的访问次序？ 许多主题网络爬虫 根据己下载网页的相关度， 按照一定原则将相关度进行衰减，分配给该网页中的子网页， 而后将其插入到优先级队列中。此 时的爬行次序就不是简单地以深度优先或广度优先顺序， 而是 按照相关度大小排序， 优先访问相关度大的URL。
不同主题 网络爬虫之间的区别之一就是如何计算URL的爬行次序。c） 如何判断一个网页是否与主题相关？ 对于待爬行或己 下载的网页可以获取它的文本内容， 所以可以采用文本挖掘技 术来实现。
因此不同主题网络爬虫间的区别之二就是如何计 算当前爬行网页的主题相关度。
转载请注明出处众文网 » 主题爬虫毕业论文(求网络爬虫参考文献)