众文网1.毕业设计,Python爬虫系统 目前只知道一点点皮毛
明显串行比多线程的慢啊， 你的思路有一些坑 python的多线程由于GIL的存在， 不咋好用， 你还不如使用gevent做多路复用的python串行的就是一个一个爬呗首先手机1w个url， 对比两个爬虫的效率就可以库一般而言， 写一个爬虫系统需要输入一堆种子， 这些种子是初始化链接， 你可以通过requests库和pyquery库进行解析， 按照特定的算法比如广度优先的方式再把这些链接对应的内容爬取出来，注意由于一个链接可能出现在多个网页中， 还需要在抓取之前采取排重操作， 这个你可以采用redis， 毕竟基于内存的比较快。
2.求网络爬虫参考文献
主题网络爬虫研究综述摘要： 首先给出了主题网络爬虫的定义和研究目标； 然后系统分析了近年来国内外主题爬虫的研究方法和技术， 包括基于文字内容的方法、基于超链分析的方法、基于分类器预测的方法以及其他主题爬行方法， 并比较了各种方法优缺点； 最后对未来的研究方向进行了展望。
关键词： 主题网络爬虫； 信息检索； Web 挖掘中图分类号： TP391 文 献标志码： A 文 章编号： 1001- 3695( 2007) 10- 0026- 04Survey on topic-focused Web crawlerLIU Jin-hong, LUYu-liang( Dept. of Network, PLA Electric Engineer Institute, Hefei 230037, China)Abstract: This paper gave the goal of focused crawling, then comprehensively analyzed the recent advances of the relevant researchesand applications about focused-crawler, included focused crawling methods based on text contents, link analyses'methods, classifier-guided methods and other focused methods. Finally pointed out the future direction of focused crawling.Key words: topic-focused crawler; information retrieval; Web mining0 引言随着网络上海量信息的爆炸式增长， 通用搜索引擎面临着索引规模、更新速度和个性化需求等多方面的挑战[ 1, 2] 。面对这些挑战， 适应特定主题和个性化搜索的主题网络爬虫（ focusedcrawler or topical crawler） 应运而生[ 3, 4] 。
基于主题网络爬虫的搜索引擎（ 即第四代搜索引擎） 已经成为当前搜索引擎和Web 信息挖掘中的一个研究热点和难点。通用网络爬虫的目标就是尽可能多地采集信息页面， 而在这一过程中它并不太在意页面采集的顺序和被采集页面的相关主题。
这需要消耗非常多的系统资源和网络带宽， 并且对这些资源的消耗并没有换来采集页面的较高利用率。主题网络爬虫则是指尽可能快地爬行、采集尽可能多的与预先定义好的主题相关的网页。
主题网络爬虫可以通过对整个Web 按主题分块采集， 并将不同块的采集结果整合到一起， 以提高整个Web 的采集覆盖率和页面利用率。1 主题爬虫的定义和研究目标定义1 网络爬虫是一个自动提取网页的程序， 它为搜索引擎从Web 上下载网页， 是搜索引擎的重要组成部分。
通用网络爬虫从一个或若干初始网页的URL 开始， 获得初始网页上的URL 列表； 在抓取网页的过程中， 不断从当前页面上抽取新的URL 放入待爬行队列， 直到满足系统的停止条件。定义2 主 题网络爬虫就是根据一定的网页分析算法过滤与主题无关的链接， 保留主题相关的链接并将其放入待抓取的URL 队列中； 然后根据一定的搜索策略从队列中选择下一步要抓取的网页URL， 并重复上述过程， 直到达到系统的某一条件时停止。
所有被网络爬虫抓取的网页将会被系统存储， 进行一定的分析、过滤， 并建立索引， 对于主题网络爬虫来说， 这一过程所得到的分析结果还可能对后续的抓取过程进行反馈和指导。定义3 如果网页p 中包含超链接l， 则p 称为链接l 的父网页。
定义4 如果超链接l 指向网页t， 则网页t 称为子网页，又称为目标网页。主题网络爬虫的基本思路就是按照事先给出的主题， 分析超链接和已经下载的网页内容， 预测下一个待抓取的URL 以及当前网页的主题相关度， 保证尽可能多地爬行、下载与主题相关的网页， 尽可能少地下载无关网页。
相对于通用网络爬虫， 主题网络爬虫需要解决以下四个主要问题：a） 如何描述或定义感兴趣的主题（ 即抓取目标） ？b） 怎样决定待爬行URL的访问次序？ 许多主题网络爬虫根据己下载网页的相关度， 按照一定原则将相关度进行衰减，分配给该网页中的子网页， 而后将其插入到优先级队列中。此时的爬行次序就不是简单地以深度优先或广度优先顺序， 而是按照相关度大小排序， 优先访问相关度大的URL。
不同主题网络爬虫之间的区别之一就是如何计算URL的爬行次序。c） 如何判断一个网页是否与主题相关？ 对于待爬行或己下载的网页可以获取它的文本内容， 所以可以采用文本挖掘技术来实现。
因此不同主题网络爬虫间的区别之二就是如何计算当前爬行网页的主题相关度。
转载请注明出处众文网 » python爬虫毕业论文