众文网1.毕业设计,Python爬虫系统 目前只知道一点点皮毛
明显串行比多线程的慢啊， 你的思路有一些坑 python的多线程由于GIL的存在， 不咋好用， 你还不如使用gevent做多路复用的python串行的就是一个一个爬呗首先手机1w个url， 对比两个爬虫的效率就可以库一般而言， 写一个爬虫系统需要输入一堆种子， 这些种子是初始化链接， 你可以通过requests库和pyquery库进行解析， 按照特定的算法比如广度优先的方式再把这些链接对应的内容爬取出来，注意由于一个链接可能出现在多个网页中， 还需要在抓取之前采取排重操作， 这个你可以采用redis， 毕竟基于内存的比较快。
2.如何爬取招聘网站并进行分析
说起这个话题，我上半年很重要的一部分工作就是开发了一个大型的分布式爬虫系统和一个新闻热点分析工具。
因此，你的问题我最有发言权，我简单说说我的做法，我是把主要的导航网站找来，把它们关于新闻资讯的网站地址全拿来筛选一遍，选出有代表性的主流媒体网站和地方资讯网站，然后让爬虫系统去爬取4~5层深度的页面数据回来做分析测试数据，为避免无关数据干扰和加快爬取速度，我在爬行时，采用正则表达式和关键词过滤链接地址和正文内容。数据爬回来后，可用的分析算法很多，分词处理后，我一般用聚类算法、规则关联算法这些。
3.如何用Python爬虫获取那些价值博文
过程大体分为以下几步： 1. 找到爬取的目标网址；2. 分析网页，找到自已想要保存的信息，这里我们主要保存是博客的文章内容；3. 清洗整理爬取下来的信息，保存在本地磁盘。
打开csdn的网页，作为一个示例，我们随机打开一个网页： " 40 f = file(t,"a") 41 f.write(text) 42 f.close() 43 except IOError,e: 44 print e.message 45if __name__ == "__main__": 46 s = SaveText() 47 #文件编码 48 #字符正确解码 49 reload(sys) 50 sys.setdefaultencoding( "utf-8" ) #获得系统的默认编码 51 #获取网页 52 page = GetHtmlPage("Page = page.GetPage() 54 #提取内容 55 reServer = RePage() 56 reBlog = reServer.GetReText(htmlPage,r'.*?(\s.+？)'） #获取网址链接和标题 57 #再向下获取正文 58 for ref in reBlog: 59 pageHeard = "Page = GetHtmlPage(strPage) 65 htmlPageData = htmlPage.GetPage() 66 reBlogText = reServer.GetReText(htmlPageData,'(.+?)') 67 #保存文件 68 for s1 in reBlogText: 69 s1='\n'+s1 70 s.Save(s1,tilte)。