1.毕业设计,Python爬虫系统 目前只知道一点点皮毛
明显串行比多线程的慢啊, 你的思路有一些坑 python的多线程由于GIL的存在, 不咋好用, 你还不如使用gevent做多路复用的python串行的就是一个一个爬呗首先手机1w个url, 对比两个爬虫的效率就可以库一般而言, 写一个爬虫系统需要输入一堆种子, 这些种子是初始化链接, 你可以通过requests库和pyquery库进行解析, 按照特定的算法比如广度优先的方式再把这些链接对应的内容爬取出来,注意由于一个链接可能出现在多个网页中, 还需要在抓取之前采取排重操作, 这个你可以采用redis, 毕竟基于内存的比较快。