众文网1.如何设计一个复杂的分布式爬虫系统
!
一个复杂的分布式爬虫系统由很多的模块组成，每个模块是一个独立的服务（SOA架构），所有的服务都注册到Zookeeper来统一管理和便于线上扩展。模块之间通过thrift（或是protobuf，或是soup，或是json，等）协议来交互和通讯。
Zookeeper负责管理系统中的所有服务，简单的配置信息的同步，同一服务的不同拷贝之间的负载均衡。它还有一个好处是可以实现服务模块的热插拔。
URLManager是爬虫系统的核心。负责URL的重要性排序，分发，调度，任务分配。单个的爬虫完成一批URL的爬取任务之后，会找 URLManager要一批新的URL。一般来说，一个爬取任务中包含几千到一万个URL，这些URL最好是来自不同的host，这样，不会给一个 host在很短一段时间内造成高峰值。
2.毕业设计,Python爬虫系统 目前只知道一点点皮毛
明显串行比多线程的慢啊， 你的思路有一些坑 python的多线程由于GIL的存在， 不咋好用， 你还不如使用gevent做多路复用的python串行的就是一个一个爬呗首先手机1w个url， 对比两个爬虫的效率就可以库一般而言， 写一个爬虫系统需要输入一堆种子， 这些种子是初始化链接， 你可以通过requests库和pyquery库进行解析， 按照特定的算法比如广度优先的方式再把这些链接对应的内容爬取出来，注意由于一个链接可能出现在多个网页中， 还需要在抓取之前采取排重操作， 这个你可以采用redis， 毕竟基于内存的比较快。
3.关于分布式爬虫的问题
布式网络爬虫的整体设计重点应该在于爬虫如何进行通信。目前分布式网络爬虫按通信方式不同分布式网路爬虫可以分为主从模式、自治模式与混合模式三种。
主从模式是指由一台主机作为控制节点负责所有运行网络爬虫的主机进行管理，爬虫只需要从控制节点那里接收任务，并把新生成任务提交给控制节点就可以了，在这个过程中不必与其他爬虫通信，这种方式实现简单利于管理。而控制节点则需要与所有爬虫进行通信，它需要一个地址列表来保存系统中所有爬虫的信息。当系统中的爬虫数量发生变化时，协调者需要更新地址列表里的数据，这一过程对于系统中的爬虫是透明的。但是随着爬虫网页数量的增加。控制节点会成为整个系统的瓶颈而导致整个分布式网络爬虫系统性能下降。
4.分布式系统领域有哪些经典论文
分布式领域论文译序sql&nosql年代记SMAQ：海量数据的存储计算和查询一.google论文系列1. google系列论文译序2. The anatomy of a large-scale hypertextual Web search engine （译 zz）3. web search for a planet :the google cluster architecture（译）4. GFS:google文件系统 （译）5. MapReduce: Simplied Data Processing on Large Clusters （译）6. Bigtable: A Distributed Storage System for Structured Data （译）7. Chubby: The Chubby lock service for loosely-coupled distributed systems （译）8. Sawzall:Interpreting the Data--Parallel Analysis with Sawzall （译 zz）9. Pregel: A System for Large-Scale Graph Processing （译）10. Dremel: Interactive Analysis of WebScale Datasets（译zz）11. Percolator: Large-scale Incremental Processing Using Distributed Transactions and Notifications（译zz）12. MegaStore: Providing Scalable, Highly Available Storage for Interactive Services（译zz）13. Case Study GFS: Evolution on Fast-forward （译）14. Google File System II: Dawn of the Multiplying Master Nodes15. Tenzing - A SQL Implementation on the MapReduce Framework （译）16. F1-The Fault-Tolerant Distributed RDBMS Supporting Google's Ad Business17. Elmo: Building a Globally Distributed, Highly Available Database18. PowerDrill:Processing a Trillion Cells per Mouse Click19. Google-Wide Profiling:A Continuous Profiling Infrastructure for Data Centers20. Spanner: Google's Globally-Distributed Database（译zz）21. Dapper, a Large-Scale Distributed Systems Tracing Infrastructure（笔记）22. Omega: flexible, scalable schedulers for large compute clusters23. CPI2: CPU performance isolation for shared compute clusters24. Photon: Fault-tolerant and Scalable Joining of Continuous Data Streams（译）25. F1: A Distributed SQL Database That Scales26. MillWheel: Fault-Tolerant Stream Processing at Internet Scale（译）27. B4: Experience with a Globally-Deployed Software Defined WAN28. The Datacenter as a Computer29. Google brain-Building High-level Features Using Large Scale Unsupervised Learning30. Mesa: Geo-Replicated, Near Real-Time, Scalable Data Warehousing（译zz）31. Large-scale cluster management at Google with Borg google系列论文翻译集（合集）二.分布式理论系列00. Appraising Two Decades of Distributed Computing Theory Research 0. 分布式理论系列译序1. A brief history of Consensus_ 2PC and Transaction Commit （译）2. 拜占庭将军问题 （译） --Leslie Lamport3. Impossibility of distributed consensus with one faulty process （译）4. Leases：租约机制 （译）5. Time Clocks and the Ordering of Events in a Distributed System（译） --Leslie Lamport6. 关于Paxos的历史7. The Part Time Parliament （译 zz） --Leslie Lamport 8. How to Build a Highly Available System Using Consensus（译）9. Paxos Made Simple （译） --Leslie Lamport10. Paxos Made Live - An Engineering Perspective（译） 11. 2 Phase Commit（译） 12. Consensus on Transaction Commit（译） --Jim Gray & Leslie Lamport 13. Why Do Computers Stop and What Can Be Done About It？（译） --Jim Gray 14. On Designing and Deploying Internet-Scale Services（译） --James Hamilton 15. Single-Message Communication（译）16. Implementing fault-tolerant services using the state machine approach 17. Problems, Unsolved Problems and Problems in Concurrency 18. Hints for Computer System Design 19. Self-stabilizing systems in spite of distributed control 20. Wait-Free Synchronization 21. White Paper Introduction to IEEE 1588 & Transparent Clocks 22. Unreliable Failure Detectors for Reliable Distributed Systems 23. Life beyond Distributed Transactions:an Apostate's Opinion（译zz） 24. Distributed Snapshots: Determining Global States of a Distributed System --Leslie Lamport 25. Virtual Time and Global States of Distributed Systems 26. Timestamps in Message-Passing Systems That Preserve the Partial Ordering 27. Fundamentals of Distributed Computing:A Practical Tour of Vector Clock Systems 28. Knowledge and Common Knowledge in a Distributed Environment 29. Understanding Failures in Petascale Computers 30. Why Do Internet services fail, and What Can Be Done About It? 31. End-To-End Arguments in System Design 32. Rethinking the Design of the Internet: The End-to-End Arguments vs. the Brave New World 33. The Design Philosophy of the DARPA Internet Protocols（译zz） 34. Uniform consensus is harder than consensus 35. Paxos made code - Implementing a high throughput Atomic Broadcast 36. RAFT:In Search of an Understandable Consensus Algorithm分布式理论。
5.如何评价慕课网课程《Python分布式爬虫打造搜索引擎 》
听说还可以，我没有购买，所以不清楚课程大纲说真的，你再也没有理由学不会爬虫了从0开始讲解爬虫基本原理讲精讲透最流行爬虫框架Scrapy从单机爬虫到分布式爬虫爬取知名网站真实数据打造自己的搜索引擎从0讲解爬虫基本原理，对爬虫中所需要用到的知识点进行梳理，从搭建开发环境、设计数据库开始，通过爬取三个知名网站的真实数据，带你由浅入深的掌握Scrapy原理、各模块使用、组件开发，Scrapy的进阶开发以及反爬虫的策略彻底掌握Scrapy之后，带你基于Scrapy、Redis、elasticsearch和django打造一个完整的搜索引擎网站大纲：第1章 课程介绍介绍课程目标、通过课程能学习到的内容、和系统开发前需要具备的知识第2章 windows下搭建开发环境介绍项目开发需要安装的开发软件、python虚拟virtualenv和 virtualenvwrapper的安装和使用、最后介绍pycharm和navicat的简单使用第3章 爬虫基础知识回顾介绍爬虫开发中需要用到的基础知识包括爬虫能做什么，正则表达式，深度优先和广度优先的算法及实现、爬虫url去重的策略、彻底弄清楚unicode和utf8编码的区别和应用。
第4章 scrapy爬取知名技术文章网站搭建scrapy的开发环境，本章介绍scrapy的常用命令以及工程目录结构分析，本章中也会详细的讲解xpath和css选择器的使用。然后通过scrapy提供的spider完成所有文章的爬取。
然后详细讲解item以及item loader方式完成具体字段的提取后使用scrapy提供的pipeline分别将数据保存到json文件以及mysql数据库中。…第5章 scrapy爬取知名问答网站本章主要完成网站的问题和回答的提取。
本章除了分析出问答网站的网络请求以外还会分别通过requests和scrapy的FormRequest两种方式完成网站的模拟登录， 本章详细的分析了网站的网络请求并分别分析出了网站问题回答的api请求接口并将数据提取出来后保存到mysql中。…第6章 通过CrawlSpider对招聘网站进行整站爬取本章完成招聘网站职位的数据表结构设计，并通过link extractor和rule的形式并配置CrawlSpider完成招聘网站所有职位的爬取，本章也会从源码的角度来分析CrawlSpider让大家对CrawlSpider有深入的理解。
第7章 Scrapy突破反爬虫的限制本章会从爬虫和反爬虫的斗争过程开始讲解，然后讲解scrapy的原理，然后通过随机切换user-agent和设置scrapy的ip代理的方式完成突破反爬虫的各种限制。本章也会详细介绍、scrapy的web service和scrapy的log配置和email发送等。 这些特性使得我们不仅只是可以通过scrapy来完成…第9章 scrapy-redis分布式爬虫Scrapy-redis分布式爬虫的使用以及scrapy-redis的分布式爬虫的源码分析， 让大家可以根据自己的需求来修改源码以满足自己的需求。
最后也会讲解如何将bloomfilter集成到scrapy-redis中。第10章 elasticsearch搜索引擎的使用本章将讲解elasticsearch的安装和使用，将讲解elasticsearch的基本概念的介绍以及api的使用。
本章也会讲解搜索引擎的原理并讲解elasticsearch-dsl的使用，最后讲解如何通过scrapy的pipeline将数据保存到elasticsearch中。第11章 django搭建搜索网站本章讲解如何通过django快速搭建搜索网站， 本章也会讲解如何完成django与elasticsearch的搜索查询交互。
第12章 scrapyd部署scrapy爬虫本章主要通过scrapyd完成对scrapy爬虫的线上部署。第13章 课程总结重新梳理一遍系统开发的整个过程， 让同学对系统和开发过程有一个更加直观的理解。
6.如何用Python写一个分布式爬虫
我还是认真答一下吧，爬虫这种东西在大批量抓去时主要有下面几个量变引发质变的挑战：1. 出口IP数量，主要是考虑防止被封禁，带宽反而不是大问题，这个问题可以通过搭建NAT出口集群，或者单机多IP的方式实现2. 本地端口号耗尽，由于爬虫是服务端编程不太常见的主动发起连接的应用，在普通只有一个IP绑定的机器上会受到65535的限制（一般在50000多就会受到限制）3. 大容量存储的需求，一般都是通过开源或者自己研发的分布式存储系统来实现，像谷歌（GFS）和百度（百灵）都是自研，这里就不展开说了4. 动态网页的支持，像京东这种网站，内容都是通过类似Facebook的bigpipe一样动态加载的，直接像curl这样抓取看到的页面几乎是空白的，这就要求爬虫能模拟JS的运行，这方面有很多基于v8引擎的开源项目：CasperJS, a navigation scripting and testing utility for PhantomJS and SlimerJSPhantomJS | PhantomJS由于这个需求，爬虫成了CPU密集型的应用了，分布式的需求也就有了。
7.因为一些原因,我需要直接学java分布式爬虫 我之前学过一点语言,只
一般要做爬虫的话，需要进行站点页面的代码采集，以及图片文字的分析，存储，索引等工作。如果要求高一些的话，还要有页面的去噪声，权值优化等处理。这需要结合java的网络请求，搜索引擎的相关算法，中文分词以及倒排索引之类等等，还要考虑是否结合数据库使用。
另外，为了跨过网站的一些拦截与屏蔽的功能，你还要做相关的代理处理，伪造爬虫头部信息等。所以，三个月的时间，结合实践与代码，感觉基本做不到太多的。
像资源的分类存储，字符集的识别，扫描频率啊之类的，太多问题了。
这还是单机的情况下，分布式你更是难上加难了，可以研究一下elasticsearch，也许对你有一些帮助。想要当好搜索引擎工程师，大师的爬虫设计经验是必需的。
我从07年就开始写爬虫了，到现在也感觉自己只是入门而已，祝你成功。