我的问题是：我想从某个域中提取所有有价值的文本，例如 www.example.com。所以我去这个网站并访问所有最大深度为 2 的链接并将其写入 csv 文件。
我在scrapy中编写了模块，它使用1个进程并产生多个爬虫来解决这个问题，但它效率低下 - 我能够爬取~1k个域/~5k个网站/小时，据我所知，我的瓶颈是CPU（因为吉尔？）。离开我的电脑一段时间后，我发现我的网络连接断开了。
当我想使用多个进程时，我刚刚从扭曲中得到了错误：并行进程中的 Scrapy Spiders 的多处理所以这意味着我必须学习扭曲，与 asyncio 相比，我会说我已弃用，但这只是我的意见。
所以我有几个想法该怎么做
- 反击并尝试学习扭曲并使用 Redis 实现多处理和分布式队列，但我不认为scrapy 是此类工作的正确工具。
- 使用 pyspider - 它具有我需要的所有功能（我从未使用过）
- 使用 nutch - 这太复杂了（我从未使用过）
- 尝试构建自己的分布式爬虫，但在爬取了 4 个网站后，我发现了 4 个边缘情况：SSL、重复、超时。但是添加一些修改会很容易，例如：聚焦爬行。
您推荐什么解决方案？
编辑1：共享代码
class ESIndexingPipeline(object):
def __init__(self):
# self.text = set()
self.extracted_type = []
self.text = OrderedSet()
import html2text
self.h = html2text.HTML2Text()
self.h.ignore_links = True
self.h.images_to_alt = True
def process_item(self, item, spider):
body = item['body']
body = self.h.handle(str(body, 'utf8')).split('\n')
first_line = True
for piece in body:
piece = piece.strip(' \n\t\r')
if len(piece) == 0:
first_line = True
else:
e = ''
if not self.text.empty() and not first_line and not regex.match(piece):
e = self.text.pop() + ' '
e += piece
self.text.add(e)
first_line = False
return item
def open_spider(self, spider):
self.target_id = spider.target_id
self.queue = spider.queue
def close_spider(self, spider):
self.text = [e for e in self.text if comprehension_helper(langdetect.detect, e) == 'en']
if spider.write_to_file:
self._write_to_file(spider)
def _write_to_file(self, spider):
concat = "\n".join(self.text)
self.queue.put([self.target_id, concat])
和电话：
def execute_crawler_process(targets, write_to_file=True, settings=None, parallel=800, queue=None):
if settings is None:
settings = DEFAULT_SPIDER_SETTINGS
# causes that runners work sequentially
@defer.inlineCallbacks
def crawl(runner):
n_crawlers_batch = 0
done = 0
n = float(len(targets))
for url in targets:
#print("target: ", url)
n_crawlers_batch += 1
r = runner.crawl(
TextExtractionSpider,
url=url,
target_id=url,
write_to_file=write_to_file,
queue=queue)
if n_crawlers_batch == parallel:
print('joining')
n_crawlers_batch = 0
d = runner.join()
# todo: print before yield
done += n_crawlers_batch
yield d # download rest of data
if n_crawlers_batch < parallel:
d = runner.join()
done += n_crawlers_batch
yield d
reactor.stop()
def f():
runner = CrawlerProcess(settings)
crawl(runner)
reactor.run()
p = Process(target=f)
p.start()
蜘蛛不是特别有趣。