python - Scrapy Python Crawler - 每个都有不同的蜘蛛？

Question

我有很多不同的网站我想用 scrapy 抓取。我想知道这样做的最佳方法是什么？

您是否为要抓取的每个站点使用不同的“项目”，还是使用不同的“蜘蛛”，或者两者都不使用？

任何输入将不胜感激

Answer 1

每个站点的不同项目是最糟糕的想法。

为每个站点设置不同的 SPIDER 是个好主意。

如果您可以在一个 SPIDER 中调整多个站点（基于那里的性质）是一个最好的主意。

但又完全取决于您的要求。