web-scraping - 从 scrapy shell 中列出蜘蛛并运行单个蜘蛛

Question

我想从终端的“scrapy 项目文件夹”中访问scrapy shell。并想列出我项目中所有可用的蜘蛛。我也喜欢运行单个蜘蛛并玩弄响应。

一旦我进入scrapy shell，我会得到以下对象：

[s] Available Scrapy objects:
[s]   crawler    <scrapy.crawler.Crawler object at 0x10b75cbd0>
[s]   item       {}
[s]   settings   <scrapy.settings.Settings object at 0x10cba1b90>
[s] Useful shortcuts:
[s]   shelp()           Shell help (print this help)
[s]   fetch(req_or_url) Fetch request (or URL) and update local objects
[s]   view(response)    View response in a browser

我最好的猜测是，我使用“爬虫”对象中的方法来列出可用的蜘蛛。但我没有运气。一旦我列出它，请让我知道如何运行蜘蛛。

Answer 1

列出我项目中所有可用的蜘蛛

使用crawler.spiders.list()：

>>> for spider_name in crawler.spiders.list():
...     print(spider_name)