1

我知道这可能看起来很荒谬。我已经放弃了 windows scrapyd 的实现,并设置了一个 ubuntu 机器,一切都运行得很好。我有 3 个项目,每个项目都有自己的蜘蛛。我可以使用以下命令从终端运行我的蜘蛛:

curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider2

一切似乎都可以在 Web UI 中运行,并且当我运行上述代码时,刮掉的项目会显示在正确的位置。

我想每天凌晨 12:00 运行项目 1,每隔一天凌晨 2:00 运行项目 2,每两周在凌晨 4:00 运行项目 3。请帮助我学习如何做到这一点。

scrapyd 甚至是这项任务的合适解决方案吗?

4

1 回答 1

1

计划任务似乎可以解决问题。我不得不说我想知道是否真的值得为运行scrapyd而设置一个ubuntu机器而我本可以schtasks在windows中安排scrapy crawl命令。

于 2013-11-16T15:40:39.777 回答