我知道这可能看起来很荒谬。我已经放弃了 windows scrapyd 的实现,并设置了一个 ubuntu 机器,一切都运行得很好。我有 3 个项目,每个项目都有自己的蜘蛛。我可以使用以下命令从终端运行我的蜘蛛:
curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider2
一切似乎都可以在 Web UI 中运行,并且当我运行上述代码时,刮掉的项目会显示在正确的位置。
我想每天凌晨 12:00 运行项目 1,每隔一天凌晨 2:00 运行项目 2,每两周在凌晨 4:00 运行项目 3。请帮助我学习如何做到这一点。
scrapyd 甚至是这项任务的合适解决方案吗?