virtualenv - 虚拟环境下crontab上scrapy爬取

Question

尝试在虚拟环境下使用 crontab 运行 scrapy crawl 命令，并在从 cron 作业运行 scrapy 命令时出现以下错误 -

     UserWarning: Cannot import scrapy settings module myspider.settings warnings.warn("Cannot import scrapy settings module
 %s" % scrapy_module) 
     ..... 
     raise KeyError("Spider not found: %s" % spider_name) KeyError: 'Spider not found: myspider'

有什么帮助或建议吗？

Answer 1

在 crontab 下运行时缺少 PYTHONPATH。

我在以下 cron 作业之前添加了它：

*/40 * * * * source /home/water/.virtualenvs/water/bin/activate && cd $HOME/water2012/ && scrapy crawl water2012 >> $HOME/water2012/log/log_$(date +\%Y\ %m\%d).log 2>&1