运行 scrapy 时收到此警告:
[scrapy] WARNING: Disabled HttpCacheMiddleware: Unable to find scrapy.cfg file to infer project data dir
你的scrapy.cfg
文件在哪里?你是从命令行运行的吗?如果是这样,您应该从与scrapy.cfg
.
你的项目目录是什么样的。它应该看起来像:
.
├── dirbot
│ ├── __init__.py
│ ├── items.py
│ ├── pipelines.py
│ ├── settings.py
│ └── spiders
│ ├── dmoz.py
│ └── __init__.py
├── README.rst
└── scrapy.cfg
更新
如果您正在使用cron
,请尽量不要(意思是不要)使用root
用户。您可以将 PATH 信息直接添加到 crontab 中:如何让 CRON 调用正确的 PATH
PATH=/usr/local/sbin:...:/absolute/path/to/my/scrapy/project