python - 爬虫进程意外死亡

Question

我面临着爬虫进程意外死亡的问题。

我正在使用scrapy 0.14，0.12也存在问题。

scrapyd 日志显示如下条目： 进程死亡：exitstatus=None 蜘蛛日志不显示蜘蛛关闭信息，如我的数据库状态所示。

有没有其他人遇到过类似的情况？我如何追踪这些过程消失的原因，任何想法，建议？

Answer 1

我想我也有类似的情况。

进程死亡的原因是蜘蛛产生了一个异常使进程停止。

要找出异常，请查看文件夹中某处的日志文件.scrapy。对于每个启动的爬虫进程，scrapy 都会创建一个日志文件，其名称中包含作业 ID。