scrapinghub - Scrapinghub 作业失败 - 无法诊断

Question

蜘蛛在爬行的中间停止（运行 7 小时后，20K 请求）。作业状态为“失败”。即使日志中没有错误消息。日志看起来就像代码刚刚停止在特定代码行范围上运行，没有报告任何错误。它发生在 spider_idle 方法覆盖中。日志已启用，我可以看到所有前面的 INFO 消息都表明蜘蛛正常运行。我不知道如何在 scrapinghub 日志中启用 DEBUG 消息。

检查内存消耗 - 它是稳定的，至少在短期测试中，现在等待长期结果。

工作“失败”后如何检索更多信息？

Answer 1

免费帐户的作业会在 24 小时内自动停止。状态为“已取消”，在这种情况下，日志通常会显示 SIGTERM。