python - 完成抓取时抓取电子邮件文件

Question

我有一个按时间间隔运行的刮擦。我想在抓取完成后发送一封电子邮件。这样做的最佳方法是什么？

我正在考虑编写一个扩展，但我不知道如何从扩展中访问正在写入输出的文件。

Answer 1

您是否考虑过挂钩spider_close信号并使用scrapy.mail.MailSender服务？

scrapy.signals.spider_closed（蜘蛛，原因）

[...]

reason (str) -- 描述蜘蛛关闭原因的字符串。如果它是因为蜘蛛完成抓取而关闭的，原因是 'finished'。