python - 如何从另一个脚本将字符串解析为蜘蛛

Question

我是 python 和 scrapy 的新手。我正在使用子进程模块从另一个python脚本运行scrapy-ctl.py。 但是我想从这个脚本本身解析'start url'到蜘蛛。是否可以解析start_urls（在脚本中确定） scrapy-ctl 运行）到蜘蛛？对于有关此的任何建议或想法，我将不胜感激...... :)

先谢谢了。。。。

Answer 1

您可以覆盖start_requests()蜘蛛中的方法以获取启动请求（默认情况下，这些请求是使用start_urls属性中的 url 生成的）。