我正在用scrapy创建一个蜘蛛，我想使用MySQL数据库在我的蜘蛛中获取start_urls。现在我想知道是否可以将scrapy-cloud连接到远程数据库？
问问题
1313 次
1 回答
5
您可以通过覆盖start_requests蜘蛛方法来做到这一点：
http://doc.scrapy.org/en/latest/topics/spiders.html#scrapy.spiders.Spider.start_requests
你基本上可以从那里做任何你想做的事情。
mysql python默认安装在scrapy云上。文档： http: //mysql-python.sourceforge.net/
于 2015-07-23T20:09:28.633 回答