database-connection - scrapyd 连接到自己的数据库（mysql.db）而不是 127.0.01:3306

Question

我有一个scrapy项目，它的蜘蛛如下图所示。当我用这个命令运行这个蜘蛛时，蜘蛛会工作：scrapy crawl myspider

class MySpider(BaseSpider):
    name = "myspider"

    def parse(self, response):
        links = SgmlLinkExtractor().extract_links(response)

        for link in links:
            item = QuestionItem()
            item['url'] = link
            yield item

    def __init__(self):
        start_urls = []

        conn = MySQLdb.connect(host='127.0.0.1',
                       user='root',
                       passwd='xxxx',
                       db='myspider',
                       port=3306)
        cur = conn.cursor()
        cur.execute("SELECT * FROM pages")
        rows = cur.fetchall()
        for row in rows:
            start_urls.append(row[0])

        self.start_urls = start_urls 

        conn. close()

在我使用“scrapy deploy -p mysqlproject”将该项目部署到scrapyd之后，然后使用"curl http://localhost:6800/schedule.json -d project=mysql -d spider=myspider"

问题是 start_urls 没有从数据库中填充。相反，sql 命令返回一个空数组。因为（我猜）它连接到由 dbs_dir 配置的自己的 mysql.db，如下所示：http: //doc.scrapy.org/en/0.14/topics/scrapyd.html#dbs-dir

如何在 scrapyd 和 mysql 服务器而不是 mysql.db 之间建立连接？

Answer 1

我猜你的问题不是 dbs_dir 只指向内部 SQLite 数据库。也许您正在连接到在 scrapyd 的部署服务器上运行的 MySQL 服务器，而不是包含 start_urls 的服务器。