python - 访问 wiki 刮板的数据并将其存储在本地数据库中

Question

嗨，我在 scraper-wiki 上编写了一个爬虫，它抓取网页并将数据存储在 scraper-wiki 数据库中。现在我想用 python 编写一个程序，它将转到 scraper-wiki API 并获取数据并存储在一个本地机器的 sq lite 数据库。

Answer 1

首先，您需要查询您想要的数据。这是文档：1 2

然后，您需要使用 sqlite 库来存储它，它的文档可以在 python 的官方文档站点找到。

Answer 2

嘿伙计们，幸运的是我得到了答案 在 scraper wiki 上，这里有一个 API https://scraperwiki.com/docs/api#sqlite，它将生成您想要访问的特定 wiki scraper 表的 URI，然后您可以打开它在 python 的 urllib 模块的帮助下作为 url

import urllib

def access_data():

f= urllib.urlopen('https://api.scraperwiki.com/api/1.0/datastore/sqlite?format=csv&name=example&query=select%20*%20from%20%60table%60')

data=f.read()
s = open('example.csv','w')
s.write(data)

Answer 3

在您的爬虫概述页面上还有一个下载链接，您可以在其中将数据下载为 sqlite 文件，无需代码。然后，您可以在本地处理数据。