python - 从网络服务器中提取数据

Question

我已经制作了抓取工具来从网站（例如电影）中提取数据，但是如何连接到网站服务器以直接从那里的数据库中提取数据，而不是制作爬虫从可视站点中提取数据？如果你能给我库名、工具集或指南，你会很酷。

额外：请求库是否执行此获取发布功能？

Answer 1

您将无法直接从网站数据库中获取数据。有一个非常好的 Python 包可以在不使用 GUI 的情况下从网站获取数据：requests

>>> r = requests.get('https://api.github.com/user', auth=('user', 'pass'))
>>> r.status_code
200
>>> r.headers['content-type']
'application/json; charset=utf8'
>>> r.encoding
'utf-8'
>>> r.text
u'{"type":"User"...'
>>> r.json()
{u'private_gists': 419, u'total_private_repos': 77, ...}