243

在我的一个脚本中得到以下代码:

#
# url is defined above.
#
jsonurl = urlopen(url)

#
# While trying to debug, I put this in:
#
print jsonurl

#
# Was hoping text would contain the actual json crap from the URL, but seems not...
#
text = json.loads(jsonurl)
print text

我想要做的是获取{{.....etc.....}}我在 Firefox 中将 URL 加载到脚本中时在 URL 上看到的内容,以便从中解析出一个值。我已经用谷歌搜索了很多,但我还没有找到一个很好的答案来说明如何{{...}}从一个以结尾的 URL 实际获取内容.json到 Python 脚本中的对象中。

4

11 回答 11

389

从 URL 获取数据,然后调用json.loadseg

Python3 示例

import urllib.request, json 
with urllib.request.urlopen("http://maps.googleapis.com/maps/api/geocode/json?address=google") as url:
    data = json.loads(url.read().decode())
    print(data)

Python2 示例

import urllib, json
url = "http://maps.googleapis.com/maps/api/geocode/json?address=google"
response = urllib.urlopen(url)
data = json.loads(response.read())
print data

输出将导致如下所示:

{
"results" : [
    {
    "address_components" : [
        {
            "long_name" : "Charleston and Huff",
            "short_name" : "Charleston and Huff",
            "types" : [ "establishment", "point_of_interest" ]
        },
        {
            "long_name" : "Mountain View",
            "short_name" : "Mountain View",
            "types" : [ "locality", "political" ]
        },
        {
...
于 2012-10-18T23:26:29.200 回答
153

我猜您实际上想从 URL 获取数据:

jsonurl = urlopen(url)
text = json.loads(jsonurl.read()) # <-- read from it

或者,查看请求库中的JSON 解码器。

import requests
r = requests.get('someurl')
print r.json() # if response type was set to JSON, then you'll automatically have a JSON response here...
于 2012-10-18T23:26:28.873 回答
32

这会从带有 Python 2.X 和 Python 3.X 的网页中获取 JSON 格式的字典:

#!/usr/bin/env python

try:
    # For Python 3.0 and later
    from urllib.request import urlopen
except ImportError:
    # Fall back to Python 2's urllib2
    from urllib2 import urlopen

import json


def get_jsonparsed_data(url):
    """
    Receive the content of ``url``, parse it as JSON and return the object.

    Parameters
    ----------
    url : str

    Returns
    -------
    dict
    """
    response = urlopen(url)
    data = response.read().decode("utf-8")
    return json.loads(data)


url = ("http://maps.googleapis.com/maps/api/geocode/json?"
       "address=googleplex&sensor=false")
print(get_jsonparsed_data(url))

另请参阅:JSON 的读写示例

于 2015-02-28T20:40:57.320 回答
28

我发现这是使用 Python 3 时从网页获取 JSON 的最简单和最有效的方法:

import json,urllib.request
data = urllib.request.urlopen("https://api.github.com/users?since=100").read()
output = json.loads(data)
print (output)
于 2016-02-23T19:59:52.207 回答
10

您需要import requests并使用 json() 方法:

source = requests.get("url").json()
print(source)

当然,这种方法也有效:

import json,urllib.request
data = urllib.request.urlopen("url").read()
output = json.loads(data)
print (output)

json.loads将使用此表将其解码为 Python 对象,例如 JSON 对象将变为 Python dict

于 2020-07-16T07:53:16.567 回答
9

调用urlopen()所做的所有事情(根据docs)都是返回一个类似文件的对象。一旦你有了它,你需要调用它的read()方法来真正通过网络拉取 JSON 数据。

就像是:

jsonurl = urlopen(url)

text = json.loads(jsonurl.read())
print text
于 2012-10-18T23:26:20.263 回答
5

在 Python 2 中, json.load() 将代替 json.loads() 工作

import json
import urllib

url = 'https://api.github.com/users?since=100'
output = json.load(urllib.urlopen(url))
print(output)

不幸的是,这在 Python 3 中不起作用。 json.load 只是 json.loads 的包装器,它为类文件对象调用 read() 。json.loads 需要一个字符串对象,而 urllib.urlopen(url).read() 的输出是一个字节对象。因此,必须获取文件编码才能使其在 Python 3 中工作。

在此示例中,我们查询编码的标头,如果没有得到则回退到 utf-8。Python 2 和 3 之间的 headers 对象不同,因此必须以不同的方式完成。使用requests可以避免这一切,但有时您需要坚持使用标准库。

import json
from six.moves.urllib.request import urlopen

DEFAULT_ENCODING = 'utf-8'
url = 'https://api.github.com/users?since=100'
urlResponse = urlopen(url)

if hasattr(urlResponse.headers, 'get_content_charset'):
    encoding = urlResponse.headers.get_content_charset(DEFAULT_ENCODING)
else:
    encoding = urlResponse.headers.getparam('charset') or DEFAULT_ENCODING

output = json.loads(urlResponse.read().decode(encoding))
print(output)
于 2016-06-23T15:33:27.363 回答
4

因为python>=3.6你可以使用:

import dload

j = dload.json(url)

安装dload

pip3 install dload
于 2020-02-24T07:17:01.503 回答
3

无需使用额外的库来解析 json...

json.loads()返回字典

所以在你的情况下,就做text["someValueKey"]

于 2013-06-25T21:44:36.160 回答
2

不知道为什么所有早期的答案都使用json.loads. 所有你需要的是:

import json
from urllib.request import urlopen

f = urlopen("https://www.openml.org/d/40996/json")
j = json.load(f)

这是有效的,因为urlopen返回一个类似文件的对象,它与json.load.

于 2021-07-14T21:34:47.447 回答
-1

你可以使用json.dumps

import json

# Hier comes you received data

data = json.dumps(response)

print(data)

对于加载 json 并将其写入文件,以下代码很有用:

data = json.loads(json.dumps(Response, sort_keys=False, indent=4))
with open('data.json', 'w') as outfile:
json.dump(data, outfile, sort_keys=False, indent=4)
于 2018-03-23T18:51:58.163 回答