json - 如何保存从 PySpark 中的 URL 获取的 JSON 数据？

Question

我从 API 获取了一些 .json 数据。

import urllib2
test=urllib2.urlopen('url') 
print test

如何将其保存为表格或数据框？我正在使用 Spark 2.0。

Answer 1

这就是我成功将 .json 数据从 web 导入到df：

from pyspark.sql import SparkSession, functions as F
from urllib.request import urlopen

spark = SparkSession.builder.getOrCreate()

url = 'https://web.url'
jsonData = urlopen(url).read().decode('utf-8')
rdd = spark.sparkContext.parallelize([jsonData])
df = spark.read.json(rdd)

Answer 2

为此，您可以进行一些研究并尝试使用 sqlContext。这是示例代码：-

>>> df2 = sqlContext.jsonRDD(test)
>>> df2.first()

此外访问线路并在此处检查更多内容， https://spark.apache.org/docs/1.6.2/api/python/pyspark.sql.html

Answer 3

添加到 Rakesh Kumar 的答案中，在 spark 2.0 中执行此操作的方法是：

http://spark.apache.org/docs/2.1.0/sql-programming-guide.html#data-sources

例如，以下基于 JSON 文件的内容创建一个 DataFrame：

# spark is an existing SparkSession
df = spark.read.json("examples/src/main/resources/people.json")
# Displays the content of the DataFrame to stdout
df.show()

请注意，作为 json 文件提供的文件不是典型的 JSON 文件。每行必须包含一个单独的、自包含的有效 JSON 对象。有关更多信息，请参阅 JSON Lines 文本格式，也称为换行符分隔的 JSON。因此，常规的多行 JSON 文件通常会失败。