问题标签 [ndjson]

我正在尝试将 Json 文件转换为 ndjson。我正在从 GCS（谷歌云存储）读取文件。样本数据：

以下是我的代码。

我收到的错误在 json_list： json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 1 column 3 (char 2)

所需输出：

我开发了一个 Python Kafka 生产者，它将多个 json 记录作为 nd-json 二进制字符串发送到 Kafka 主题。然后我尝试使用 PySpark 在 Spark Structured Streaming 中读取这些消息，如下所示：

events_df = select(from_json(col("value").cast("string"), schema).alias("value"))

但此代码仅适用于单个 json 文档。如果该值包含多条记录作为换行符分隔的 json，Spark 无法正确解码。

我不想为每个事件发送 kafka 消息。我怎样才能做到这一点？

谁能指导我如何将大型 .ndjson 文件加载到 R 中。

我的目标是探索 Parler 社交媒体数据——可以在这里找到 ( https://zenodo.org/record/4442460#.YCOB32j7TFj )

最初，由于文件很大，我下载了 parler_users.zip 文件，因为它比 parler_data.zip 文件小得多。我的目标是快速探索如何在 R 中加载这些数据，但到目前为止我还没有成功。请注意，我是 R 的初学者，所以我没有太多经验。

在成功加载 1gb 数据集后，我将继续尝试加载 32gb。

如果有人可以帮助我完成此过程，将不胜感激。

我在 ndjson 文件中有一个大约 300.000 个 wikidata id 的列表（例如 Q1347065、Q731635 等）

我想要的是获取每个id的标签，并形成一个键值字典，例如

{"Q1347065":"epiglottitis", "Q731635":"Mount Vernon", ...}等等

在 id 列表变得如此庞大之前，我使用的是一个 Wikidata python 库（https://pypi.org/project/Wikidata/）

但它太慢了（1000 个 id 大约需要 15 小时）。有没有比我一直在做的更快的实现这一目标的另一种方法？

当我添加标头 Content-Type: application/x-ndjson 时，我从 .NET Core 应用程序发送 POST 请求时遇到问题。没有这个标题我有 400 错误。

当我从 Postman 发送带有该标头的相同请求时，一切都很好，我得到了响应。

当我删除标题并添加如下： new StringContent(content, Encoding.UTF8, "application/x-ndjson") 我有 406 错误（不可接受）

请帮助我如何从我的应用程序发送 POST 请求以检索数据？

我已经尝试了下面的代码，但它不起作用

我正在尝试使用改造和 moshi 解析换行符分隔的 json。这是我的 GET 函数：

当我尝试运行它时，我收到此错误：

HTTP 调用返回 json，如下所示：

编辑#1： 正如您在下面的回答中看到的，我设法从 API 获得了有效的 JSON 响应，但我仍然在努力将这些 JSON 对象解析为 Kotlin 对象列表。如何让 Moshi 将这些换行符分隔的 JSON 对象作为列表处理？我认为问题在于 Moshi 要求将对象包装在数组中才能被识别为列表。我怎么做？

这是我用于解析的数据类：

我正在尝试有效地将（对我而言）格式怪异的 JSONstream 读取到 R 数据帧中。这是一个个人项目来学习更多R。

我说的json是： https ://livetiming.formula1.com/static/2021/2021-03-28_Bahrain_Grand_Prix/2021-03-28_Race/TimingAppData.jsonStream

它的格式类似于 ndjson，但在每个 json 条目之外都有一个时间戳。

我无法有效地将其读入数据框中。目前我将 jsonSTREAM 作为文本，使用正则表达式删除时间戳，并使用它的换行符“\r\n”将结果字符串拆分为字符向量。然后我终于可以使用 ndjson::flatten 将其放入数据帧中。

上面的内容很慢，我觉得我错过了一些明显的东西。有一个更好的方法吗？

我现在的代码如下：

生成的数据框是：

我需要在 python 中将 ndjson 对象转换为 json 我看到 pypi.org 中有一个库但我无法使用它它是 ndjson 0.3.1

进入json

有什么帮助吗？谢谢你

我正在尝试使用 fetch 从 API 获取 NDJSON 数据。由于我只需要一个 JSON 对象，因此我想使用 fetch 来完成此操作。API提供的数据格式为（我自己格式化，实际响应为单行）：

当我简单地记录数据时，一切正常，并且我将上述响应作为一个对象：

但是，当我尝试记录该对象的属性之一时，没有记录任何内容（没有错误）：

即使记录JSON.stringify(obj)也不起作用。我该如何解决这个问题？