问题标签 [jsonlines]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
3 回答
11516 浏览

json - 如何使用jq输出JSONL(每行一个独立的JSON对象)

我的请求听起来微不足道,但我找不到办法。我有一个 JSON 对象数组作为输入:

我希望输出相同的 JSONL 版本,也就是每行一个对象,而不是数组:

using 不同--compact-output,因为它会保留数组并给我:

先感谢您。

0 投票
0 回答
1188 浏览

java - 在 Java 中读取包含多个带有换行符的 JSON 对象的文本文件

我需要一些帮助才能在 Java 中读取一个包含 25000 个由换行符分隔的 JSON 对象的大型文本文件。例子:

如果文件只包含一个 JSON 对象,那么它非常简单,因为那里有很多示例。但是我还没有找到一个例子来读取一个文件,其中包含多个由换行符分隔的 JSON 对象。

谢谢!

0 投票
1 回答
127 浏览

json - 通过 jq 使一个(子)JSON 对象出现在一行上

在 Cloud BigQuery 中,接受的 JSON 格式为:

一个 JSON 对象,包括任何嵌套/重复的字段,必须出现在每一行上。

参考:https ://cloud.google.com/bigquery/data-formats#json_format

现在,给定一个json:

如何将其转换为以下 by jq

0 投票
1 回答
2326 浏览

json - jq'。使用 jq 将格式化的 json 文件恢复为原始 json 格式

这是我的json:

我希望它恢复为原始的 json 格式:

如何使用 jq 来做到这一点?:) 谢谢!

0 投票
1 回答
263 浏览

json - 处理和查询大量 JSON Lines 格式的大文件

哪种技术最适合导入大量大型 JSON Line 格式文件(每个文件大约 2 GB)。

我正在考虑 Solr。

导入数据后,它必须是可查询的。

您建议使用哪种技术导入并及时查询 JSON 行格式数据?

0 投票
4 回答
10700 浏览

arrays - 使用 jq 将 JSON 行转换为 JSON 数组

首先,我是新手jq,比如 1 天的新手,我也是 JSON 的新手,我是一名 SQL 人,所以我学得很快,但无法理解这个......所以请多多包涵.

我正在运行 Windows,在 PowerShell 上使用 jq v1.5。

我下载了多个 JSON 文件,它们看起来像这样:

这些文件的大小可以超过 1 GB。

为了有效地使用这些,我需要将 JSON 行转换为 JSON 数组,包装文件,在前面加上“[”并附加“]”,并且每行用逗号 (,) 分隔。

使文件看起来像这样(理论上):

所以我找到了 jq 并且据我所知我可以运行它

这可行,但是当运行大于 200 MB 的文件时,我得到“系统内存不足”错误(如果我使用 ISE),如果我使用标准 Powershell 或 CMD,它需要很长时间。分钟 (5+)

如果我--slurp退出命令,它会起作用,它会更快,但结果如下所示:

它为每一行创建一个数组,但该数组不是逗号分隔的,这不是我想要的。

那么,如何在不使用 slurp 的情况下处理多个 JSON 行的大文件,并为生成为单个数组、逗号分隔的输入文件创建一个文件?

我已经阅读了有关输入的信息,但不确定这是否与我需要做的有关?

0 投票
2 回答
12406 浏览

json - 用 jq 解析每行的 JSON 记录?

我有一个在每一行输出 JSON 记录的工具,我想用jq.

输出看起来像这样:

当我将其传递给jq如下:

...它输出一个错误:

如何jq处理 JSON-record-per-line 数据?

0 投票
1 回答
293 浏览

javascript - 将列表中的 JSONlines 匹配到新的 JSON 列表中

我正在尝试将 JSON 行格式的产品列表与另一个文件中的产品也以 JSON 格式匹配。这有时称为记录链接、实体解析、参考协调或仅匹配。

目标是将来自第三方零售商的产品列表(例如“Nikon D90 12.3MP Digital SLR Camera (Body Only)”)与一组已知产品(例如“Nikon D90”)进行匹配。

细节

数据对象

产品

清单

结果

数据 包含两个文件: products.txt – 包含大约 700 个产品列表。txt – 包含大约 20,000 个产品列表

当前代码(使用python):

上面的代码在产品文件中拆分了产品名称、型号和制造商中的单词,并尝试匹配列表文件中的字符串,但我觉得这太慢了,必须有更好的方法来做到这一点。任何帮助表示赞赏

0 投票
1 回答
752 浏览

sql - Json 行(.jsonl 文件)和 SQL Server 2016

我一直在来回走动,但被难住了。我有一个文件,其中包含跨多个对象的多个 JSON 行。

我在下面放了两行。

如果我使用openjson语法,我可以让它加载我想要的部分到其中一个表,但文件中只加载了一行;但我需要浏览整个文件。

然后我从这里的一篇文章中查看了一个 .fmt 文件,但从到目前为止我可以看出的是 JSON 行都必须进入同一个表。您不能让多个对象进入该行中的多个表,或者它不知道在哪里拆分它们。

我将其导入 SQL 的代码,仅包含两个表,涵盖系统和心理健康法案的法律状态:

有没有人能够提供建议或帮助或请看什么路线。

谢谢

0 投票
1 回答
706 浏览

python - 如何将数据帧数据作为 json 非数组对象写入 json 文件?

我在 Pandas 数据框中有数据,我可以通过调用将数据框数据写入 JSON 文件:

这会将数据作为JSON 对象数组写入 json 文件。

[{"col 1":"a","col 2":"b"},{"col 1":"c","col 2":"d"}]

我希望 json 文件中的数据如下所示,即只是逗号分隔的 JSON 对象,没有数组

{"col 1":"a","col 2":"b"},{"col 1":"c","col 2":"d"}

将不胜感激任何帮助。我是 python 新手,找不到路。谢谢你。