问题标签 [jsonlines]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
59 浏览

json - 使用 jQ 将 JSON 字典转换为 JSON 行

我有一个名为的 Json 文件some_file.json

我想将其转换为以下 json 行文件:

请注意,原始 JSON 中的每个键值现在如何位于一行。

我可以用任何编程语言为此编写一些代码。但我想知道如何使用 jQ 将 JSON 转换为 JSON 行文件。

我试过了,cat some_file.json | jq '.[]' -c > lines_file.jsonl它回来了

dogcat消失。

0 投票
1 回答
167 浏览

json - jq 是否可以在字段之间没有换行符的情况下产生输出,每条记录一行?

jq 总是在每个字段之间产生带有换行符/返回的输出:

如何使每条记录输出一行,使其看起来像:

0 投票
1 回答
300 浏览

python - UnicodeDecodeError:“utf-8”编解码器无法解码位置 886 中的字节 0xa3:无效的起始字节:jsonlines

我正在尝试从 jsonl 文件中读取行,但出现以下错误。

回溯(最近一次调用):文件“insertion_script.py”,第 12 行,在 f.iter() 中的 for 行:文件“C:\Users\Administrator\Anaconda3\lib\site-packages\jsonlines\jsonlines.py ",第 204 行,在 iter skip_empty=skip_empty) 文件“C:\Users\Administrator\Anaconda3\lib\site-packages\jsonlines\jsonlines.py”,第 143 行,在读取 lineno,line = next(self._line_iter)文件“C:\Users\Administrator\Anaconda3\lib\codecs.py”,第 322 行,在 decode (result, used) = self._buffer_decode(data, self.errors, final) UnicodeDecodeError: 'utf-8' codec can 't 解码位置 886 中的字节 0xa3:无效的起始字节

0 投票
1 回答
258 浏览

json - 如何将文本行转换为 JSON 行?

如果您有一个包含多行文本的文本文件,是否有现成的方法将其转换为 JSON Lines 格式?

示例文本文件包含:

示例 JSON 行 (.jsonl) 文件:

我希望有一种简单的方法可以像这样对它进行线性变换,同时转义 JSON 的特殊字符。是否有适用于 Mac 的在线或 (CLI) 工具可以做到这一点?

0 投票
1 回答
1103 浏览

visual-studio-code - 如何在 VSCode 中为 JSONL 配置语法高亮 - “JSON-Lines” - 当文件类型不受支持时

我正在使用实现文件扩展名的JSONL(“JSON 行”).jsonl文件,因此;我想知道当编辑器在技术上不支持文件类型时,是否有办法为VS Code添加支持jsonl(例如“JSON-Lines”)?

我在想是否有可能在VS Code中添加支持?

这里建议,人们应该搜索一个扩展来添加对JSON Lines ( .jsonl) 文件的编辑器的支持(根据建议),但是,令我沮丧的是.jsonl,在创作这个问题。

我还在 Marketplace 中搜索了“JSON Lines”和“ .jsonl”,再一次,搜索没有返回任何有用的结果。

0 投票
1 回答
91 浏览

javascript - 如何操作 jsonl 对象

给定一个返回 a 的 API,jsonl我该如何操作我获得的数据?

如果 API 给我这样的数据怎么办:

  1. 在javascript中检索到的对象将具有什么类型?
  2. 如果我想添加一个新对象,得到如下结果:

我该如何维护类型.jsonl而不是创建和数组?

非常感谢您的帮助

0 投票
0 回答
137 浏览

pandas - 使用 python 解析和展平从 twitter API 检索的 JSON

我一直在为学术目的收集历史 Twitter 数据,我的最终目标是在 Postgres 中结构化和组织数据。但是,我在从 API 展平杂乱的嵌套数据时遇到了一些问题。

我从每个 API 请求中获得了一堆 JSONL 文件,并且我一直在尝试在 Jupyter Notebook 上使用 python 中的数据框处理这些数据。

每个文件都包含嵌套的 JSON 文件:

输出: 数据框

然后,我使用 JSON normalize 来解压缩嵌套的“数据”部分:

这给了我这个输出:数据框

但是,还有其他嵌套列我想展平,但我一直面临问题。当我应用相同的规范化函数时,我得到“TypeError:字符串索引必须是整数”。

我对 python 很陌生,我想了解正在发生的事情以及解决此问题的可能性。另一层复杂性是其余嵌套列具有重复的记录,例如:

总之,我现在的目标是展平包含这些数据的列并创建诸如“normalized_text”之类的列,其中我将有一个列列出 Lisboa, Av. de Brasília 和 Algés-Alcântara。

如果需要额外的信息,请告诉我,这是我在 stackoverflow 中的第一篇文章!

0 投票
1 回答
107 浏览

jsonlines - jsonl-to-conll转换工具应用错误

我需要将 jsonl 文件转换为 conll,我找到了这个工具https://pypi.org/project/jsonl-to-conll/ 但没有示例或详细文档

我在命令提示符下尝试了这个命令行

但它打印

我将 jsonl-to-conll 添加到变量环境中,但我仍然有同样的错误 在此处输入图像描述 ,所以我想知道我是以正确的方式使用它还是什么?如果有其他工具或脚本可以完成这项工作,请帮助我

0 投票
1 回答
69 浏览

python-3.x - 从熊猫中的嵌套字典中自动提取列

所以我在 jsonl 文件列中有这个嵌套的多个字典,如下所示:

生产(缩短产量

我的意图是创建一个函数,该函数将自动提取整个数据框(而不仅仅是一行)中的特定列(例如文本、类型)。所以我写了这个函数:

但是运行该功能:

产生错误:

重点是从原始“引用推文”列中提取这两个嵌套列(文本和类型),并将它们与原始行匹配。

请问我在做什么错?

PS原始df在下面被抓拍: 包含目标列的原始 DF

0 投票
2 回答
51 浏览

python - 尝试使用 .loc 在另一列中选择 jsonl 数据列,但即使密钥存在也会得到 KeyError

这是我在 jsonl 中的数据结构

我尝试使用此代码从 place 列中选择 countryCode

但它给了我这个错误

键错误:“国家代码”

我该如何解决?

我尝试过这种方法,但它不适合我的情况