问题标签 [jsonlines]

我想在 python 中将 JSONL 文件加载为 JSON 对象。有没有简单的方法可以做到这一点？

我有一个保存在 jsonlines 中的大文件（300MB）。表示该文件包含数千个 javascript 对象，由换行符分隔。

不幸的是，我不知道如何处理这样的文件。谁能给我一些关于如何处理此类文件的简短介绍？

我有以下课程，

下面的代码从一个 json 文件加载到这个Dataset[myClass]，

和一个带有如下行的 .json(-lines) 文件：

运行代码时出现以下错误：

编译失败：org.codehaus.commons.compiler.CompileException：文件“generated.java”，第 331 行，第 75 列：未找到适用于实际参数的构造函数/方法“java.lang.String, boolean, double, scala.collection .immutable.Map"; 候选人是：“my.package.name.objname$myClass(java.lang.String, boolean, double, scala.collection.immutable.HashMap)”

我该如何解决？

我有一个json文件如下：

由于 json 对象以变量开头，我该如何为此编写模式？对于文件中的每个 json，spark 都会创建新的模式对象。不是性能瓶颈吗？

json 以非结构化形式存在于文件中，例如

每个新行都包含一个 json 对象。这是我到目前为止所拥有的：

一行是否像文件中的每行一样类似于一个 json 对象。

我正在尝试 Deep AR for Deep AR Forecasting铸造训练算法。在解析 jsonlines 文件时，我的训练工作一直失败并出现以下错误：行：1）失败原因 ClientError：解析 json 时出错（来源：/opt/ml/input/data/train/daily_call_vol_lines.json，行：1）我我正在使用 json 行格式附加文件（json）我尝试过任何帮助解释解析器在 sagemaker 端失败的原因都会有所帮助！粘贴文件内容：{ "TimeStamp": "2017-07-01", "Number of Calls": 14 } { "TimeStamp": "2017-07-02", "Number of Calls": 62 } { "TimeStamp ": "2017-07-03", "通话次数": 972 }

我想知道为 JSON 行 ( http://jsonlines.org/ ) 设置什么 Content-Type？

我试着搜索。它不是真正的 application/json，因为整个内容不是 JSON（每一行都是）。

谢谢

我需要将熊猫数据框转换为 JSONL 格式。我找不到一个好的包来做它并尝试自己实现，但它看起来有点丑陋且效率不高。

例如，给定一个熊猫 df：

我需要转换为 txt 格式的文件：

我试过了to_dict('records')，但我缺少[ ]并嵌套了“下”键。

创建：

我考虑过转换“模式”列并包含嵌套的“下”？

UPD

到目前为止，我成功地将“模式”转换为列表：

结果：

进而：

df_new.to_dict(orient='records')

更新 2

最终，我设法得到了我想要的东西，但是以最非 Python 的方式。

你有机会展示一个巧妙的解决方案吗？

我将以下 JSON 记录存储在容器中

我希望验证存储这些记录的排序顺序是否按 memberId ASC、memberCity ASC、lastTransaction ASC 排序

有没有一种方法可以通过 jq 断言（真/假）排序顺序，同时考虑多个字段？

我有一串 json 数据，虽然有时它是“常规”json，有时数据是 json-lines 格式。这是我正在测试以查看它是哪种格式的当前方式：

有没有更好的方法来做到这一点，或者上面的方法似乎是个好方法？

我有一段代码，它处理目录中的数千个文件，对于每个文件，它生成一个对象（字典），其部分键值如下：

如果我处理所有文件，将结果保存在列表中，然后使用 jsonlines 库写入所有文件，我的笔记本电脑（mac）将耗尽内存。

所以我的解决方案是一一处理，得到结果，然后插入到jsonline文件中，删除对象，释放内存。

查看官方文档后： https ://jsonlines.readthedocs.io/en/latest/

我找不到可以在不覆盖 jsonline 文件的情况下编写的方法。

所以我怎么能处理这么大的输出。

此外，我正在使用并行线程来处理结果：

我确实希望打开 json_file，写入每个结果，然后释放内存。