问题标签 [ndjson]

我想将 ndjson 文件中的数据分配给 js 变量。我试过把它放在一个数组和一个对象中，但这让我出错。

我试过这样...

和

但这不起作用。

有人可以帮助我如何将此 ndjson 值分配给 js 变量而不会引发错误。

我从 lichess.org 执行了一个 GET 请求，API 参考：https ://lichess.org/api#operation/apiGamesUser

我无法在这里解码 ndjson，python 库：https ://pypi.org/project/ndjson/ 根据我应该使用的库参考：

它不起作用，运行错误：

泰。

我找到了几条有用的信息来解决我的问题，但我自己无法解决这个难题。

我的项目必须用 d3 绘制地图。主要问题（与许多其他问题一样）是要显示的文件很大。在对topojson文件进行了一些测试后，我认为处理我的情况的最佳方法是使用geojsonl文件。

这个想法是在文件流式传输时更新地图，以便用户的可视化是流畅的，但我无法让它工作。

我正在尝试使用ndjson，但是当我尝试运行它时出现错误fs.createReadStream is not a function。

这是我的代码：

有人可以写我缺少的代码吗？为什么即使安装了文件系统，我也会遇到该错误？

我正在尝试使用 ArduinoJson 来解析 Google 的 quickdraw 数据集，其中包含 .ndjson 文件，其中包含多个对象。我想出了如何使用以下简单代码检索文件中的第一个对象：

但是，这只解析 ndjson 文件中的第一个对象。

根据网站，我觉得应该自动发生其他事情：

有什么方法可以获取解析对象的字节长度，我可以继续使用 cstring 来解析连续的对象吗？我确实打印出了 cstring，它确实包含整个 ndjson 文件。

我正在尝试将普通的 json 字符串转换为新行分隔的 json 格式（ndjson）。我发现下面的 unix 命令可以执行相同的操作。

猫 test.json | jq -c '.[]' > testNDJSON.json

我需要一个等效的 java 功能。

PFB 我要转换为 ndjson 的 json 字符串。

[{"id":1266052,"date1":"2020 年 6 月 2 日 12:00:00 AM","userId":721187,"externalSource":"B","completedCardioActivityDataVOList":[],"completedStrengthActivityVO": {"activityId":110303,"lfCodeId":1,"intensity":2,"duration":180,"recommendedValueArray":"4","lfCalories":18.0,"createdAt":"2017 年 9 月 25 日 1： 25:16 PM","updatedAt":"Sep 25, 2017 1:25:16 PM"},"completedStrengthActivityDataVOList":[{"id":630060,"setNumber":1,"actualRepetitions":30,"actualResistanceEn ":60.0,"actualResistanceMt":27.215542}]},{"id":1339904,"date1":"2020 年 6 月 2 日 12:00:00 AM","userId":721187,"externalSource":"B","guid":"17b86829-0b38-4a95-a3a3-6dc006b3a979","completedCardioActivityVO":{"activityId":1,"workoutId":1},"completedCardioActivityDataVOList":[{"id" :8058043,"cardioParameterId":7,"targetCardioParameterValueMt":0.0,"targetCardioParameterValueEn":0.0,"actualCardioParameterValueMt":25.6,"actualCardioParameterValueEn":25.6},{"id":8058044,"cardioParameterId":5,"targetCardioParameterValueMt" :0.0,"targetCardioParameterValueEn":0.0,"actualCardioParameterValueMt":139.0,"actualCardioParameterValueEn":139.0},{"id":8058045,"cardioParameterId":13,"targetCardioParameterValueMt":0.0,"targetCardioParameterValueEn":0.0,"actualCardioParameterValueMt":88.0,"actualCardioParameterValueEn":88.0},{"id":8058046,"cardioParameterId":12,"targetCardioParameterValueMt":0.0,"targetCardioParameterValueEn":0.0,"actualCardioParameterValueMt":0.0,"actualCardioParameterValueEn": 0.0},{"id":8058047,"cardioParameterId":25,"targetCardioParameterValueMt":0.0,"targetCardioParameterValueEn":0.0,"actualCardioParameterValueMt":0.0,"actualCardioParameterValueEn":0.0},{"id":8058048,"cardioParameterId ":24,"targetCardioParameterValueMt":0.0,"targetCardioParameterValueEn":0.0,"actualCardioParameterValueMt":0.0,"actualCardioParameterValueEn":0.0},{"id":8058049,"heartParameterId":6,"targetCardioParameterValueMt":0.0,"targetCardioParameterValueEn":0.0,"actualCardioParameterValueMt":27.358849,"actualCardioParameterValueEn":17.0},{"id":8058050,"cardioParameterId":14,"targetCardioParameterValueMt":0.0," targetCardioParameterValueEn":0.0,"actualCardioParameterValueMt":5.365553,"actualCardioParameterValueEn":3.334},{"id":8058051,"cardioParameterId":4,"targetCardioParameterValueMt":0.0,"targetCardioParameterValueEn":0.0,"actualCardioParameterValueMt":2.2880044," actualCardioParameterValueEn":1.4217},{"id":8058052,"cardioParameterId":21,"targetCardioParameterValueMt":0.0,"targetCardioParameterValueEn":0.0,"actualCardioParameterValueMt":30.7848,"actualCardioParameterValueEn":101.0}],"completedStrengthActivityDataVOList":[]}]

我在 SFTP 中有一个大的 ND-JSON 文件（约 20K 行）。有没有办法从中生成子文件（每个约 500 行）并放在 SFTP 的另一个文件夹中？

Mule 4 是否具有拆分大文件并在 SFTP 中写入的功能？或者是否需要 Java 组件？

请指教。

我有一个 Tabulator Grid，并使用 Ebay 的 jsonpipe 库以分块格式从我的服务器加载 JSON，因此即使结果非常大，我也可以立即开始填充我的数据网格。将此类数据放入 Tabulator 的方法是

这很好用，但是您必须为每条记录添加一个 setTimeout，否则用户几秒钟内什么也看不到。但是 setTimeout 会减慢速度 - 即使非常小 - 甚至从本地文件加载也需要很长时间才能加载 800 条记录。

有没有人想出一种直接在 Tabulator 中读取分块 JSON 的方法？他们现有的 Ajax 方法不包括流式传输/分块换行编码的 JSON。

我想补充一点，数据已经从我的服务器中分块了——它是从流式传输开始的，Ajax 不需要像设置使用时那样重复请求

请有人可以帮我将此嵌套的 JSON 转换为 CSV 文件吗？

即使在调试之后，我也有点迷失在定义、生成的代码和许多有点像黑匣子的东西之间。

但让我们从头开始。我有一个使用 NestJS 作为框架的节点编写的 API。NestJS 自动创建 swagger/openapi json 文件。我使用 swagger-codegen 创建了一个 PHP 类来从另一台服务器访问 API。就像简单 API 请求的魅力一样。

现在的问题是 API 请求返回更大的响应，即来自一个或多个 DB 的 >1000 行。不要让客户端等待很长时间，并在我已切换到 NDJSON 的服务器上创建一个大的 JSON 响应，它将响应拆分为较小的 JSON 部分，每个部分都在它自己的行上。当我使用 curl 或使用 fopen 和 fread 在 PHP 中使用 HTTP 包装器手动创建我的请求时，这也适用。响应类型为 application/x-ndjson。

但是 swagger-codegen 生成的代码总是等到收到整个响应。更糟糕的是，因为它无法使用 json_decode() 解码 NDJSON 并且只返回 null。下面使用 Guzzle，它使用 PSR7 流作为响应。

现在我可以跳过 NDJSON 端点的自动生成代码。但我不希望添加特殊处理并丢失所有有用的生成检查。

那么是否有可能让 swagger-codegen 访问响应流？我是否缺少 codegen 的参数或招摇 JSON 中的某些内容？它确实有一个带有 application/x-ndjson 的产品。

我有.ndjson20GB 的文件，我想用 Python 打开。文件太大了，所以我找到了一种方法，可以用一个在线工具将它分成 50 个和平。这是工具：https://pinetools.com/split-files

现在我得到一个文件，它有扩展名.ndjson.000（我不知道那是什么）

我正在尝试将它作为 json 或 csv 文件打开，以便在 pandas 中读取它，但它不起作用。你知道如何解决这个问题吗？

第一种方法：

错误：ValueError: Unmatched ''"' when when decoding 'string'

第二种方法：

错误：json.decoder.JSONDecodeError: Unterminated string starting at: line 1 column 104925061 (char 104925060)

我认为问题是我的文件中有一些表情符号，所以我不知道如何对它们进行编码？