问题标签 [jsonstream]

给定以下输入（这是输出的低调版本，包含另一个复杂查询的 100K+ 个对象）：

所需的输出：

或（更适合后续使用）：

我无法为我的生活弄清楚如何去做。我真正的问题当然是多对象输入数据，我真的不知道它是否是有效的 JSON。Jq 产生并接受它， jshon 没有。我尝试了各种可能性，但没有一个能产生我需要的东西。我认为这是最有可能的候选人：

可惜。我尝试过的其他事情：

另一个，关闭，但没有信号：

谁愿意开导我？

因此，感谢@peak，上述用例中的完整答案是

我的应用程序用于保存传感器数据并上传到服务器。

首先我有这个数据。

然后将很多值添加到列表中，因此数据非常大。

最后上传到服务器

如果数据小，没有问题，但如果数据大，应用程序崩溃。

抛出 OutOfMemoryError“无法分配 150994952 字节分配，25165824 可用字节和 86MB 直到 OOM，最大允许占用空间 135855256，增长限制 201326592”

我找到了一些答案，他们建议使用流媒体

java.lang.OutOfMemoryError：尝试将 Java 对象转换为 Json 字符串时的 Java 堆空间

但我不明白如何使用流媒体上传我的对象

我有一个非常大的 Json 需要流式传输和解析。源代码如下所示：

我想做这样的事情：

如果我将 gson.fromJson 用于数组的父 json 对象，则整个对象将加载到 ONE 对象中，其中包含数组，但我想将数组流出。

我现在看到的唯一方法是以某种方式编辑输入并删除父“Report_Entry”和尾括号，这是一种糟糕的方法。

有更好的方法吗？

不幸的是，源无法更改，我必须解决这个问题。

谢谢！丹尼尔

我有一个巨大的 json 文件，其中包含来自数据库的 json 记录的数组数据。下面说一下

我想流式传输文件并一次处理一条记录。请告知这是如何完成的。

我试过下面的代码。但它会打印整个数组，我关心的是内存使用情况，我想一次处理一条记录，因此无需将整个数组加载到内存中。

我正在处理一个大的 JSON 数据，并在我的 Nodejs 中使用 Json 流模块来获取值。

这是我的 JSON 结构，我必须从元数据和状态元素中解析和收集 4 或 5 个值。我在 JSON 数组中有 5 个元素。

在console.log Data我可以看到 5 个对象[object Object],[object Object],[object Object],[object Object],[object Object]

在console.log Stringify我只能看到 JSON 数据的一个块（1 个元素）中，我没有看到所有 5 个元素。

在console.log Specific Value我看到TypeError: Cannot read property 'labels' of undefined. 标签元素在那里显示日志，并且查询specificValue[0].metadata.labels.app正在使用其他 JSONPath 测试人员。

即使在使用 JSON Stream 模块后，如何解析并获取特定值？

理想情况下，我想做一个for循环并获取所有值。

在console.log Parse and Stringify我得到 [object Object],[object Object],[object Object],[object Object],[object Object]

我正在处理大 JSON 数据并使用 JSONStream npm 模块来解析它。我可以解析来自 JSON 数组对象的数据。但是其中一个 scnerios 获得了一个简单的 JSON 对象（不是数组）。

在这种情况下，我无法解析多个字段。我只能解析/提取一个字段。

我的 Json 结构，我想解析/提取status.replicas和status.updatedReplicas

我的代码，

这是给data =1我如何解析两者replicas and updatedReplicas

如果我使用JSONStream.parse('*')then 输出data = Deployment，它只采用kind我的 JSON 中的元素。

我想了解如何使用 WebFlux restcontroller 从 React 生成 json 流。我的第一个尝试迫使我解析为 json 的文本 instetad，但我觉得我在做一些奇怪的事情。我决定投入精力阅读示例，我发现一个示例返回 org.reactivestreams.Publisher 而不是返回 WebFlux。

我发现了一个可以帮助我的老话题（无法在 React-Native 客户端中使用 Webflux 流式响应），但它没有一个单一的答案。好吧，它驱使我在某个地方读到 React 可能不符合 Reactive 但这是一篇非常古老的帖子。

从互联网上获取样本，如果您查看https://developer.okta.com/blog/2018/09/25/spring-webflux-websockets-react基本上您会发现：

WebFlux 产生 Json 但不流式传输：

反应消耗 json：

我尝试过类似的方法，但有两个显着区别：

我返回 MediaType.TEXT_EVENT_STREAM_VALUE 因为我相信我应该更喜欢返回流，因为我正在使用无阻塞代码，而不是返回 org.reactivestreams.Publisher 我知道返回 Webflux 更有意义，以便正确利用 Spring 5 +。

我的 Webflux 休息控制器：

结果显然是一个流，但不是 json（从 Postman 复制）：

该堆栈基于 MongoDb 和 Spring boot，但我不会在这里粘贴，因为它不相关。

反应

由于非常明显的原因，我收到“未捕获（承诺）SyntaxError：JSON 中位于位置 0 的意外令牌 d”：我没有返回有效的 json。

然后，如果我将 Webflux 控制器更改为生成 json（生成 = MediaType.APPLICATION_JSON_VALUE），其余控制器对我的回答既不是流也不是无阻塞代码的结果。

有了这样的答案，React 前端可以解析，但我知道我没有利用流媒体。有人可能会争辩说，这样简单的例子在流式传输中毫无价值，但我的学习目的实际上是集中在使用 webflux + react 消费流正确理解和编码。

最后，在阅读https://spring.io/blog/2017/02/23/spring-framework-5-0-m5-update之后，我更改了 webflux restcontroller 以生成 APPLICATION_STREAM_JSON_VALUE 并且我也尝试了 producer = "application/stream+ json”。对于这两种尝试，restcontroller 的答案似乎是一个 json 流，但 React 再次抱怨：

React 方面的错误：

总结一下：我没有发现如何从 React 消费一个 Webflux Restcontroller 产生 Json 流。

也许一个可能的答案是“通过使用这个库来改变 React 并以这种方式使用”或者答案是“编码 Webflux Restcontroller 以返回该格式”。顺便说一句，在阅读了我在 React + Webflux 主题下找到的所有示例后，我被卡住了。

换句话说，我的直接问题是：如何使用 webflux 端点从 React 生成 json 流？

我目前有一个 700M 的文件，当我尝试读取它时总是以内存限制结束（目的：使用 firestore nodejs sdk 将数据导入 FireStore）。

我尝试了以下库：

• json 流 ( https://github.com/uhop/stream-json )
• JSONStream ( https://github.com/dominictarr/JSONStream )

这是我的错误：

如果您有任何建议，我将不胜感激。

我正在使用 JSON 流解析一个大型 JSON 文件。这有效，但它逐行返回文件。因此，当我尝试重组数据时，我只能得到不重复的数据。

例如，这是结构：

我能够得到Test.id，或者Test.details.id但我只能得到Test.content每行的第一个。

我试图设置一个数组，但这仍然只得到Test.content.

除了使用 JSONStream 之外，还有其他方法可以转换大文件吗？

解析代码：

我有一个遵循这种格式的大文件。最初我尝试使用 JSONStream 在 javascript 中解析它并遇到了一些问题。我一直在试图找出一种方法来更改重复键，以便我可以更轻松地解析它。例如：不是content每个都会附加一个计数器 - content-1, content-2。这是一个非常大的文件，所以我无法手动执行，任何关于如何执行此操作或使用 js 重组的建议将不胜感激！