问题标签 [ndjson]

我想在 Pharo Smalltalk 上使用NeoJSON解析ndjson（换行符分隔的 json）数据。

ndjson 数据如下所示：

目前，我将文件流转换为字符串，将其拆分为换行符，然后使用 NeoJSON 解析单个部分。这似乎使用了不必要的（并且非常巨大的）内存和时间，可能是因为一直将流转换为字符串，反之亦然。什么是完成这项任务的有效方法？

如果您查找示例数据：NYPL-publicdomain: pd_items_1.ndjson

我正在尝试将 ndjson 文件导入 Navicat 或 Bigquery。

似乎都没有允许“字符串数组”的选项

有什么办法可以做到这一点？或者是否有其他工具可以做到这一点。JSON Value UUID string databaseID integer title string alternativeTitle array of strings contributor array of objects contributor.contributorName string contributor.contributorType string contributorRole array of strings contributor.contributorURI string date array of strings dateStart string dateEnd string language array of strings description string note array of objects note.type string note.text string subjectTopical array of objects subjectTopical.text string subjectTopical.URI string subjectName array of objects subjectName.text string subjectName.URI string subjectGeographic array of objects subjectGeographic.text string subjectGeographic.URI string subjectTemporal array of objects subjectTemporal.text string subjectTemporal.URI string subjectTitle array of objects subjectTitle.text string subjectTitle.URI string resourceType array of strings genre array of objects genre.text string genre.URI string identifierBNumber string identifierAccessionNumber string identifierCallNumber string identifierISBN string identifierISSN string identifierInterviewID string identifierPostcardID string identifierLCCN string identifierOCLCRLIN string physicalDescriptionExtent array of strings physicalDescriptionForm array of strings publisher array of strings placeOfPublication array of strings collectionUUID string containerUUID string collectionTitle string containerTitle string parentHierarchy string numberOfCaptures integer - string captures array of strings digtalCollectionsURL string

我正在谷歌云平台上开发一个原型，我正在使用云存储、appengine 和 bigquery。

现在，其中一项任务是每天从谷歌云存储加载一个文件到我在 Appengine 上使用 Cron 任务的 bigquery

问题是 bigquery 期望数据采用 NDJSON 格式。（新行分隔的 json），而我的源文件是普通的 JSON 格式。

目前，我将文件下载到我的笔记本电脑并将其转换为 NDJSOn，然后上传到 bigquery，但我如何在谷歌云平台上以编程方式执行它？我希望有一些可用的东西我可以使用，因为我不想从头开始写。

我有一个包含在线日志数据的原始和低级文本数据文件。我需要整理这些低级原始数据并将整理后的数据导出到 .csv 文件中。

示例原始数据如下所示。在数据中，evendid是一个列名，0f3f98c7-1cee-4c1a-bc9219b是它的字段值。同样，visitiorid也是一个列名，“01546981644d001e0f99d341182e”是它的字段值。所以，我们可以看到，列名和字段值用：（冒号）分隔，每列用,（逗号）分隔。一条记录以大括号 { 开头，以大括号 } 结尾。此外，每行/记录包含 120 到 167 列的值。但有些列可能包含空值。所以，我想编写一个程序来安排/清理 .txt 文件中的这些数据并写入 .csv 文件。任何想法和支持将不胜感激。

我有一个 320 行的数据框。我用 pandas 将其转换为 ndjson：

然而，在加载数据时，我只获得了 200 行。

给 200

也给200

只有用 pandas 重新加载它才能给出正确的行数：

我的数据集包含\n字段中的字符。当我用 python 或 spark 加载记录时，我期望有更多或更多的行。

该方法有什么问题pandas.to_json？

我已经阅读了 Mike Bostock 关于命令行制图的优秀教程，我对他使用他的 ndjson-split 实用程序感到困惑。该程序用于拆分 json 文件中的对象数组，将数组中的每个对象放在一行中。（参考：https ://github.com/mbostock/ndjson-cli ）

在本教程的第二部分 ( https://medium.com/@mbostock/command-line-cartography-part-2-c3a82c5c0f3#.624i8b4iy ) Mike 在 geojson 文件上使用 ndjson-split：

他解释说：

这里的输出看起来与我们之前看到的 ca-albers.json 非常相似；唯一的区别是每行有一个要素（一个人口普查区）。

但是，似乎还有另一个很大的不同。新文件不包含原始文件中的所有数据。具体来说，原始 JSON 对象的开头{"type":"FeatureCollection" ...已经消失。

Mike 没有解释为什么 geojson 文件中不需要这个额外的密钥（生成的文件可以正常工作）。

有谁知道为什么？有效的geoJSON不需要这个密钥吗？

我从最近开源的 Google Quick draw 数据集中获得了这个 ndjson 文件。我正在尝试用这个坐标制作 png 图像。我需要在 python 中解析这个 ndjson 文件

Is it possible to serialize to NDJSON (Newline Delimited JSON) using Json.NET? The Elasticsearch API uses NDJSON for bulk operations, and I can find nothing suggesting that this format is supported by any .NET libraries.

This answer provides guidance for deserializing NDJSON, and it was noted that one could serialize each row independently and join with newline, but I would not necessarily call that supported.

I have a stream of JSON arrays like this

I want to use jq to get a new json like this

34=1+3+13+12+5 which are in the second array. I don't know how to describe it in detail. But the basic idea is shown in my example. I use bash and prefer to use jq to solve this problem. Thank you!

我花了一些时间尝试修复弹性搜索批量上传警告：

不推荐使用休息请求的内容类型检测。使用 [Content-Type] 标头指定内容类型

我的要求如下：

我的有效回复为 200 状态如下：

通过试验，我发现问题出在内容类型字符集定义中Content-Type: application/x-ndjson; charset=utf-8，如果我将其更改为，Content-Type: application/x-ndjson我不会收到任何警告。

是弹性搜索问题还是我错误地形成了请求？