问题标签 [ndjson]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
66 浏览

json - 使用 filebeat 将 Json 数据提取到 Elastic Search 中

我试图将json文件中的数据导入elasticsearch,但是我的filebeat在filebeat.yml中有配置问题或者输入有问题因为我的json是常规json,但是filebeat只支持ndjson,

文件节拍.yml

json输入

  1. 如何将 JSON 转换为 ndjson?
  2. 我的filebeat有什么问题

节拍中显示的日志

0 投票
1 回答
27 浏览

python - 有哪些方法可以从 ndjson 格式构建这个半结构化数据帧?

(这不是真实数据)

我从 Rest API 请求了类似的数据。然后,我能够将一些数据转换为 .ndJSON 格式(lines = True);但是,地址列仍然以类似于 Python 字典的 ndjson 格式结构显示。我的目标是拥有以下列: 第 1 列 | 街道地址 | 城市 | 状态 | 邮政编码 | 邮政编码 | 生日 |

这是第一行:

& address &birthDate & deceasedBoolean & \ 0 & {[}{'city': 'MURFREESBORO', 'line': {[}'9999 Candy Cane Island'{]}, 'postalCode': '39999', 'state' : '56'}{]} & 11/10/2081 & 0 & \

在此处输入图像描述

0 投票
2 回答
33 浏览

python - 如何将此列转换为多列?

我的熊猫数据框看起来像这样:

ID 地址
1 [{'city': 'MURFREESBORO', 'line': ['9999 Candy Cane Island'], 'postalCode': '39999', 'state': '56'}]
2 [{'city': 'LIKELAND', 'line': ['11111 WS 80RD ST'], 'postalCode': '71398', 'state': '99'}]
3 [{'city': 'CHASS', 'line': ['36 LONDON LN'], 'postalCode': '269235', 'state': '35'}]

如何将此列转换为多个列以使其看起来像这样?

ID 城市 线 邮政编码 状态
1 默弗里斯伯勒 9999 拐杖糖岛 39999 56
2 莱克兰 11111 WS 80RD ST 71398 99
3 查斯 36 伦敦 269235 35

我尝试了多种不同的方法:

构建 DataFrame 的数据:

0 投票
0 回答
8 浏览

python - 如何将此 ndJson 格式拆分为具有相似名称的多个列?

我无法解析这种 ndjson 格式。

我试过这样做:

我的专栏是这样的:

标题 1
{'coding': [{'code': 'MC', 'display': "Patient's Medicare number", 'extension': [{'url': 'https://bluebutton.cms.gov/resources/codesystem/ identifier-currency', 'valueCoding': {'code': 'current', 'display': 'Current', 'system': 'https://bluebutton.cms.gov/resources/codesystem/identifier-currency'} }], '系统': 'http://terminology.hl7.org/CodeSystem/v2-0203'}]}
代码 编码.显示 网址 值编码.code 值编码显示 价值编码系统 编码系统
0 投票
1 回答
43 浏览

python - Python循环遍历ndjson文件数据

我有ndjson档案Patients.ndjson

我正在打开 ndjson 文件并尝试遍历字典以选择所有患者的id, birthDatedeceasedDateTime

读取 ndjson 文件的 Python 代码

Html 模板 这个 for 循环显示 html 页面中的所有项目和值。

我如何只从给定的字典中选择特定的值idbirthDatedeceasedDateTime

0 投票
1 回答
33 浏览

python - 如何使用 pd.json_normalize() 遍历 pandas df 中的所有列?

我有一个看起来像这样但有 20 列的 pandas df。我想编写一个循环遍历所有列并将它们标准化。我很难理解循环。

这就是循环或函数将执行的操作,而无需编写 20 行相同的代码和 n+1 的索引。

0 1 2
{'type.coding': [{'code': 'https://bluebutton.... {'type.coding': [{'code': 'https://bluebutton.... {'type.coding': [{'code': 'https://bluebutton....

预期的输出是这样的:

类型编码 usedMoney.currency usedMoney.value
[{'code':'https://bluebutton.... [{'code': 'https://bluebutton.... [{'code': 'https://bluebutton....
0 投票
0 回答
14 浏览

python - 有没有更快的方法从 python 中的 Rest API 读取 ndjson 文件?

我正在从 Rest API 中提取数据,而 Jupyter Notebook 一直需要永远运行或返回内存错误。昨天花了一段时间加载但工作。现在它根本不起作用。

0 投票
2 回答
27 浏览

python - 在python中更新json对象文件中的值

我有一个文件,文件的每一行都是一个 json 对象。例如:

我想做的是对文件进行逐行搜索。如果值等于搜索到的参数,则更新对象中第二个键的值。例如,如果搜索到的值为 value1,我想将该对象的 city 值更新为参数。这是我到目前为止所拥有的:

当前代码成功识别 test_name 是否与搜索到的参数匹配,但无论是否更新该值,它都会在文件末尾附加一个新的字典条目。