google-cloud-data-fusion - 自动检测数据融合中 HTTP 插件的嵌套 json 响应

Question

我正在尝试在数据融合中使用 HTTP 批处理源插件调用 HTTP GET API。API 的响应是一个复杂的动态嵌套 json，因此我无法手动指定输出模式。有没有办法克服这个问题。

提前致谢！

Answer 1

查看解析嵌套 JSON事件的 CDAP 文档，您可能会发现此插件纯粹使用JsonPath库进行 JSON 键值提取，并使用大量表达式，这对于动态键 JSON 解析可能是合理的：

用于解析任何 JSON 的“根成员对象”称为 $，无论它是数组还是对象。它还使用点符号或括号符号来定义解析级别。例如：$.employee.name 或 $['employee']['name']

您始终可以参考JSON 路径CDAP 指令指南来熟悉专用函数和运算符来管理动态数据的过滤。