问题标签 [cdap]

CDAP 文档中存在一个 HTTPS 运行后插件，可根据另一个管道（调度）的成功执行来触发管道启动。我正在尝试在 GCP Data Fusion 中使用此功能，但即使已安装该插件（因为我可以从控制中心看到它）似乎也不可用。

我还尝试按照文档中的说明手动安装插件HTTP Plugin v2.2.0， 但只有接收器和源操作。此外，如果我尝试使用该插件，则会显示错误

HTTP 属性 1.2.0（没有为插件找到 JSON 小部件。请查看有关如何添加的文档。）

此错误似乎与 Data Fusion 尝试使用版本 1.2.0（已安装的版本）和版本 2.2.0 的属性有关。

有关如何解决此问题的任何建议？

更新

我可以从控制中心看到两个版本的 http-plugin

但我无法设置版本

关于http插件的问题尚未解决，但我发现存在管道触发器以根据另一个管道的状态执行管道，此功能仅适用于企业版。

我想从 Google Cloud API 获取 BigQuery 架构，我在 GCP 中配置所有东西，我可以从邮递员那里获取信息，但是如何在 CDAP 中进行配置，这是我的配置：

我的 CDAP 版本是 6.2.0

我正在尝试进行 GET API 调用以获取特定的管道运行历史记录。API URL如下

此 API 调用需要我通过命令行获得的访问令牌 gcloud print-access-token 以上在基本版上运行良好

当我在企业版实例上运行它时，我收到以下错误

我需要关于如何成功调用此 CDAP API 的帮助。

我正在尝试在 Google Cloud Data Fusion 的牧马人中遵循自定义转换。

如果它是一个数组，我想将列解析为 JSON 的深度为 2，这意味着它是否以方括号 ([) 开头，否则深度为 1。我不确定parse-as-json指令中的冒号是否导致问题这里。

如果我将其更改为以下，则可以正常工作：-

我也试过parse-as-json用反斜杠转义指令中的冒号，仍然没有用。我在这里做错了什么？请建议。

除了 Argument Setter Plugin，还有其他方法可以在管道中设置运行时参数吗？例如，我计算了错误消息的总数，我想在运行时参数中设置，以便电子邮件发送者可以使用它？有人可以看看并帮助我。谢谢。

如何计算行数，例如我使用NullFieldSplitter插件将数据分成两部分，我想计算每一部分的行数。如何计算它？有人可以看看并帮助我，谢谢。

我正在尝试通过部署一个 Data Fusion 实例在不同项目中的 Data Proc 集群上执行管道，但我遇到了一些麻烦。Data Proc 实例似乎已正确创建，但作业开始失败。关于如何解决的任何想法？

这里是错误的堆栈跟踪

谢谢

我是一个返回多个 API 端点的 API，然后我需要点击这些 API 端点来获得结果。

我正在尝试在 Google Data Fusion 中实现此解决方案，但 HTTP 源和接收器一次只需要一个端点。

我怎样才能一个一个地点击多个 API？

我想知道如何获取 Data Fusion Pipeline 中的内置管道参数列表？

我无法在文档和互联网上的任何地方找到它们。

我在命名空间设置了一个运行时参数，即 business_date: ${logicalStartTime(yyyy-MM-dd)} 。我在我的管道中使用此参数，并希望在其他管道中使用相同的参数。背靠背有许多管道，我希望在第一个管道中计算后，整个管道的值都相同。假设该值计算为“2020-08-20 20:14:11”，一旦管道一成功，我将此参数传递给管道 2，但由于此参数是在命名空间级别定义的，因此当管道 2 启动时它会被覆盖。

我怎样才能防止这个值被再次计算？