问题标签 [cdap]

我有一个场景，我有 5 个管道，我想一个接一个地依次运行。有没有办法做到这一点。我尝试阅读文档，但不清楚。

提前致谢！

我有两个相互独立的数据融合管道。我想在一个管道作业中运行这两个管道，这两个管道都在上面（彼此独立运行）。这是可以实现的吗？谁能帮助我如何做到这一点？

我正在探索数据融合管道中的宏。我正在使用 HTTP Sink 插件并尝试为 {URL} 等 URL 选项启用宏选项。当我尝试部署管道时，它会引发以下错误。

无法配置管道：遇到阶段“示例管道”：URL“空”格式错误：空

请帮我解决这个问题。注意：除了 URL，其他所有选项都在 HTTP 插件中作为宏工作

我正在构建一个管道，该管道使用数据库插件连接到本地 Oracle 数据库，查询两个表 ( table_a, table_b)，然后使用 Joiner 插件连接这些表，然后再上传到 BigQuery 表。

我现在遇到的问题是，当我在数据库插件中使用时，要加入table_a的外键table_b具有不同的数据类型。Get Schema在 Joiner 中，我正在加入table_a.customer_id = table_b.customer_id.

table_a.customer_idis LONGbut table_b.customer_idis的dtype DOUBLE。在源 Oracle DB 中，两列实际上都是整数。但是，出于某种原因， usingGet Schema认为它们是LONGand DOUBLE。

我显然在 Joiner 尝试加入具有不同数据类型的外键时遇到错误。

有没有办法转换/转换表中的列以匹配，以便我可以使用 Joiner？

我已经看到了一些使用 Wrangler Transform 解析日期的示例，但我没有看到任何可以转换为任何其他数据类型的内容。我也找不到任何指令示例：https ://github.com/data-integrations/wrangler 。

我尝试将自定义 jar 上传为 cdap 插件，但其中几乎没有错误。我想删除那个特定的插件并上传一个新的。它的过程是什么？我尝试查找文档，但信息量不大。

提前致谢！

我正在尝试在我的数据融合实例中创建一个示例管道，作为我的项目 POC 的一部分。我正在使用 CDAP API 来自动创建管道。我在 GCP 中调用下面的 CDAP API 时遇到问题，

curl -H "授权：承载 $(gcloud auth print-access-token)" -w"\n" -X PUT "[My-GCP-Data-Fusion-Endpoint]/v3/namespaces/default/apps/MyPipeline" -H "内容类型：应用程序/json" -d @/home/saji_s/config.jason

config.jason 中的内容是，

{“名称”：“MyPipeline”，“工件”：{“名称”：“cdap-data-pipeline”，“版本”：“6.0.0”，“范围”：“系统”}，“配置”：{ . . . “连接”：[。. . ]，“引擎”：“mapreduce”，“postActions”：[。. . ]，“阶段”：[。. . ], "时间表": "0 * * * *", }, " ui ": { . . . } }

我收到类似“错误 400（错误请求）！！1”之类的错误

你能帮我吗，我只想在我的数据融合实例中创建一个示例管道，作为我的项目 POC 的一部分。

我正在尝试使用 Datafusion Bigquery Execute 执行存在 bigquery 的存储过程，即，正在从 Big query 执行 SQL 命令调用该过程。管道因 Null 异常而失败。Bigquery 是否仅执行以运行 SQL 命令而不是用于调用过程或功能。

谢谢，

当我尝试使用 datafusion（企业版）UI 上传自定义插件时，出现 502 bad gateway 错误。我尝试了多次，仍然遇到同样的问题。如何解决这个问题。以下截图供参考。

我知道数据融合是 CDAP 上的托管服务，但与 CDAP OSS（在 Google Marketplace 中）相比，当前的 6.1.1 企业版太慢了。配置 dataproc 节点大约需要 3 分钟（无论计算配置文件是什么），启动和运行模式大约需要 1.5 分钟，然后数据将开始流经节点。有什么方法可以优化这一点并提高速度吗？

我在 datafusion 中创建了一个新的自定义配置文件，现在我想删除它。删除按钮被禁用，我找不到其他选项来删除它。如何解决此问题