问题标签 [google-cloud-data-fusion]

我正在尝试通过使用云数据融合将 xml 文件加载到大查询数据接收器中。我无法加载这个特定的 xml 。

我们有一个需要连接到 AWS RDS 以从中提取数据的 Google Cloud Data Fusion 实例。唯一的问题是我们无法将端口 1433 列入白名单以连接到 Google Cloud Data Fusion。我们如何让 Google Cloud Data Fusion 与 AWS RDS 交互，而不将端口 1433 全局列入白名单？

我创建了一个自定义插件，要上传到基于 CDAP 平台的 Google Cloud Data Fusion 平台。我遵循了开发和部署插件的说明，但是当我尝试将相应的 Json 配置文件（由 IntelliJ 本身通过 CDAP Maven 工件生成）与以下错误相关联时，上传失败：

如果我删除对父工件的引用，则会加载自定义插件，但它既不会显示为批处理插件，也不会显示为流插件（我可以理解这一点，我正在删除父引用）。可能是什么错误？

如何访问 Cloud Data Fusion 实例的 CDAP REST API？我想使用 Cloud Composer 来编排我的管道。

我有一个启用了私有 IP 的企业版实例，但我找不到任何有关如何访问 REST API 的文档。

实例详细信息页面仅显示 /22 IP 地址范围 - 它未指定特定 IP。我是否使用 UI 的受 IAP 保护的 URL 访问？

我已经为 Google Data Fusion 上的 CDAP 平台开发并成功部署了一个自定义批处理源插件。该插件有时在预览模式下工作，但当我部署管道时总是失败，并出现以下错误：

我认为该错误具有误导性，因为该错误源自插件内的以下代码：

特别是有罪的线是d.write("numberOfRecords", Long.toString(config.numberOfRecords));。如果我删除这一行，插件可以工作，但显然不会运行transform插件的一部分。

我没有想法，预览模式下的行为似乎不稳定，而且文档（如果有的话）真的很少说最好的。我该怎么做才能让它发挥作用？

我正在尝试使用 Google Data Fusion Free 版本将一个简单的 CSV 文件从 GCS 加载到 BQ。管道因错误而失败。它读到

Mapreduce 和 Spark 执行管道重复相同的错误。感谢解决此问题的任何帮助。谢谢

问候 KA

有没有办法将压缩文件与云数据融合一起使用。我使用 Google Storage 作为源，并在首选位置放置了一个 gzip 文件。

在牧马人转换中，我没有看到预览。当我尝试使用选择数据选择文件时，未突出显示压缩文件。当我使用未压缩的文件时，这些步骤工作正常。

我应该在争吵之前使用一些变换吗？有没有办法可以直接读取压缩文件并预览数据。在数据准备中，转换根据扩展名识别文件，但是，在数据融合中，似乎没有这样的选项。

我用的是基础版的数据融合环境，企业版有用吗？

I am trying to read a csv file in cloud datafusion. The csv file uses a multi-character (i.e. ~^~)delimiter. When i try to parse the column using a custom delimiter the tool only considers the first character and splits the file accordingly. I end up with more columns than what is required, plus since the data may have the character even the split is not perfect.

I tries using several patterns not just the one mentioned above, but each time its the same result

How do i parse files where the data is delimited using a multi-char delimiter. Is there a setting that can be used. Is there a separate transform that can be used to parse the file before using the wrangler?

In the assignment i am working on i an limited to use only cloud data fusion as my etl tool

我正在尝试使用 GCP Data Fusion Wrangler Plug-in 使用 table-lookup 指令执行一些查找操作。该指令有一个要由查找引用的关联表，该表必须是表类型的数据集。我的疑问是如何在 GCP Data Fusion 中定义或摄取表，可以通过 hte table-lookup 指令正确识别。

我正在部署一个数据融合管道，该管道从 elasticsearch 的索引中获取数据并将该数据加载到 bigQuery 表中。Pipeline 仅包含到 BigQuery 连接器的 elasticsearch 插件连接器。当我运行管道时，它会生成以下错误。错误的来源是

实际错误是

我该如何解决这个问题？