google-cloud-platform - GCP 数据融合将多个数据从 Azure 存储传输到 Google 存储

Question

我正在尝试通过数据融合将目录下的多个（.csv）文件从 Azure 存储容器传输到 Google 存储（作为 .txt 文件）。通过数据融合，我可以成功传输单个文件并将其转换为 .txt 文件作为 GCS Sink 的一部分。

但是，当我尝试将 azure 容器下的所有 .csv 文件传输到 GCS 时，它会合并所有 .csv 文件数据并在 GCS 生成单个 .txt 文件。

有人可以帮助如何分别传输每个文件并在接收端将其转换为 txt 吗？

Answer 1

您看到的是使用 GCS 接收器时的预期行为。

您需要一个 Azure 到 GCS 复制操作插件，或更一般地说是一个HCFS到 GCS 复制操作插件。不幸的是，这样的插件还不存在。您可以考虑使用https://github.com/data-integrations/example-action作为起点编写一个。