google-cloud-data-fusion - 关于google数据融合的一些问题

Question

我正在发现该工具，但我有一些问题：

- （Source，Sink）中的文件类型到底是什么意思， - 是否也可以将管道的结果直接发送到FTP服务器

我检查了文档，但没有找到此信息

谢谢你

Answer 1

简短的回答：文件是指管道运行的文件系统。在 Data Fusion 上下文中，如果您使用文件接收器，则内容将写入 Dataproc 集群上的 HDFS。

Data Fusion 具有可用于写入 SFTP 的 SFTP put 操作。这是一个如何从 GCS 写入 SFTP 的简单管道。

第 1 步：GCS 源到文件接收器 - 当管道运行时，这会将 GCS 的内容写入 Dataproc 上的 HDFS 第 2 步：SFTP 放置操作，该操作将文件接收器的输出并上传到 SFTP。

您需要将文件的输出路径配置为与 SFTP 中的源路径相同