hadoop - HDFS 文件 FTP 从集群到另一台机器

Question

我想创建一个 Oozie 工作流来将 HDFS 文件从 HDFS 集群传输到另一台服务器。

由于 Oozie 可以在系统中的任何节点上运行命令或脚本，是否可以在其中一个节点上运行 shell 脚本或 SFTP 并将文件传输到目标服务器。

Answer 1

我认为这项任务可以通过从远程服务器对 HDFS 文件执行 http GET（打开操作curl）来轻松完成（您可以使用它）。

无论如何，如果你想通过 Oozie 来做，我认为你可以创建一个脚本来负责将所需文件从 HDFS 移动到本地文件系统，然后执行一个scp以便将本地文件系统内的文件移动到远程文件系统。