0

我们正在使用 Oozie 来安排 Spark 作业工作流。我们正在执行多个火花作业(在集群 YARN 上)。

其中一项工作是数据导入工作,我们将数据从 Linux 文件系统导入到 HDFS。

我们的问题是,当 oozie 调度作业时,集群中的任何节点都可以作为主节点工作,但数据仅存在于 node-1 上。

因此,我们要确保在运行 data-import-job 时始终将 node-1 作为主节点。

我们能做到这一点吗?

问候 Anuj Mehra

4

0 回答 0