apache-spark - 在 oozie spark action 中获取 spark 变量

Question

我是 spark 和 oozie 技术的新手。我试图从 spark 中获取一些变量，并在下一个 oozie 动作中使用它。

在“决策”节点中，将调用 spark submit 并完成少量处理并生成一个计数器变量

例如：var counter = 8 from spark

所以现在我需要在下一个 oozie 动作中使用这个变量，即“采取决策”节点。

take decision
 [Decision ][counter]

当我用谷歌搜索时，我能找到一些解决方案

1. Write to hdfs
2. Wrap spark submit in shell and use <capture-output> 
(I am not able to use this as I use oozie spark action node)

还有其他方法可以做到这一点吗？

Answer 1

最好的方法是将值存储在 HDFS (Hive) 或 HBase/Cassandra 中，然后您的决策操作读取这些值。

如果您使用 shell 操作包装 spark-submit，如果您在集群模式下提交作业会出现问题，因为 spark-submit 作业到纱线集群并运行任何无法获得输出的节点。