问题标签 [oozie-workflow]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
1042 浏览

hadoop - Oozie:工作流:如何获得最后一个成功的操作

如果我的 oozie 工作流程中的任何操作失败,我正在尝试发送电子邮件警报。如何获取失败的操作,或者有什么方法可以查看工作流 DAG 中最后一个成功的操作名称?

0 投票
0 回答
178 浏览

hadoop2 - 如何在 oozie 中提取工作流操作名称

我有很多 java 动作。我必须提取动作名称。是否有任何 EL 函数来提取动作名称?

0 投票
1 回答
2235 浏览

oozie - Oozie 工作流警告 - “应用程序未在其 XML 定义中定义形式参数”

org.apache.oozie.util.ParameterVerifier 警告“应用程序未在其 XML 定义中定义形式参数”的含义是什么?

0 投票
1 回答
856 浏览

hadoop - Hortonworks Oozie Spark 动作 - NullPointerException

我正在使用oozie 4.2.0在HDP 2.5.3上运行。火花动作设置为在纱线客户端模式下运行。Spark Job 用于从 hive 表中获取数据,对其进行处理并将其存储在HDFS中。但是当我尝试从Spark Action提交 Spark Application 时,我得到了.NullPointerException

工作流.xml

例外:

我不知道我在哪里做错了..我是否需要添加任何配置 xmls 以外的hive-site.xml

0 投票
1 回答
5951 浏览

hadoop - OOZIE:发生连接异常 [java.net.ConnectException Connection denied (Connection denied)]

我正在尝试借助 URL 执行 Oozie 作业:https ://www.safaribooksonline.com/library/view/apache-oozie/9781449369910/ch05.html

执行时 oozie job -run -config target/example/job.properties

得到错误为:

任何想法; 为什么连接被拒绝?

0 投票
0 回答
184 浏览

oozie - 所有 oozie 动作都在 DataNode 中运行吗?

我刚刚开始使用 oozie,我了解架构(oozie 客户端、服务器和 oozie 服务器向 Yarn 提交作业。)我看到我们有不同的 oozie 操作 - java action、ssh、discp、shell 等所有这些操作都没有涉及在数据节点中的 hadoop 集群(即)内运行的 mapreduce 或大数据处理?

0 投票
1 回答
1670 浏览

apache-spark - oozie 工作流在特定队列上触发启动作业

我有一个 oozie 配置:

map-reduce 作业在我想要的队列上执行。但火花作业仍默认执行。是否有允许我设置它的属性?

0 投票
1 回答
1538 浏览

apache-spark - 在 Oozie-Spark 动作中添加多个罐子

我正在使用 HDP2.6。oozie 4.2 安装在哪里。和 Spark2。

在我在此站点上跟踪 Hortonworks 指南后:https : //docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.1/bk_spark-component-guide/content/ch_oozie-spark-action.html 为 Spark2 添加库4.2. 版本的 Oozie。

在我使用此插件提交作业后:

我得到的错误是:

我已经读到,由于 Spark 处理分布式缓存中找到的多个文件的方式发生了变化,因此新的 Spark2 将无法与 Spark 2.1 一起使用(无论如何通过 oozie),如此处所述:请参见此处

请记住,我使用的是 Ambari 和 HDP2.6。我该如何处理?

0 投票
2 回答
275 浏览

hadoop - 如何在 Oozie 工作流程中使文件可选?

假设我有一个工作流操作,如果它存在,我需要从 hdfs 获取和使用文件,但否则不会失败。有没有办法在工作流配置中做到这一点?

所以,如果我有这样的事情:

只要该属性文件存在于正确位置的 hdfs 中,它就可以正常工作,但如果不存在,则工作流程将失败。如果文件不存在以从 HDFS 复制,有没有办法让它不失败?一种从 workflow.xml 中使文件可选的方法?

0 投票
1 回答
52 浏览

hadoop - Hadoop Oozie MapReduce 操作自定义分区器

如何在 oozie 工作流 XML 上为 MapReduce 操作配置自定义分区器?我尝试使用: