问题标签 [oozie-workflow]

我正在使用 Apache Oozie 来安排一些 Apache Spark 应用程序。我阅读了更多关于 Oozie 的文档并创建了一些计划作业的示例。我意识到所有工作流都包含 jobTracker 和 nameNode 属性。为什么 Oozie 需要其中 2 个。如果我没有 jobTracker 属性（它指向纱线资源管理器）。这是怎么回事？任何人都可以为我解释一下吗？谢谢！

当我与 OOZIE REST API 讨论特定的工作流程时，

我得到这样的回应，

有谁知道这个'lastModTime'到底是什么？

我想监视我今天运行的作业，我不确定“lastModTime”是否是用于此目的的正确字段。

我确实对 Kerberos 凭据有疑问。这项工作基于集群，并且在每个数据节点上都提供了密钥表。基本上它是一个 oozie 工作流 shell 操作，其目的是通过 spark 作业写入 HBase。如果作业在没有 oozie 的集群模式下运行，它会按预期工作。但是对于 oozie，它会抛出一个异常，如下所示：

oozie shell 动作如下所示：

submit.sh 文件的 spark-submit 命令如下所示：

我通过查询在 Oozie 编辑器中创建的工作流来更新 impala 表。（但谁在乎呢？只是“我更新表格”。

而且，在工作流程结束时，您需要运行“刷新”。但我不知道该怎么做。我需要非 bash 方法。

Oozie 可以自己执行 impala-ddl 吗？

我正面临 oozie-5.0.0 的以下问题。

我的 oozie 工作流有一个 java 动作，它被同一个 oozie 启动器执行了两次。

我发现这种情况正在发生，因为 oozie 启动器被分配了 2 个纱线容器，每个容器调用 java 操作，从而执行重复的操作。

只想知道如何避免重复操作被执行。

我们知道第一个 oozie 运行一个 hadoop 作业，并使用该作业运行其他 hadoop 应用程序。因此，我想找到由 oozie (hadoop) 作业运行的那些 hadoop 应用程序（例如 application_231232133）的列表。目前没有这样的 api 或命令。

当我使用 sqoop export 命令将数据从 hive 导出到 mirosoft sql server 时，在 ambary-views 中使用带有 hcatalog 的 sqoop actin 时遇到问题。

以下命令在 shell 中正确运行，效果很好。

但是当我在 oozie 工作流程中使用此命令创建 sqoop 操作时，出现以下错误：

为了解决此错误，我执行以下操作：

• 在workflow.xml所在的文件夹下，我创建文件夹lib并将来自sharedlibDir的所有配置单元jar文件（/user/oozie/share/lib/lib_201806281525405/hive

我的目标是做到这一点，组件识别 hcatalog jar 文件和类路径，所以我不确定，也许我不应该这样做，并为这个错误做不同的解决方案

无论如何，在这样做之后，错误已更改如下：

版本：

HDP 2.6.5.0

纱线 2.7.3

蜂巢 1.2.1000

sqoop 1.4.6

oozie 4.2.0

请帮我解决错误和问题以及为什么 sqoop 命令在 shell 中正常工作但在 oozie 工作流程中有错误？

我正在尝试在 oozie 中执行 sqoop 操作，但 /user/oozie/share/lib/sqoop 中不存在 mysql-connector-java.jar，因为没有权限我现在无法添加 jar，
是有任何方法或解决方法可以在 workflow.xml 中包含 mysql-connector-java.jar

我已将 jar 放在 sqoop 应用程序 / lib 目录中，但它不起作用

我有 oozie 4.2.0 HDP 版本，我想对我的 spark-action 和 shell action 使用“Max-retries”。当我在 ERROR 状态后提交工作流时，它会进入 USER-RETRY 状态，然后再次重试。当我查看该操作的 oozie -info 时，它给我的重试次数为“0”。

我寻找“-重试”，但它在 5.x.xversion 中可用。

有什么方法可以让我查看重试次数吗？

我有这个规范的准系统 Oozie 协调器：

它在计划的标称开始时间附近启动了工作流作业。但后来，日志显示工作流作业进入失败状态。为了检索工作信息，我运行了：

它提供了有用的信息，包括以下异常跟踪：

不幸的是，这个堆栈跟踪——显然是由它产生的SparkSubmit——并没有说明为什么我的工作流作业（一个 Scala 程序）实际上失败了。

这似乎是一个足够常见的场景——工作流逻辑失败并触发它自己的堆栈跟踪。

在 Hadoop / Oozie / Coordinator / Workflow 设置中是否有其他地方可以查找此类堆栈跟踪？