问题标签 [oozie-workflow]

尝试从 oozie 运行 spark 作业。下面是我试图运行的代码。

我收到以下错误：

这是我的工作流 xml 文件

我正在使用 Hortonworks 数据平台 2.5。如果我在类路径中遗漏了一些东西，任何人都可以帮忙。

提前致谢。

我正在尝试使用 Rest API 获取特定作业的工作流信息。

这将与 oozie_job_1 一起返回所有作业。我想以某种方式过滤仅显示给 oozie_job_1 的信息。

我也尝试过使用 http://xxxxx:11000/oozie/v1/jobs?filter=appName%3Doozie_job_1 ，但这会引发错误。

我是 Oozie 的新手。我有几个关于 oozie 作业调度的问题。

1. 我们能否使用某种编程方法获得在 ozzie 服务器上安排的用于日常运行的作业列表？考虑到每天有多个工作计划运行，可能是接下来的几个月或一年。

2. 如何以编程方式知道计划的作业在一天结束时未能运行以进行报告？

3. 我们可以根据执行时间对 oozie 计划作业进行排名吗？

非常感谢您对此的任何帮助。

当我使用 oozie 运行 sqoop 时，请给我一个建议我遇到了上面的错误

如何在执行类似于在操作之前删除的准备标记的操作后删除 hdfs 路径。

我开发了一个 spark scala 应用程序并将 log4j 用于记录器，当我使用 spark-submit 执行它时工作正常，如下所示：

工作正常，我在 log4j.properties 的指定目录中创建了我的日志文件。

现在，当我使用 Oozie spark action 运行相同的操作时，不会创建 log4j.properties 中提到的特定目录中的日志文件。

log4j.properties：

Oozie 工作流程：

使用 oozie spark action 执行时，您能帮我获取在日志目录中创建的自定义日志吗？

我可以使用 shell 动作并使用 spark-submit ，但我更喜欢 spark 动作本身。

我们已在 Oozie 工作流作业下方提交。它在 Windows 集群中执行，但在 Linux 中失败。

但是当我执行上述工作流文件时，它抛出的异常无法运行java程序。没有这样的文件或目录。

我正在尝试使用 Oozie 在我的猪脚本之前执行一个 shell 脚本。据我所知，我做的事情和我能找到的每个例子都是一样的。我的行动是：

但我不断收到错误：

我不明白为什么会这样。请帮忙

我有一个运行多个协调器的包。当这些协调器中的一个（和特定的一个）运行时（每天按时间安排的工作流程），没有其他协调器必须启动。有没有办法推迟或取消所有其他协调员，直到这个协调员完成？

例子：

• C1：每天 06:00 运行一次。必须一个人跑！
• C2：每 15 分钟运行一次（大约需要 5 分钟完成）
• C3：每天 04:00 运行一次（可能需要 2 多个小时才能完成）

我需要的是：

• C1 仅在 C2 和 C3 未运行时启动，否则等待其完成启动
• C2 仅在 C1 未运行时启动，否则自行取消

如果不可能，是否有解决方法？

我正在尝试获取上次更新日期大于现有数据的数据。

我为此创建了一个 oozie shell 脚本，但脚本失败了。谁能建议我如何做到这一点。提前致谢。