问题标签 [azkaban]

我在 Azkaban 中使用 shell 命令，并将 Sqoop 命令放在 shell 脚本中。

今天一个 Sqoop 任务无缘无故卡住了，sqoop_task1.

它发生在几天前的另一个 sqoop 任务上，我们称之为 sqoop_task2。

sqoop_task1并且sqoop_task2都是导入作业，从 MySQL 到 Hive，它们的源 db.table 和目标 db.tabla 是完全不同的。但问题是一样的。这是日志：

在其类路径被打印之后或期间，它被卡住了。

有没有人遇到过这个问题？

HDFS我的目标是通过 Azkaban在昨天日期的目录上创建一个文件。command文件中的*.job内容如下：

该hadoop fs -touchz命令可以正确运行，Linux但Azkaban说它是错误的：

如何解决？任何帮助表示赞赏。

有一种方法可以指定作业中的重试，如下所示

假设我们有 10 个项目 - 我们需要对所有 10 个项目中的第 3 行和第 4 行进行硬编码。有什么办法可以开启默认的重试机制，这样就可以默认继承到所有项目。

我有一个使用 spark-submit 脚本手动运行的 Spark Streaming 作业。我想安排它每天运行。

Azkaban、Airflow、Oozie、Crontab、Spark-jobserver、Quartz 或 Luigi 哪个更好。

任何建议表示赞赏！

鉴于以下 Azkaban 配置有 1 个包含 3 个作业的流，我如何默认禁用 Job2？是否有参数/配置？

我知道我可以进入 UI 并手动禁用该作业。但是，我希望默认禁用 Job2，并且可能仅在需要时从 UI 启用它。

我计划使用 Azkaban https://azkaban.github.io/来运行批处理作业。根据 CI 的想法，我们几乎没有开发、测试、阶段、生产等环境，当然工作应该为每个环境有不同的配置。

根据 Azkaban 文档http://azkaban.github.io/azkaban/docs/latest/#job-configuration Azkaban 允许在找到 ${parameter} 时替换参数。解决方案如下：

稍后在每个环境中，我们都可以覆盖env变量。从我的角度来看，这个解决方案看起来很奇怪。我可以告诉 Azkaban 在环境中应该使用哪个属性文件吗？

最好的方法是什么？

我刚刚发现了 Azkaban，我想知道是否可以在项目视图中的工作/流程旁边放置一些描述？

（请参阅此图像以获得更准确的信息）

用例：

1. Azkaban 开始 Spark 工作
2. 火花作业以某种方式失败

预期结果：

Hadoop ResourceManager 表示作业最终状态为 FAILED

实际结果：

Hadoop RM 说作业的最终状态是成功的

有人知道如何解决吗？

执行流程时出现以下错误。

我更改了 azkaban.properties 中的一些行。

azkaban使用 azkaban-solo-server。

由于 上的作业太多Azkaban，我不得不手动一一测试新作业。

假设我上传了一些新作业，是否可以编写一个Python（或任何其他语言）脚本来获取这些作业之间的依赖关系，然后并行运行Azkaban 它们？

例如，有工作a, b, c和b家属a。他们应该安排如下：

1. 开始运行作业a 和作业c

2. 作业 a 完成后，开始运行作业 b。

Azkaban我在官方网站上没有找到任何有用的信息或 API （也许我错过了有用的信息）。

任何帮助表示赞赏。