问题标签 [azkaban]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
97 浏览

hive - java.lang.NoSuchMethodError:org.apache.hadoop.hive.ql.exec.Utilities.addToClassPath

我使用 CDH 6.3.2 蜂巢作业,出现错误

我已经修改了 azkaban-exec/bin/internal/internal-start-executor.sh

否则我会得到一个错误“线程“主”java.lang.NoClassDefFoundError:org/apache/hadoop/conf/Configuration中的异常”

我的 commonprivate.properties

0 投票
0 回答
21 浏览

java - 在 Azkaban 流程中禁用子作业

我正在尝试禁用作为 Azkaban 流程一部分的作业,该流程本身是另一个流程的子流程,即。参考在执行流程Parentflow > Childflow >> Job_To_Disable时可以根据 Azkaban 文档传递的禁用参数,我可以完全禁用子流程,但不能完全禁用子作业。我使用的示例代码如下:

也试过做

我正在尝试使用 Java 代码实现以下选项,但无法这样做。

0 投票
0 回答
29 浏览

cron - 将上一份工作的状态传递给阿兹卡班的下一份工作

我有一个场景,当 azkaban 作业失败时,我必须运行一些脚本。我正在考虑有一个后续工作,它可以根据以前工作的状态运行脚本。

示例:Flow -> Job-a(主要作业)-> Job-b(检查 Job-a 是否成功运行,在失败情况下它运行一些脚本)。

谢谢

0 投票
0 回答
10 浏览

hadoop - Azkaban Scheduler - 作业处理栏显示错误,无法更新作业状态

我有一个流程包括几个工作。每个作业都是执行一个 shell 脚本,我在每个作业中都放了退出代码。

但是,如果有任何作业失败,正在运行的作业将保留running并显示异常,例如:

在此处输入图像描述

如上图,运行作业的处理栏。

实际上,一些正在运行的作业已成功完成并以状态码 0 退出: 在此处输入图像描述

或者一些正在运行的作业根本没有日志:

在此处输入图像描述

此执行已被标记为FAILED...

在此处输入图像描述

我选择了Finish all possible。但是有了这个问题,依赖于正在运行的作业的其余作业将永远不会启动。任何帮助表示赞赏。

0 投票
0 回答
25 浏览

jmx - 如何对作业/流执行设置 Azkaban 时间序列监控

我想使用诸如OpenTSDB之类的有关作业和流程执行的时间序列统计信息来监视我的Azkaban工作流管理器。我发现 Azkaban 提供了JMX指标,这些指标可以通过一些导出器收集并用于监控。我是 jmx 相关术语的新手,我试图找到解决方案,但找不到以下任何信息-

  1. 如何为 Azkaban 启用 jmx 报告?
  2. 如何为 Azkaban 选择 mBean?应该是jconsole还是实现mBean接口?
  3. 以上方式对Azkaban执行服务器的性能有影响吗?

请帮忙。谢谢!

0 投票
0 回答
36 浏览

java - Azkaban:无法发送通知邮件

我无法从 Azkaban 作业调度工具发送电子邮件通知。

这是我的配置(不能透露电子邮件信息):

错误:

0 投票
0 回答
12 浏览

azkaban - 为什么从 azkaban 上传文件时会出现文件大小错误?

我 git clone azkaban 最新版本,并构建它们。

并且服务器是使用 /azkaban-solo-server/bin/start-solo.sh 执行的。

我制作项目,并上传配置作业的 zip 文件。

但错误打印如下:

我的配置有什么问题??

0 投票
0 回答
18 浏览

apache-spark - Kafka Admin Client 为 ListTopic 提供超时错误

嗨,我正在尝试在其中运行此代码,但它在另一个 EC2 Azkaban 实例中运行良好,但在另一个实例中没有给出以下错误。

“Kafka Exception java.util.concurrent.ExecutionException:org.apache.kafka.common.errors.TimeoutException:等待节点分配超时。调用:listTopics”