问题标签 [azkaban]

我想将 Azkaban 用于定期 Hive 作业，我查看了 Azkaban 文档，默认情况下它似乎不支持 Hive 作业，你知道如何将这两者结合使用吗？

我认为，我必须将 Hive 工作作为 Azkaban 中可用的“指挥工作”来运行，但也许有人已经解决了。
我使用 Oozie 有一段时间了，但它不能满足我的需求。

谢谢。

我正在尝试在 azkaban 运行 hive 工作

我能够上传 hive 作业，但 hive 作业没有正确执行。

这是我的 plugin.properties 中的内容

这是我的 private.properties jobtype.classpath=$HADOOP_HOME/conf,$HADOOP_HOME/lib/*,$HIVE_HOME/lib/*,$HIVE_HOME/conf,/​​usr/lib/hive/lib jobtype.class=azkaban.jobtype。 HadoopJavaJob

我只在 executor 文件夹中添加了插件文件夹。

为什么没有检测到作业类型。请帮忙。

我对 Hadoop 非常陌生，尤其是对 Hadoop 作业调度。这是我想要做的。

我有 2 个流程，每个流程都有一个 Hadoop 作业。我可以自由地将这些流程放在同一个项目或不同的项目中。我不希望 Hadoop 作业在集群上同时运行，但我也想确保它们交替运行。

例如 flow_1（使用 hadoop_job_1）运行并完成 -> flow_2（使用 hadoop_job_2）运行并完成 -> flow_1（使用 hadoop_job_1）运行并完成等等。

当然，我也想优雅地处理特殊情况。例如 flow_1 完成了，但是 flow_2 还没有准备好，那么如果 flow_1 准备好了，它就有机会再次运行，如果 flow_1 失败，flow_2 仍然可以继续运行，等等。

我想知道我可以探索哪些调度程序能够做到这一点。

我们正在使用 MapR。

谢谢

这是我的 .job 文件

作业失败并出现以下错误：

我正在使用 Azkaban 2.5 和 cdh5

我正在尝试在“azkaban”数据库上构建一个查询层。（使用的语言：Java）我遇到了，我认为这是一个简单的问题（但结果很烦人）。

这是我正在运行的查询：

“log”是“longblob”类型的列

这是我用于读取“日志”的 Java 代码：

这里的问题是：在while循环结束时，我能够读取表中一行的“日志”，但字符串不可读（编码？）

例如：

我试图像这样修改查询：

“从 execution_logs 中选择 exec_id，转换（使用 latin1 的日志）”

但仍然是同样的问题。

我尝试了“utf8”，但是当我这样做时，我在 ResultSet 的“log”列中得到 NULL。

如果有人有此经验或知道如何解决此问题，请提供帮助？

与此同时，我会继续尝试。

谢谢

仍在尝试：我现在正在使用 xampp（只是为了进行快速原型制作）。

在 phpmyadmin UI 中，当我单击 blob 时，它会下载一个“.bin”文件。在 Mac 上，我可以按预期打开此文件并查看正确的“英文”单词（或英文日志）。

但是如何以编程方式做到这一点？

我一直在尝试（没有运气）一个简单的主题：访问 Azkaban 的“全局”运行时属性（据说可用于流程）。我已经尝试了所有正常和异常的方法来尝试从流中访问它们，但无济于事。有没有人有一个具体的例子（请不要“挥手”）我如何访问它们（甚至可能将一个打印到日志文件）？顺便说一句，在流程已经运行后从不同的程序访问它们不是问题（例如：REST API），但我想在运行期间获取它们，所以我可以创建日志等，（这种方法在运行时不起作用）。

谢谢！

该脚本由作业调度程序 Azkaban 每天执行，并且已经运行了一个多星期。但是昨天它意外地失败了。没有抛出异常，没有致命错误，也没有错误日志条目。我正在从 destruct 函数插入处理到数据库的记录计数，该函数运行良好，但显示仅处理了 7060 条记录中的 241 条。

我现在在哪里：

1. 如果调用了区域，则意味着没有未捕获的异常，也没有致命错误。
2. 处理到脚本的 241 条记录工作正常。
3. php 错误日志、系统日志、azkaban 日志中没有错误
4. 脚本在 50 秒后停止。通常需要 30 多分钟。所以不会超时。
5. 它不太可能超过内存限制。一次只获取和处理一条记录。

是否有可能操作系统或 azkaban 或其他一些进程停止了我的脚本，如果是这样我怎么能找到？

系统信息：具有 2GB 可用内存的 ubuntu 服务器。和 30 GB 的可用内存。发生故障时 CPU 使用率也正常。

日志中没有错误，我完全糊涂了。

Azkaban 中有一个 POST API 用于上传 zip 文件。正如他们在文档中给出的那样，我可以使用 curl 进行上传。

http://azkaban.github.io/azkaban/docs/2.5/#api-upload-a-project-zip

但我想在 Java 中调用相同的 API。有人可以帮助我如何在 Java 中做到这一点吗？

在 bash 脚本中，我可以在命令末尾附加 & 以使其在后台运行，例如：

但是，当我把它放在阿兹卡班的工作中时，例如：

它将给出错误消息：

我试图逃避 & 将命令写为“top \&”，但它仍然会报告相同的错误。我用谷歌搜索了几个小时，但找不到解决方案，有人知道如何使用 Azkaban 在后台运行命令吗？

是否可以将选项从 azkaban 工作流程传递到底层工作代码？

我有这样的东西，它适用于硬编码/预先知道的日期，但我希望可以选择在执行流程时指定日期：

谢谢，沙拉特