问题标签 [azkaban]

第一次从事 gradle 项目。（开源 - Azkaban 框架）。

我尝试在我的项目中添加 AWS SDK java 作为依赖项。但是当我添加它时显示空罐子或有时没有罐子。

在 build.gradle 文件中添加了依赖项。

当我添加版本“1.10.16”时，jar中有所有源代码，但是对于高于“1.10.16”的版本，除了META-INF文件夹之外没有源代码。

你能帮我解释一下为什么它表现出奇怪的行为吗？或者我忘记了一些项目设置。

更新：1

这是我的 build.gradle 文件 -

我遵循了链接中提到的所有 3 个步骤 - http://docs.aws.amazon.com/AWSSdkDocsJava/latest/DeveloperGuide/sdk-using-gradle.html

请检查。

我们正在使用 Google Dataflow 进行批处理数据处理，并为工作流编排工具寻找一些选项，类似于 Azkaban 为 Hadoop 所做的。

我们正在寻找的关键是，

• 配置工作流程
• 调度工作流
• 监控和提醒失败的工作流程
• 能够重新运行失败的作业

我们已经评估了 Pentaho，但这些功能在其企业版中可用，价格昂贵。我们目前正在评估 Azkaban，因为它支持 javaprocess 作业类型。但 Azkaban 主要是为 Hadoop 作业创建的，因此它与 Hadoop 基础设施的集成比普通的 javaprocesses 更深入。

感谢一些关于开源或非常低成本解决方案的建议。

有一种方法可以控制作业失败后在 Azkaban 中发生的情况，我的意思是如果特定作业失败，则执行特定的操作，让我们说 hive 的负载失败，我想将错误发送到 splank 是否可能？或者我应该创建将插入并处理故障的特定作业，如 python

谢谢

我正在使用 Azkaban 3.4.1，我的一个流程有 30 多个依赖项。一些依赖项比另一个需要更长的时间。所以，我想优先考虑这些流程，然后再启动其他流程。（因为运行线程有限）

目前并行执行的数量是有限的flow.num.job.threads，10默认情况下。我尝试增加该属性并确保立即开始漫长的过程，但 cpu 变得非常高，所以我不确定这是一个好的选择。

我想在将我的 Azkaban 流程上传到服务器之前对其进行验证，就这么简单。我们有插件或其他东西吗？如果不是，Azkaban github中有哪些类进行此验证？我可以调整它们并使用它来进行验证。

这是每天/每周安排 Spark 作业的推荐工具。1) Oozie 2) Luigi 3) Azkaban 4) Chronos 5) Airflow

提前致谢。

在尝试安排作业时，我们需要来自 Azkaban 的作业名称。是否有任何内置属性？我们从 获取流名称${azkaban.job.flowid}。

例如：我的工作文件是：

我有一个 azkaban 单 Web 服务器（多执行器模式）。我已经能够在所需服务器上强制执行 crons。但是每当执行器服务器重新启动时，执行器表就会使用新的执行器 ID 更新。如何修复它因为有了这种行为，我将不得不用新的执行者 ID 重新安排工作

我一直在调查 Azkaban 和 Apache Activiti 的工作流用例之一。我的理解是，Azkaban 中的每个作业都作为一个单独的进程运行，与 Activiti 相同，或者 Activiti 任务在 Activiti 的主进程中作为单独的线程运行。

我们可以像使用 Apache HBase 一样将 Azkaban 与 Google Cloud Bigtable 一起使用吗？