问题标签 [azkaban]

我正在尝试将 Azkaban（hadoop 的作业调度程序）与我的本地 mysql 连接。azkaban 的配置文件如下所示：

MySql 有一个名为“azkaban”的数据库，我可以使用以下命令登录 mysql：

mysql也在端口3306上工作，我已经验证过了。我仍然无法连接到mysql。azkaban 的日志如下所示：

我的阿兹卡班地址是 192.168.72.130:8443 我设置了主机

我可以使用 IP 进行正常访问 Azakaban Web Client 访问正常

但是当我使用域名访问 Azakaban web 客户端时，它不工作不工作

Chrome 向我展示

Azkaban 网络服务器日志：

环境：CentOS 8.1 64bit,azkaban 3.90.0 ,java 14.0.1

当我跑步时

它说

并在文件/home/azkaban/azkaban/gradle/wrapper/gradle-wrapper.properties：distributionUrl=https\://services.gradle.org/distributions/gradle-4.6-all.zip

所以我决定使用较低的java版本，我把jdk 11放在/opt/jdk-11

，所以我跑

它仍然说

环境：
CentOS8
mysql Ver 8.0.17
java版本“1.8.0_261”
azkaban v3.90.0。

当我尝试安装 Azkaban Executor Server

然后运行：

在 executorServerLog__2020-07-24+17:59:49.out

所以我下载了 mysql-connector-java-8.0.17.jar 并将这个 jar 放入 '/home/azkaban/azkaban/azkaban-exec-server/build/distributions/azkaban-exec-server-3.91.0-4-gb468bffe /lib'

当我尝试重新开始时，也失败了：

任何人都可以帮忙吗？

我在 azkaban 中运行 python 脚本。

在 test.flow 文件中

当运行后执行这个流程大约二十分钟时，系统变得非常慢并且执行失败。

和 azkaban-web-server 下的 azkaban-webserver.log

任何人都可以帮助解决它？

我在一个项目中有多个 azkaban 流程。大多数命令都是 python 脚本，它们都以预定的方式运行。作业节点如下所示：

在第二步失败的计划执行中存在间歇性错误。我想知道这可能是因为我在命令中使用了全局 python。

有没有一种很好的可扩展方式，我可以在所有执行之前生成一个新的 python virtualenv 并在其中运行它们？

我在 azkaban 服务器机器上有很多执行日志，这些日志在数据库中占用了太多空间，所以我只想保留上个月的日志。Azkaban 有 execution.logs.retention.ms 参数来做到这一点。但是我不知道它是否会删除旧的日志文件，如果我将这个配置实现到我的 azkaban 并重新启动它。你能帮我看看这种方式好不好。

或者您能告诉我“在某个日期之前删除 azkaban mysql 数据库中的旧日志文件的最佳方法是什么？”

execution.logs.retention.ms 配置文档链接：https ://azkaban.github.io/azkaban/docs/latest/

我使用 azkaban 运行 spark 作业，在我使用 com.lucidworks.spark SparkSupport 更改以索引到 solr 后，azkaban 中的作业没有完成。

更改前的最后日志行：

更改后的最后一个日志行：

火花作业已完成并完全完成，我在 spark-master UI 中看到，但在 azkaban 中，该进程仍然存在，仅被调度最大运行时间杀死。我不知道为什么，你能帮帮我吗？

谢谢

当我在 yarn 上使用Azkabanjobtype 执行spark任务时，Azkaban 一直无法从execution-jar我设置的路径中找到。

执行-jar hdfs:///offline/spark/jars/test.jar

Azkaban会从我的本地路径加载文件，然后报找不到文件的错误：

02-06-2021 14:22:29 CST yarn_test ERROR - java.lang.Exception: Job set up failed: execution jar is suppose to be in this folder, but the folder doesn't exist: /root/azkaban/exec/executions/13/hdfs:///offline/spark/jars/pdns cause: java.lang.Exception: Job set up failed: execution jar is suppose to be in this folder, but the folder doesn't exist: /root/azkaban/exec/executions/13/hdfs:///offline/spark/jars

[![在此处输入图像描述][1]][1] [1]：https://i.stack.imgur.com/Z7UM6.png

我该如何解决这个问题？谢谢您的帮助！

CDH 6.3.2

阿兹卡班 3.90.0

我想在 azkaban 运行 hive 工作，但出现错误

在 commonprivate.properties

在 hive/private.properties 中