问题标签 [oozie-workflow]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
808 浏览

hadoop - 如何读取子工作流程中的配置属性(单独的 xml 文件)?

在单独的子工作流文件中读取配置属性时,我收到下面提到的错误消息。我正在发布示例代码。感谢您帮助解决此问题。谢谢!

2019-01-17 08:44:52,885 WARN ActionStartXCommand:523 - SERVER[localhost] USER[user1] GROUP[-] TOKEN[] APP[subWorkflow] JOB[0338958-190114130857167-oozie-oozi-W] ACTION[0338958- 190114130857167-oozie-oozi-W@subWorkflowAction1] ActionStartXCommand javax.servlet.jsp.el.E​​LException 中的 ELException:无法解析变量 [jobtracker]

协调器作业触发命令

工作属性

协调员

父工作流程

子工作流程

0 投票
1 回答
157 浏览

sqoop - 使用 Oozie 的 Sqoop 工作流总是失败

在学习 Sqoop 的过程中,我执行了一个 sqoop 命令来获取 Cloudera 的 DH 中的所有 mysql 数据库,它正确地返回了所有可用的数据库。问题是,如果我在 Oozie 工作流程中运行与作业相同的命令,它总是会失败。

工作属性

工作流.xml

以下是生成的日志

sqoop 作业成功,但从 SUCCESS_FINISHING_CONTAINER 到 SUCCEEDED 的 TaskAttempt 被 KILLED,这是为什么呢。

0 投票
0 回答
942 浏览

hadoop - 权限被拒绝:user=etp8117, access=WRITE, inode="/user/ETP8117@ZGIE.ZTECH/shell.tmp":hdfs:hdfs:drwxr-xr-x

简短的介绍:

我正在运行一个带有 hadoop 命令的 shell 脚本。和奥齐。

下面是我试图运行的 shell 脚本:

工作流.xml:

工作属性:

oozie.wf.application.path=hdfs://CKNOS6VJFS01/user/etp8117/oozie_test/workflow.xml user.name=etp8117 mapreduce.job.user.name=etp8117

执行 oozie 作业时出现以下错误:

OOZIE 默认尝试写入不存在的 HDFS 目录。这里是错误:org.apache.oozie.action.ActionExecutorException: FS014: Permission denied: user = etp8117, access = WRITE, inode = "/user/ETP8117@ZGIE.ZTECH/oozie-oozi/0000026-181219054701162-oozie- oozi-W/shell_1--fs/fs-0000026-181219054701162-oozie-oozi-W@shell_1@0":hdfs:hdfs:drwxr-xr-x

它试图创建这个目录:/user/ETP8117@ZGIE.ZTECH/ 这不是我的用户名,而是我的 KERBEROS 令牌。

有人可以帮我解决这个问题吗!!!

0 投票
0 回答
115 浏览

oozie - Oozie“ok to”标签可以参数化吗?

我有一个用例,其中 parent-workflow.xml 调用 sub-workflow.xml,我将通过父工作流的多个操作将参数传递给 sub-workflow.xml。我可以访问子工作流操作的“确定”标签之一的属性/参数吗?

家长行动:

子工作流程动作:

根据标志,我将调用工作流的相应操作。

上面出现错误:

OozieClientException: org.apache.oozie.DagEngineException: E0701: XML schema error, cvc-pattern-valid: Value 'audit_${is_audit_required}' 对于模式 '(a-zA-Z_*){1 不是 facet-valid ,39}' 用于类型 'IDENTIFIER'。

请帮忙。

0 投票
1 回答
1121 浏览

docker - Apache Oozie 可以运行 docker 容器吗?

目前比较基于 DAG 的工作流工具,如 Airflow 和 Luigi,用于调度通用 docker 容器和 Spark 作业。

Apache Oozie 能否通过其shell操作运行通用 Docker 容器?或者 Oozie 是否严格适用于 Pig 和 Hive 等 Hadoop 工具?

Oozie 与 Hadoop 堆栈的其余部分集成,支持开箱即用的多种 Hadoop 作业(例如 Java map-reduce、Streaming map-reduce、Pig、Hive、Sqoop 和 Distcp)以及系统特定作业(例如Java 程序和 shell 脚本)。

0 投票
2 回答
1288 浏览

hadoop - 如何在 Oozie 中执行一项特定的工作流操作。如果我手动杀死了 Oozie 工作流程?

我有以下 Oozie 工作流程,假设我在执行操作“Do_task1”时手动终止了该作业,但我仍然想执行操作“Do_task2”,尽管手动终止了 oozie 作业(当操作“Do_task1”正在运行时)。我怎样才能做到这一点?

0 投票
0 回答
551 浏览

hive - Hue 工作流程中的 Sqoop 失败

在命令 shell 中运行以下 sqoop 导入时效果很好。

但是在 Hue 工作流程中运行相同的语句失败并出现以下错误

请记住,当list-databases使用 Hue 工作流程运行命令时,效果很好。

Cloudera 快速入门 VM(docker 映像)详细信息

版本:Cloudera Express 5.13.0 (#55 built by jenkins on 20171002-1719 git: bd657e597e6743c458ee2c9aabe808b7c972981c)

Java 虚拟机名称:Java HotSpot(TM) 64-Bit Server VM

Java 虚拟机供应商:Oracle Corporation

Java版本:1.7.0_67

实际上,在 oozie 中作为 sqoop 操作放置的任何命令都会失败。

下面是cloudera quickstart vm是如何在docker镜像中启动的

  1. 启动 cloudera 快速启动容器: docker run --hostname=quickstart.cloudera --privileged=true -t -i -v /Users/Yunus/Documents/ClouderaShare:/src --publish-all=true -p 8888:8888 -p 8020:8020 -p 8032:8032 -p 7180:7180 -p 80:80 -p 50070:50070 -p 11000:11000 -p 21050:21050 -p 8088:8088 -p 8042:8042 cloudera-5-13 /usr/bin/docker-quickstart
  2. 启动 cloudera 管理器:home/cloudera/cloudera-manager --express
  3. 修复时钟偏移问题:/etc/init.d/ntpd start
  4. Mysql 连接器已经在 usr/share/java/ 目录中:sudo -u hdfs hadoop fs -put usr/share/java/mysql-connector-java-5.1.34-bin.jar /user/oozie/share/lib/lib_20171023234839/sqoop
0 投票
1 回答
372 浏览

scala - 从另一个 oozie 工作流中以编程方式检查 oozie 工作流中的操作状态

我在名为 WF1 的名为 AC1 的动作的 oozie 工作流中运行一些代码。这个工作流不是计划的,而是连续运行的。通常动作 AC1 每天会轮到 4 次。此操作的运行时间以前未知。现在,还有另一个 Oozie 工作流 WF2,计划在凌晨 4:00 使用 Oozie 协调器运行。此 WF2 仅运行 3-4 分钟,因为这是一个需要在非高峰时间运行的小代码。在这个 WF2 中,我们要检查工作流操作 AC1 的状态(作为 WF1 的一部分运行 [每次 AC1 实例运行时,都会为其分配一个新 id]。是否可以仅使用名称获取 AC1 的状态,而不知道身份证?

我知道我有一个解决方法,我可以将 AC1 的状态存储在 Hive 表中并继续查询相同的状态以了解状态。但是,如果提供开箱即用的东西,那将是有帮助的。

0 投票
0 回答
184 浏览

hive - 在 oozie 工作流程中忽略 .hql 中的错误

我在文件中实现了以下语句,并在 Oozie 中.hql调用了这个文件。workflow.xml我不希望 Oozie 工作流在table1不存在的情况下失败,即如果 alter 语句失败则忽略错误。我用过SET hive.cli.errors.ignore=true; ,但这没有帮助。有什么建议么?

0 投票
1 回答
525 浏览

hadoop - 400 错误请求正在执行 oozie 作业

我正在尝试通过它的 Web 服务 API (Oozie 4.1.0-cdh5.15.2) 执行 Oozie 作业。以前这个作业是通过 Oozie 命令行 API 成功执行的,并且大多数参数都是作为命令参数提供的。

workflow.xml 当前位于 HDFS 上,因此我只是尝试按照文档中的规定以 XML 格式发送作业属性:

我的工作流.xml

但是我只收到400 Bad Request: The request sent by the client is syntaxly wrong. .

有没有人有提示,我可能做错了什么?