问题标签 [oozie-workflow]

当 EMR 集群运行时，可以使用 Hue 应用程序（如果安装在 EMR 集群上）从 Web UI 检查 Oozie STDOUT、STDERR 和 SYSLOG 日志。一旦 EMR 集群终止，我们将失去从 Hue 查看这些日志的选项。

我已经读到 AWS 提供了将 Oozie 的日志存储在 S3 中的选项，但是在 EMR 集群终止后，我在哪里可以找到工作流中特定 Oozie 操作的 STDOUT 和 STDERR 日志？

I'm trying to run kafka-connect-hdfs using Oozie version: 4.2.0.2.6.5.0-292 via script file sample.sh.
Yes I do know we can run the kafka-hdfs connector directly, but it should happen via oozie.
Kafka has a topic sample and has some data in it.
Trying to push that data to hdfs via oozie.
I have referred a lot of resources before coming here but now luck.

ERROR

I have all the three files inside hdfs and gave permissions to all the files (sample.sh, job.properties, workflow.xml) having all the files inside the location /user/root/sample in hdfs.

Note : Running the oozie in cluster so all the three nodes have the same path and files in it as namenode(/root/oozie-demo) and confluent-kafka(/opt/confluent-4..1.1) too.

job.properties

workflow.xml

sample.sh #!/bin/bash

I could not able to find the cause of the Error, I have also tried putting all the jars inside confluent-kafka to oozie/lib directory in hdfs.

link for yarn and oozie error logs.yarn-oozie-error-logs

Thanks!

从理论上讲，在使用 HDFS CLI 运行 hdfs 命令时，

它通过 EMRFS 并在创建 S3 条目时更新 dynamodb 中 MANIFESTS 中的键。

emrfs diff - 在 S3 和清单（Dynamodb）中都说。到目前为止一切都很好。

当我尝试对 s3 文件运行以下 oozie fs 操作时，我注意到该操作没有通过 EMRFS 发生，因为我没有看到 MANIFESTS (dynamodb) 中的键。

emrfs diff - 表示 S3 中的文件，但不在 MANIFESTS (Dynamodb) 中。

只是想知道 oozie fs 操作是否在屏幕后面使用 emrfs，因为它是从 oozie 服务器本身运行的。只是想了解 oozie fs 对 s3 的屏幕背后发生了什么？

提前致谢。

当我试图杀死从 oozie 作业调用的 spark 作业时，它并没有被杀死。它只是显示工作流作业已被终止。然后我从这个命令检查了工作流日志

oozie job --ozie oozieurl -log workflowID

它在日志中显示此错误。

我做错了什么还是我们无法杀死从 oozie 协调器的纱线中启动的 spark 应用程序的限制。

我无法lexique.json从oozie工作流运行的 Java 代码片段访问该文件。我不断收到以下错误：

请问有什么关于文件路径问题的线索吗？

oozie 工作信息 $coordinator

该命令为您提供属于协调员的工作流的详细信息，打印他们的 ID、状态、创建时间和标称时间。

我正在尝试打印在特定日期之后执行的 oozie 协调器的工作流程。

根据他们的文档，

由此可以理解，状态键仅支持“=”或“！=”，而标称时间键支持所有比较器。

但是当我尝试使用它时，我遇到了错误。

如果我输入“=”或“！=”，则相同的命令有效，但如果您使用其他比较器，则会引发错误。(>,<,>=,<=)

请建议如何解决此用例或此用例的任何其他替代方案。

我正在尝试制作一个脚本来检查 hdfs 路径中是否缺少任何文件。这个想法是将它包含在一个 oozie 工作流程中，当没有找到文件时失败并且不会继续流程

但是脚本在找不到文件时不会失败并继续 oozie 中的工作流流程

oozie 流：

谢谢您的帮助

当我在 oozie 中执行 spark 过程时，出现以下错误。找不到数据库。

这是我的火花配置

Metastore，当前连接数：1 2018-09-26 17:31:42,598 WARN [main] hive.metastore: set_ugi() 不成功，可能的原因：新客户端与旧服务器通信。继续没有它。org.apache.thrift.transport.TTransportException 在 org.apache.thrift.transport.TIOStreamTransport.read(TIOStreamTransport.java:132) 在 org.apache.thrift.transport.TTransport.readAll(TTransport.java:86) 在 org. org.apache.thrift.protocol.TBinaryProtocol.readMessageBegin(TBinaryProtocol.java:230) 的 org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java: 77）在 org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$Client.recv_set_ugi(ThriftHiveMetastore.java:3748) 在 org.apache.hadoop.hive。

我必须创建一个类似 cron 的协调员作业并收集一些日志。

我可以使用用于任何 shell 命令的简单oozie wf吗？我问是因为我已经看到有特定的工作流程来执行 .sh 脚本

我可以通过在作为 POST 请求发送到 oozie 服务器的 XML 正文中指定用户名 wf.application.path 来提交 oozie 作业。

查看作业状态时（通过 Hue），我可以在“配置”选项卡下看到上述名称、值对。

我的问题是，如何让我的 shell 操作（包含 shell/python 脚本）将这些名称值对作为输入/参数（国家、马来西亚）。

Hue 中是否有一些功能可以将标签从 config.xml 传递到 shell 操作。或者更好的是，HDFS 上是否存在存储上述从 UI 传递到服务器的配置 .xml 的路径？

附带问题 路径 /user/hue/oozie/workspaces/hue-oozie-1537788744。34 /（这是在提交作业的 XML 中提供的）包含 workflow.xml、shellscript.sh、lib 等

但是，当我查看作为对作业提交的响应而获得的作业 ID 的状态时，单击 DAG 中可见的 shellscript.sh（通过 Hue）会将我重定向到 /user/hue/oozie/workspaces/hue-oozie -1452553957。19 / 不存在（即使通过 hdfs 用户通过终端从 Hue 访问）。

什么是工作流程路径 hue-oozie-1452553957。19它是如何创建的，它包含什么等？