问题标签 [oozie]

registerQuery()我有一个 java 代码，其中使用类的方法嵌入了 pig 语句PigServer。现在我准备了一个 jar，我可以将它作为 运行hadoop jar jarname，但问题是如何使用oozie调度程序触发相同的作业。尽管它是内部的 map reduce 起作用，但我们不能将其称为 map reduce 操作。同样，因为它不是猪动作，我们也不能设置它。是否可以使用 oozie 运行这样的任务？安排此类任务的最佳方式是什么？

我遇到了 Oozie 的问题。它不会mapred.input.dir.recursive从 Oozie 工作流中注册属性。这给我带来了一个问题，因为我的 mapred.input.dir 包含文件以及包含更多文件的子目录。我已经广泛搜索了解决方案，但我没有成功找到一个。

有什么想法、建议、建议吗？

我正在尝试使用 oozie 在 hortonworks 集群中运行工作流。收到以下错误：

错误：无效的工作流应用程序，org.xml.sax.SAXParseException：cvc-complex-type.2.4.c：匹配的通配符是严格的，但找不到元素“hive”的声明。

有人知道原因吗？至少一个可以在 hortonworks 发行版上运行的示例 hive workflow.xml 会有帮助吗？

我必须在 Oozie 中使用 ssh 操作在 HDFS 中创建一个目录。我的示例工作流程是

我在执行过程中遇到错误。有人可以指导我在这里缺少什么吗？

作为解决方法的一部分，我想使用两个 mapreduce 作业（而不是一个），它们应该按顺序运行以获得所需的效果。

每个作业中的 map 函数只是简单地发出每个键值对而不进行处理。每个作业中的 reduce 函数是不同的，因为它们执行不同类型的处理。

我偶然发现了 oozie，它似乎直接写入后续作业的输入流（或者不是吗？） - 这会很棒，因为中间数据很大（I/O 操作将成为瓶颈）。

如何使用 oozie（工作流程中的 2 个 mr 作业）实现这一目标？

我确实浏览了以下资源，但它们只是将单个作业作为工作流运行： https ://cwiki.apache.org/confluence/display/OOZIE/Map+Reduce+Cookbook

帮助表示赞赏。

干杯

我有一个 hadoop map-reduce 作业作为 Oozie 工作流程中的一个步骤运行。它是使用实现 org.apache.hadoop.util.Tool 的 java 动作开始的。

当作业因某种原因被终止时，如果在处理过程中出现异常，我希望能够通过电子邮件发送通知，该通知应包含堆栈跟踪。

目前我这样做：

但我收到的只是：

这不是很有用:) 我需要自己去检查所有节点的日志。

如何获得更具体的消息？我应该捕获我的异常并包装到工具中的一些 oozie-catchable 中，还是只使用某些东西而不是 ${wf:errorMessage...

谢谢

我是否需要将我的 java 类放在某个 jar 中，该 jar 进入工作流定义根目录中的 lib/ 目录，还是有另一种方法可以在 jar 之外使用这些类？

当我使用 from oozie od CDH 4.1.1 运行配置单元脚本时

运行失败：

谷歌搜索 JA018仅显示一个神秘提示：JA018 is output directory exists error in workflow map-reduce action。

我将我的 hiv-site.xml 复制到 HDFS 并在 workflow.xml 中设置：oozie.hive.defaults /user/hue/oozie/workspaces/ overlord -oozie-1/hive-site.xml

这是完整的workflow.xml：

怎样才能让它发挥作用？

我可以使用 hadoop jar 命令运行该作业。但是当我尝试使用 oozie 安排工作时，我无法做到这一点。另外请让我知道错误是由于 hbase 表中的数据还是由于 xml 文件造成的。

工作流 xml 文件如下：

映射器的错误日志是：

这是我的 oozie workflow.xml 的片段

该语句可能包含诸如'>'、'<'等字符。当语句包含'>'（无编码）时，我的作业运行成功，但是如果语句包含'<'，作业将失败并出现错误“JA007: Error on line ：元素的内容必须由格式良好的字符数据或标记组成”

例如 case a: statement = "x>3;y>4" (没有错误) case b: statement = "x>3;y<4" (JA007)