问题标签 [oozie]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
3939 浏览

hadoop - Oozie 服务未启动

我有一个运行 Map-Reduce V1 的 CDH4 集群。当我尝试从 tarball 安装 oozie CDh4 并按照 https://ccp.cloudera.com/display/CDH4DOC/Oozie+Installation#OozieInstallation-Configuringthehadoopversion中的说明进行配置时

在启动服务时,我在日志中收到以下错误

0 投票
1 回答
2612 浏览

java - 在 java 代码中设置 job.properties 文件以启动 oozie 操作

我正在尝试使用 java 代码启动一个 oozie 操作。使用命令行时,我们通过“-config job.properties”指定属性文件,它知道选择哪个工作流。我们如何在 java 代码中定义“job.properties”文件来完成同样的任务?

0 投票
2 回答
566 浏览

java - 在java中一次设置属性文件中的所有属性

我正在尝试为oozieclient从属性文件中读取的 java 中的属性设置属性。属性文件有 10 个奇怪的属性。有没有一种方法可以一次设置这些属性,而不必从文件中读取每个键值对然后将它们设置为oozieclient

取而代之的是,有没有一种方法可以让我从属性文件中读取这些值并一次设置所有值?

0 投票
2 回答
3670 浏览

java - 使用 java 代码读取存储在 hdfs 中的 .properties 文件

我需要阅读 hdfs 中可用的 .properties 文件。我正在使用下面的代码,但它会引发运行时错误。

运行时错误是:

0 投票
2 回答
861 浏览

hadoop - Oozie 协调器问题

作为 cloudera 安装的一部分,我安装了 oozie。我正在尝试使用 coordinator.xml 中的以下配置执行示例中的协调器工作流。

使用这种配置,我希望工作流每 1 小时执行一次,但似乎工作流每 5 分钟执行一次,有人回答这个问题吗?

0 投票
3 回答
5588 浏览

hadoop - 在 oozie 中覆盖 hadoop 的 mapreduce.fileoutputcommitter.marksuccessfuljobs

我想将上述属性覆盖为true。对于集群上的其余作业,该属性需要为 false,但我需要在我的 oozie 工作流程中,hadoop 在作业完成后在输出目录中创建 _SUCCESS 文件。它是写入输出的工作流中的一个配置单元操作。请帮忙。

0 投票
1 回答
234 浏览

java - 来自 java 代码的工作流暂停

我正在运行一个包含 java 代码的工作流,该代码又启动另一个 oozie 工作流。主要工作流程工作正常,但从 java 代码启动的工作流程始终处于暂停状态。我无法恢复它,因为它的用户是映射的,而不是我。知道可能是什么问题吗?

这是我的主要工作流程

这是java代码:

0 投票
4 回答
1029 浏览

oozie - Can oozie control jobs outside of Hadoop?

From documentation, it isn't very clear whether oozie can schedule and control jobs outside of Hadoop? Can someone shed some light on this? If not, is there any open source based workflow engine which can do that?

0 投票
1 回答
3258 浏览

hadoop - 获取配置单元脚本的 _SUCCESS 文件

可能重复:
在 oozie 中覆盖 hadoop 的 mapreduce.fileoutputcommitter.marksuccessfuljobs

我正在尝试从 oozie 工作流程运行配置单元脚本。“mapreduce.fileoutputcommitter.marksuccessfuljobs”属性已设置为true,但他的配置单元脚本覆盖了它,因此,我没有得到成功文件。有没有办法可以在我的配置单元脚本中配置相同的属性或任何其他方式来克服这种情况?

在作业跟踪器中,它表示 hive 的“mapreduce.fileoutputcommitter.marksuccessfuljobs”属性设置为 true,但最终输出位置中仍然没有可用的 _success 文件

0 投票
2 回答
1485 浏览

hadoop - Oozie 输出事件

我不明白 Ozzie 中输出事件的用途是什么。Ozzie 文档指出“协调器操作可以生成一个或多个数据集实例作为输出”,但它没有提供任何实际细节或示例。生成数据集实例作为输出是什么意思?这是否意味着 Ozzie 将通过数据集的 URI 模板创建一个文件夹作为输出?我真的不明白为什么要使用输出事件...

谢谢!