问题标签 [oozie]

正如 Oozie 开发人员所说，Oozie 在工作流管理中的挑战之一是其 SQL 存储，它在真正的可伸缩性方面存在已知限制。并且正在考虑用于持久性存储的替代技术（例如 zookeeper）。他们为什么不考虑使用 HBase、MongoDB 或任何其他可扩展的 NoSQL 数据库呢？

行动

Any1出现了这个错误..请指导我..提前谢谢！

我们有一个 Hadoop 服务，其中有多个应用程序。我们需要通过重新执行相同的工作流来处理每个应用程序的数据。这些计划在一天中的同一时间执行。问题是，当这些作业正在运行时，很难知道该作业正在运行/失败/成功的应用程序。当然，我可以打开作业配置并知道它，但这确实需要时间，因为有 10 多个应用程序在该服务下运行。

oozie 中是否有任何选项可以在执行作业时动态传递工作流（或其一部分）的名称，例如

此外，我们不希望创建多个作业文件夹分别执行，因为这将是太多的复制粘贴。

请建议。

我阅读了无法在工作流中创建循环的文档，但我需要每次使用列表项单独调用 main 方法 - 因此需要创建一个循环。

一种解决方案是使用子工作流再次调用工作流。

有没有其他解决方案？喜欢使用协调员工作吗？

我正在尝试在 hadoop 0.23.0 上运行 apache oozie 版本 3.2.0，当我执行 bin/oozie-run.sh 时，会显示以下错误。

我正在运行 Hadoop Ver 1.1.1 并想在安装时安装 Oozie 3.3.1 我收到以下错误

我正在关注本教程 http://practicalcloudcomputing.com/post/26337621577/installing-and-running-apache-oozie-3-2-x-and-possibly?543b50f0

我在 Oozie 有一个协调员的工作。它使用 java 操作节点调用工作流。

如果我只提交一次这份工作，那么它就可以完美运行。但是，如果我以相同的开始和结束时间提交此作业两次，但主类的 arg1 不同，则两个作业实例都挂在“RUNNING”状态，日志如下所示：

如果我杀死其中一个工作，那么另一个工作就会重新开始运行。

该文档指出，可以使用不同的参数提交同一协调器作业的多个实例：http: //archive.cloudera.com/cdh/3/oozie/CoordinatorFunctionalSpec.html#a6.3._Synchronous_Coordinator_Application_Definition

“并发：该作业可以同时运行的最大操作数。该值允许实现和提交协调器应用程序的多个实例，并允许操作赶上延迟处理。默认值为 1 。”

那么我做错了什么？我什至看到来自同一个作业的两个工作流操作实例处于“运行”状态，一旦另一个作业被终止，它就可以正常运行。

Is there a way to make and external call once a worflow is completed in Oozie. Reading some documentation it seems like possible. (Oozie can make HTTP callback notifications on action start/end/failure events and workflow end/failure events.)

http://archive.cloudera.com/cdh/3/oozie/WorkflowFunctionalSpec.html

But not sure how to do it and can it be an external api call on callback.

Thanks

当我尝试使用 oozie 在 mapreduce 中运行字数统计 prg 时。它只是读取输入记录并显示它。我猜它甚至没有调用我的映射器和减速器类。因为我使用的是新的 API，所以在 workflow.xml 中也包含了 new-api 属性标签。

Map-reduce 片段：

}

}

我的工作流.xml：

我提到了这个链接https://cwiki.apache.org/OOZIE/map-reduce-cookbook.html但仍然没有运气。如果any1遇到了这个问题，请指导我哪里出错了。

提前致谢。

我目前正在解决 Oozie Coordinator 的问题，该问题汇集了 NameNode 以进行数据检查。作为一个案例研究，我了解到雅虎每天运行超过 15000 个工作岗位。因此，如果大多数作业都依赖于数据，这将是 NameNode 的开销。我目前正在研究一个有 3-4 个节点的集群，基本上是我们自己的笔记本电脑。但是我的教授问我如何才能在如此大规模的范围内验证我的工作。我必须向他提供一些分析，以证明我的解决方案可以在这种规模上发挥作用。请建议我做同样的一些选择？