问题标签 [oozie-workflow]

我在 oozie 中运行一个工作流，其中包含一个用于将文件从一个 s3 位置传输到另一个位置的 shell 脚本。

我得到了output data limit exceeds错误。因此我增加oozie.action.max.output.data了价值，我使用sudo /sbin/stop oozie sudo /sbin/start oozie 重新启动后重新启动了 oozie，我无法提交任何工作流我收到错误：

"{ "回溯": [ [ "/usr/lib/hue/build/env/lib/python2.7/site-packages/Django-1.6.10-py2.7.egg/django/core/handlers/base. py", 112, "get_response", "response = Wrapped_callback(request, *callback_args, **callback_kwargs)" ], [ "/usr/lib/hue/build/env/lib/python2.7/site-packages/Django -1.6.10-py2.7.egg/django/db/transaction.py", 371, "inner", "return func(*args, **kwargs)"], ["/usr/lib/hue/apps /oozie/src/oozie/decorators.py", 113, "decorate", "return view_func(request, *args, **kwargs)" ], [ "/usr/lib/hue/apps/oozie/src/oozie /decorators.py", 75, "decorate", "return view_func(request, *args, **kwargs)" ], [ "/usr/lib/hue/apps/oozie/src/oozie/views/editor2.py ", 373, "submit_workflow", "return _submit_workflow_helper(request, workflow, submit_action=reverse('oozie:editor_submit_workflow', kwargs={'doc_id': workflow.id}))" ], [ "/usr/lib/hue/apps/oozie/ src/oozie/views/editor2.py", 428, "_submit_workflow_helper", "'is_oozie_mail_enabled': _is_oozie_mail_enabled(request.user)" ], [ "/usr/lib/hue/apps/oozie/src/oozie/views/ editor2.py”，435，“_is_oozie_mail_enabled”，“oozie_conf = api.get_configuration()”]，[“/usr/lib/hue/desktop/libs/liboozie/src/liboozie/oozie_api.py”，319，“get_configuration ", "resp = self._root.get('admin/configuration', params)" ], [ "/usr/lib/hue/desktop/core/src/desktop/lib/rest/resource.py", 100, “得到”， ”return self.invoke(\"GET\", relpath, params, headers=headers, allow_redirects=True, clear_cookies=clear_cookies)" ], [ "/usr/lib/hue/desktop/core/src/desktop/lib/rest /resource.py”, 80, “调用”, “clear_cookies=clear_cookies)”], [ “/usr/lib/hue/desktop/core/src/desktop/lib/rest/http_client.py”, 196, “执行", "提高 self._exc_class(ex)" ] ] }"]]}"]]}"

有什么建议可以解决这个问题？提前致谢

我正在使用 CDH 5.9.0、Spark 1.6 和 Scala 2.10.0。我创建了一个 scala 和 spark 程序来创建一个表并将数据从文件加载到配置单元。当我使用 spark submit 运行它时，它完成了。但是通过 oozie 提交相同的程序时，它会引发以下异常。

下面是例外。

下面是我正在使用的代码。

} }

任何有关如何使用 oozie 运行工作的建议都会有很大帮助。谢谢！

我有一个 oozie 工作流程，其中有许多控制和操作节点。为了便于在 Hue 浏览器中跟踪操作，我尝试通过在节点名称前添加 1、2、3 等来对控制和操作节点进行编号。这是工作流程片段

在验证工作流程时，我收到以下错误。

当我想对节点名称进行编号时，如何摆脱这个错误？

我遇到以下情况：我创建并启动了一个 Oozie 工作流程，其中包含两个配置单元操作。wf 启动后的片刻，第一个操作得到 JA009 错误，并且 wf 被标记为 SUSPENDED。现在有趣的部分：第一个动作实际上继续运行并成功，尽管标记为上述错误；在这一刻，wf 被卡住了，没有传递到第二个动作。

关于如何调试的任何想法？

错误消息：

JA009：无法初始化集群。请检查您的配置以获取 mapreduce.framework.name 和相应的服务器地址。

环境信息：

• Oozie 4.2.0.2.5.3.0-37
• Hadoop 2.7.3.2.5.3.0-37
• 蜂巢 1.2.1000.2.5.3.0-37

我正在尝试使用 Oozie 测试运行一个简单的 Hive 脚本，但我不断收到一个我无法理解的错误。

每次我提交作业时，都会收到一条错误消息，上面写着“作业失败，错误消息[参数表达式必须包含分配：jobRequest]”。但是，我已经定义了这个参数，并在我最初提交配置时为其分配了一个值。

有问题的参数是我试图创建的外部配置单元表名。在 Oozie 工作流程中，我在此处定义传递给 Hive 脚本的表名参数：

然后，我创建了一个提交给 oozie 的 job.xml，该参数的值如下所示：

有没有其他人遇到过这样的问题，或者知道是什么原因造成的？似乎参数已正确定义和分配，但作业不断失败并出现上述错误消息。如果有帮助，我正在使用的 xml 命名空间是：

我在 cloudera 中运行 Oozie Spark 动作，我需要一种方法来捕获 oozie spark 动作的标准输出并存储在 HDFS 中

我是 cloudera 的新手....，我已经在使用 oozie、flume、hive 和 impala....，我有一个可以根据需要手动工作的过程。我想使用 oozie 来改进功能以优化流程。Flume，是不是因为 Flume 不需要调度，只需将 oozie 用于 hive 和 impala。当数据进入 Hive 时......，想法是将信息复制到另一个支持 parquet 格式的表并在 Impala 上读取它......我试图将信息从一个表覆盖到另一个表，手动它工作得很好，但是当我做

oozie 永远不会结束工作流程并始终保持在 50% ......我将 hive-site.xml 复制到 HDFS 路径并添加到 xml。

我正在尝试使用配置单元操作创建一个简单的工作流程。我正在使用 Cloudera 快速入门 VM (CDH 5.12)。以下是我的工作流程的组成部分：

1) top_n_products.hql

2) hive-config.xml

我基本上已经将 /etc/hive/conf 中的默认 hive-site.xml 复制到我的工作流工作区文件夹中，并将其重命名为 hive-config.xml

3) 工作流属性

在配置单元操作中，我设置了以下内容： - 将 HIVE XML、作业 XML 路径设置为我的 hive-config.xml - 还将 hive-config.xml 添加到文件 - 在工作流属性中，设置我的工作区的路径 - 定义我的查询中的参数 N

我的 Hive 操作属性的屏幕截图

当我尝试运行它失败的工作流时，stderr 抛出以下错误：

下面是生成的 workflow.xml 和 job.properties：

1) 工作流 XML：

2）job.properties

请注意，hive 查询通过 Hive 查询编辑器运行得非常好。配置工作流程时我是否遗漏了什么？任何帮助表示赞赏！

谢谢，德布

所以我在 Cloudera 中定义了一个 oozie 工作流，它应该将文件“ /user/petter/file.txt”移动到 HDFS 上的另一个位置。
然后我将 job.properties 定义为：```

我从终端运行：
oozie job -oozie http://oozienode:11000/oozie -config job.properties -run

但工作因
*而失败

无法访问：/user/hue/oozie/workspaces/hue-oozie-1452553957.19/hdfs://${nameNode}/user/file.txt

*

如何为 oozie 脚本指定绝对 HDFS 路径？即它不考虑/user/hue...？

workflowdef.xml 是：```

```

我有一个 oozie 工作流程，它从具有两个动作 watcher1 和 watcher2 的分叉开始。一旦其中一个，即 watcher1 或 watcher2 成功，我需要继续加入。

我可以在 oozie 中做些什么来实现上述场景。