问题标签 [oozie]

嗨，我可以在 hive 终端中运行 hive 命令，但是当我尝试通过 oozie 运行它时，我无法运行它，出现一些错误，并且日志文件如下所示

我正在使用 oozie 在分布式集群上运行 hadoop 作业。我为 oozie 作业设置了“oozie.libpath”。

最近，我从 oozie 使用的库路径中删除了一些旧版本的 jar 文件，并用新版本替换了它们。但是，当我运行我的 hadoop 作业时，我的旧版本的 jar 文件和新版本的 jar 文件都会被加载，并且 mapreduce 仍在使用旧版本。

我不确定 zookeeper 从哪里加载 jar 文件。是否有任何默认设置可以从中加载 jar 文件？我的 HDFS 中只有一个库路径，并且没有那些 jar 文件。

我有一个 oozie 工作流，在 4 台机器的 CDH4 集群上运行（一个主控一切，三个“哑”工人）。Hive Metastore 使用 mysql（存在驱动程序）在主服务器上运行，oozie 服务器也使用 mysql 在主服务器上运行。使用 Web 界面，我可以按预期导入和查询配置单元，但是当我在 oozie 工作流程中执行相同的查询时，它会失败。即使添加“IF EXISTS”也会导致以下错误。我尝试将连接信息作为属性添加到配置单元作业中，但没有成功。

任何人都可以给我一个提示吗？我错过了什么吗？需要任何进一步的信息吗？

这是作业日志的输出：

这是错误消息：

我从 oozie hive 操作工作流中得到一个错误：

我将 CDH4.2、HUE 2.2 和 JSON-SerDe ( rcongiu-hive-json-serde ) 用于我的配置单元表 SerDe。

Hive 查询脚本没问题，我在 hive 控制台中成功运行了它。我已经设置了 oozie 共享库。让我非常困惑的是，在使用默认表（不使用特殊的 SerDe）提交配置单元工作流时我没有收到任何错误，但是当我更改为我的 JSON-SerDe 表时它总是失败。ADD JAR /path-to/serde.jar 也不起作用。

我有一个基于 6 节点 cloudera 的 hadoop 集群，我正在尝试从 oozie 中的 sqoop 操作连接到 Oracle 数据库。

我已将我的 ojdbc6.jar 复制到 sqoop lib 位置（对我来说恰好位于：/opt/cloudera/parcels/CDH-4.2.0-1.cdh4.2.0.p0.10/lib/sqoop/lib/ ) 在所有节点上，并已验证我可以从所有 6 个节点运行一个简单的“sqoop eval”。

现在，当我使用 Oozie 的 sqoop 操作运行相同的命令时，我得到“无法加载数据库驱动程序类：oracle.jdbc.OracleDriver”

我已经阅读了这篇关于使用共享库的文章，当我们谈论我的任务/操作/工作流特定依赖项时，这对我来说很有意义。但我认为 JDBC 驱动程序安装是对 sqoop 的扩展，所以我认为它属于 sqoop 安装库。

现在的问题是，虽然 sqoop 看到了我放入它的 lib 文件夹中的这个 ojdbc6 jar，但为什么我的 Oozie 工作流程没有看到它？

这是预期的还是我错过了什么？

顺便说一句，你们认为 JDBC 驱动程序 jar 的合适位置在哪里？

提前致谢！

在我的 oozie coordinator.xml 中，我不想指定结束时间。有没有办法做到这一点。

协调器.xml

我正在尝试使用 Oozie 运行现有的 Hadoop 作业（我正在从 AWS 迁移）。

在 AWS Mapreduce 中，我以编程方式提交作业，因此在提交作业之前，我的代码以编程方式查找输入。

我的输入恰好是另一项工作的最后一次成功运行。要查找最后一次成功运行，我需要扫描 HDFS 文件夹，按文件夹命名约定中嵌入的时间戳排序，然后找到其中包含 _SUCCESS 文件的最新文件夹。

如何做到这一点超出了我的 oozie-newbie 理解。

有人可以简单地为我描述一下我需要在 Oozie 中配置什么，以便我知道我在这里试图达到的目标吗？

我正在尝试提交一个示例 map reduce oozie job，并且所有属性都针对路径和名称节点以及作业跟踪器端口等进行了正确配置。我也验证了workflow.xml. 当我部署工作时，我得到一个工作 ID，当我检查状态时，我看到一个状态 KILLED，详细信息基本上说

/var/tmp/oozie/oozie-oozi7188507762062318929.dir/map-reduce-launcher.jar不存在。

我有一个可用的开发人员 Hadoop 集群来运行测试作业以及一个可用的生产集群。我的问题是，我可以利用 oozie 在单个 oozie 实例上将工作流作业启动到多个集群吗？

有什么陷阱？我假设我可以为我的工作流重新配置作业跟踪器、名称节点和 fs 位置属性，具体取决于我希望作业在哪个集群上运行。