问题标签 [oozie]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
2178 浏览

sqoop - Sqoop 正在将整数作为字符串导入

我正在尝试在 Microsoft SQL Server 的查找中使用 sqoop。

这是我的 sqoop 脚本:

sqoop 命令似乎可以工作,因为表是使用我期望的列创建的。但是,当我使用 java 应用程序连续读取时,返回的 main_id 字节是字符串而不是整数。因此,如果 main_id 为 1,我希望得到 0x1,但我得到的是 0x31,这是 '1' 的 ascii 代码。注意 a.main_id 已经是一个整数。演员表是为了帮助 sqoop 认识到这一事实。

此外,我将其作为 oozie 工作流程的一部分运行。

0 投票
1 回答
6670 浏览

hadoop - 通过 Oozie 运行 Hive

我在通过 oozie 运行 hive 时遇到了一些问题。在 oozie 控制台中,我收到以下错误:

我在 job.properties 文件中提到了系统类路径。这是我的工作属性文件:

这是我的 workflow.xml 文件:

我已将 hive-site.xml 和 hive-default.xml 文件复制到 hdfs 中。

知道这里发生了什么吗?

0 投票
2 回答
133 浏览

perl - Oozie 日志上的模式匹配

使用 Oozie 命令

Oozie 日志 (Input.txt)

我想要一个额外的列作为“Status”,它将状态消息存储为“SUCCESS/RUNNING/KILLED/SUSPENDED/Prep”。

我们将从第二列获取“状态”消息,如<(processname)><(Status)>。

我无法从上面的文本中猜出分隔符。因此我们可以利用 AWK/cut/substring 概念。

将有4 条状态消息

  • 成功
  • 跑步
  • 准备
  • 杀死
  • 暂停

期望的输出

0 投票
2 回答
14990 浏览

hadoop - 通过 oozie 运行 shell 脚本

我正在尝试通过 oozie 执行 shell 脚本,但遇到了一些问题。

我有一个像这样的属性文件(import.properties):

这个想法是,在每次执行中,startIndex 值都将根据块大小进行更新。所以如果我执行它,它应该有

我已经单独测试了脚本,它工作正常。这是我的其他相关文件。

工作属性

工作流.xml

脚本.sh

我将所有这些文件放在我的 HDFS 工作目录中:

我期望每次执行后都会更改 import.properties 文件。但我认为即使 oozie 工作成功,它也没有改变。出于调试目的,我在执行过程中打印了文件的位置,发现它复制到了另一个位置(从日志中):

我需要做什么才能影响 HDFS 的工作目录?提前致谢。

更新:

根据 Chris 的建议更改脚本后,它变为(最后 3 行):

但后来我开始面临许可问题。我给了那个文件和文件夹的写权限。

找到 3 项:

这是错误日志:

0 投票
1 回答
1982 浏览

hadoop - Oozie 发行版创建失败

我正在尝试安装 oozie 3.3.0,当我在 $OOZIE_Home/bin 下运行 mkDistro.sh -DskipTests 时出现以下错误

无法在项目 oozie-hadoop 上执行目标:无法解析项目 org.apache.oozie:oozie-hadoop:jar:2.0.2-alpha.oozie-3.3.0 的依赖关系:无法传输工件 com.sun.xml。 bind:jaxb-impl:jar:2.2.3-1 from/to central ( http://repo1.maven.org/maven2 ): GET 请求: com/sun/xml/bind/jaxb-impl/2.2.3来自中央的 -1/jaxb-impl-2.2.3-1.jar 失败:内容长度分隔的消息正文过早结束(预期:890168;收到:0 ->

0 投票
2 回答
4110 浏览

hadoop - 创建 oozie 数据库架构时出错

我正在尝试在 RHEL5 上使用 RPM 设置 oozie (cdh4)。当我运行命令在 mysql 数据库中设置模式时,sudo -u oozie /usr/lib/oozie/bin/ooziedb.sh create -run它会给我一个错误,指出“没有这样的文件或目录”。您可以在此处查看相同的日志。

而如果我尝试运行命令来创建脚本使用sudo -u oozie /usr/lib/oozie/bin/ooziedb.sh create -sqlfile oozie-create.sql它会给我一个错误,指出“无法连接到数据库”。您可以在此处查看相同的日志。

我正在关注oozie 的 cdh4 安装站点

请帮我找出可能的错误。提前致谢。

0 投票
1 回答
707 浏览

hadoop - Oozie 战争创建 - 不受支持的 Hadoop 版本支持的版本:0.20.1、0.20.2、0.20.104、0.20.200、0.23.x 和 2.x

我正在尝试在 hadoop 1.0.3 上安装 oozie 3.3.2,我无法创建 oozie.war。我按照 http://venkatrequiescence.blogspot.in/2012/12/oozie-installation.html中的说明进行操作.当我执行以下命令时,我得到-不受支持的 Hadoop 版本支持的版本:0.20.1、0.20.2、0.20.104、0.20.200、0.23.x 和 2.x

./$OOZIE_HOME/distro/target/oozie-3.3.2/oozie/bin/oozie-setup.sh -hadoop 1.0.3 / -extjs /Users/hadoop/ext-2.2.zip。

我什至试图通过查看以下链接中给出的解决方案来解决这个问题,但我无法解决这个问题,因为解决方案中给出的文章不是很清楚,请帮助我

如何在 Hadoop 1.1.1 上安装 Oozie 3.3.1?.

0 投票
3 回答
6603 浏览

hadoop - 获取 E0902:发生异常:[用户:oozie 不允许冒充 oozie]

嗨,我是 Oozie 的新手,我收到此错误 E0902:发生异常:[用户:pramod 不允许模拟 pramod] 当我运行以下命令时

我的 hadoop 版本是 1.0.3,oozie 版本是 3.3.2 并且在伪模式下运行

以下是我的 core-site.xml 的内容

有人可以帮忙吗

0 投票
3 回答
3333 浏览

oozie - Oozie HDFS 操作可以使用文件模式或 glob 吗?

我可以在 Oozie 移动操作中使用通配符(例如 *)或文件模式(例如 {})吗?

我正在尝试将我的工作结果移动到归档目录中。

目录结构状态:

我的行动:

结果错误:

有没有一种简单的方法可以在 glob 或类似 bash 的语法中移动多个文件?想做一些类似于这个 hadoop 命令的事情:

我错过了什么吗?hadoop fs 命令接受 glob。奥齐吗?

0 投票
1 回答
827 浏览

hadoop - 构建 oozie 的二进制发行版失败

我在这里搜索 oozie 的二进制分布:

http://apache.mirrors.tds.net/oozie/3.3.2/

它只有源代码分发。二进制分发不可用吗?

所以,我尝试使用从这个源构建

一切顺利,但停在了一点:

有人可以指出我的二进制发行版或帮助我解决这个构建问题吗?

我有 Maven 版本 3。

还尝试了以下选项,但没有帮助。