问题标签 [oozie]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
sqoop - Sqoop 正在将整数作为字符串导入
我正在尝试在 Microsoft SQL Server 的查找中使用 sqoop。
这是我的 sqoop 脚本:
sqoop 命令似乎可以工作,因为表是使用我期望的列创建的。但是,当我使用 java 应用程序连续读取时,返回的 main_id 字节是字符串而不是整数。因此,如果 main_id 为 1,我希望得到 0x1,但我得到的是 0x31,这是 '1' 的 ascii 代码。注意 a.main_id 已经是一个整数。演员表是为了帮助 sqoop 认识到这一事实。
此外,我将其作为 oozie 工作流程的一部分运行。
hadoop - 通过 Oozie 运行 Hive
我在通过 oozie 运行 hive 时遇到了一些问题。在 oozie 控制台中,我收到以下错误:
我在 job.properties 文件中提到了系统类路径。这是我的工作属性文件:
这是我的 workflow.xml 文件:
我已将 hive-site.xml 和 hive-default.xml 文件复制到 hdfs 中。
知道这里发生了什么吗?
perl - Oozie 日志上的模式匹配
使用 Oozie 命令
Oozie 日志 (Input.txt)
我想要一个额外的列作为“Status”,它将状态消息存储为“SUCCESS/RUNNING/KILLED/SUSPENDED/Prep”。
我们将从第二列获取“状态”消息,如<(processname)><(Status)>。
我无法从上面的文本中猜出分隔符。因此我们可以利用 AWK/cut/substring 概念。
将有4 条状态消息。
- 成功
- 跑步
- 准备
- 杀死
- 暂停
期望的输出
hadoop - 通过 oozie 运行 shell 脚本
我正在尝试通过 oozie 执行 shell 脚本,但遇到了一些问题。
我有一个像这样的属性文件(import.properties):
这个想法是,在每次执行中,startIndex 值都将根据块大小进行更新。所以如果我执行它,它应该有
我已经单独测试了脚本,它工作正常。这是我的其他相关文件。
工作属性
工作流.xml
脚本.sh
我将所有这些文件放在我的 HDFS 工作目录中:
我期望每次执行后都会更改 import.properties 文件。但我认为即使 oozie 工作成功,它也没有改变。出于调试目的,我在执行过程中打印了文件的位置,发现它复制到了另一个位置(从日志中):
我需要做什么才能影响 HDFS 的工作目录?提前致谢。
更新:
根据 Chris 的建议更改脚本后,它变为(最后 3 行):
但后来我开始面临许可问题。我给了那个文件和文件夹的写权限。
找到 3 项:
这是错误日志:
hadoop - Oozie 发行版创建失败
我正在尝试安装 oozie 3.3.0,当我在 $OOZIE_Home/bin 下运行 mkDistro.sh -DskipTests 时出现以下错误
无法在项目 oozie-hadoop 上执行目标:无法解析项目 org.apache.oozie:oozie-hadoop:jar:2.0.2-alpha.oozie-3.3.0 的依赖关系:无法传输工件 com.sun.xml。 bind:jaxb-impl:jar:2.2.3-1 from/to central ( http://repo1.maven.org/maven2 ): GET 请求: com/sun/xml/bind/jaxb-impl/2.2.3来自中央的 -1/jaxb-impl-2.2.3-1.jar 失败:内容长度分隔的消息正文过早结束(预期:890168;收到:0 ->
hadoop - 创建 oozie 数据库架构时出错
我正在尝试在 RHEL5 上使用 RPM 设置 oozie (cdh4)。当我运行命令在 mysql 数据库中设置模式时,sudo -u oozie /usr/lib/oozie/bin/ooziedb.sh create -run
它会给我一个错误,指出“没有这样的文件或目录”。您可以在此处查看相同的日志。
而如果我尝试运行命令来创建脚本使用sudo -u oozie /usr/lib/oozie/bin/ooziedb.sh create -sqlfile oozie-create.sql
它会给我一个错误,指出“无法连接到数据库”。您可以在此处查看相同的日志。
我正在关注oozie 的 cdh4 安装站点。
请帮我找出可能的错误。提前致谢。
hadoop - Oozie 战争创建 - 不受支持的 Hadoop 版本支持的版本:0.20.1、0.20.2、0.20.104、0.20.200、0.23.x 和 2.x
我正在尝试在 hadoop 1.0.3 上安装 oozie 3.3.2,我无法创建 oozie.war。我按照 http://venkatrequiescence.blogspot.in/2012/12/oozie-installation.html中的说明进行操作.当我执行以下命令时,我得到-不受支持的 Hadoop 版本支持的版本:0.20.1、0.20.2、0.20.104、0.20.200、0.23.x 和 2.x
./$OOZIE_HOME/distro/target/oozie-3.3.2/oozie/bin/oozie-setup.sh -hadoop 1.0.3 / -extjs /Users/hadoop/ext-2.2.zip。
我什至试图通过查看以下链接中给出的解决方案来解决这个问题,但我无法解决这个问题,因为解决方案中给出的文章不是很清楚,请帮助我
hadoop - 获取 E0902:发生异常:[用户:oozie 不允许冒充 oozie]
嗨,我是 Oozie 的新手,我收到此错误 E0902:发生异常:[用户:pramod 不允许模拟 pramod] 当我运行以下命令时
我的 hadoop 版本是 1.0.3,oozie 版本是 3.3.2 并且在伪模式下运行
以下是我的 core-site.xml 的内容
有人可以帮忙吗
oozie - Oozie HDFS 操作可以使用文件模式或 glob 吗?
我可以在 Oozie 移动操作中使用通配符(例如 *)或文件模式(例如 {})吗?
我正在尝试将我的工作结果移动到归档目录中。
目录结构状态:
我的行动:
结果错误:
有没有一种简单的方法可以在 glob 或类似 bash 的语法中移动多个文件?想做一些类似于这个 hadoop 命令的事情:
我错过了什么吗?hadoop fs 命令接受 glob。奥齐吗?
hadoop - 构建 oozie 的二进制发行版失败
我在这里搜索 oozie 的二进制分布:
http://apache.mirrors.tds.net/oozie/3.3.2/
它只有源代码分发。二进制分发不可用吗?
所以,我尝试使用从这个源构建
一切顺利,但停在了一点:
有人可以指出我的二进制发行版或帮助我解决这个构建问题吗?
我有 Maven 版本 3。
还尝试了以下选项,但没有帮助。