0

我已经安装了 Cloudera CDH QuickStart VM 5.5,并且正在我的 Oozie 工作流程中运行 Sqoop 操作。我遇到了一个错误,说缺少 MySQL JDBC 驱动程序,我在这里遇到了一个 SO 答案,说 mysql-connector-java.jar 应该放在 Oozie 的 HDFS 共享库路径中,sqoop路径下。

然而,当我浏览 Oozie 的 HDFS 共享库路径时,我注意到有两个sqoop子目录用于复制 jar。

/user/oozie/share/lib/sqoop

/user/oozie/share/lib/lib_20151118030154/sqoop

除了sqoop, hive, pig,distcpmapreduce-streaming路径也存在于lib和上lib/lib_20151118030154

所以问题是:我应该把连接器罐放在哪里:第一个还是第二个?

sqoop这两条路径与, hive, pig,distcpmapreduce-streamingOozie的 jars 有什么区别(或目的不同) ?

4

1 回答 1

1

lib_20151118030154子目录将是 ShareLibs 的当前版本,截至 2015 年 11 月 18 日版本控制允许您在不停止 Oozie 服务的情况下进行更新——请查看此处的文档。

换句话说:Oozie 服务会在内存中保存每个 ShareLib 中的 JAR 列表(基于启动时最新版本的内容),因此添加 JAR 直到(a)您停止/重新启动服务或(b)按照上面文档中的说明重新同步服务。

于 2016-01-21T10:51:09.523 回答