sqoop - 如何包含 oozie 的 jar 文件

Question

我正在尝试在 oozie 中执行 sqoop 操作，但 /user/oozie/share/lib/sqoop 中不存在 mysql-connector-java.jar，因为没有权限我现在无法添加 jar，
是有任何方法或解决方法可以在 workflow.xml 中包含 mysql-connector-java.jar

我已将 jar 放在 sqoop 应用程序 / lib 目录中，但它不起作用

Answer 1

一般来说，Hadoop管理员应该保留Hadoop发行版中的所有公共库以提高使用效率，如果没有，请尝试以下-jarfile选项

sqoop import \
    -libjars /file/location/path/mysql-connector-java.jar \
    --connect jdbc:mysql://localhost:3306:3306/retail_db \
    --username root \
    --password xyzpwd \
    --table order_items \
    --target-dir /user/cloudera/landing_zone/sqoop_import/order_items

根据sqoop 文档：

-libjars 指定要包含在类路径中的逗号分隔的 jar 文件。-files、-libjars 和 -archives 参数通常不与 Sqoop 一起使用，但它们包含在 Hadoop 内部参数解析系统中。