问题标签 [sqoop2]

我已经安装了 CDH Hue 并且它正在完全运行，我正在尝试使用 hue sqoop2 从 vertica 获取数据。要建立一个新的连接 sqoop hue 向我询问一些参数，设置如下

名称： Vertica
连接器： generic-jdbc-connector
JDBC 驱动程序类： com.vertica.Driver
JDBC 连接字符串： jdbc:vertica://host001:5433/Stock_Schema
用户名： XXXX
密码： XXXX

问题是我无法创建连接，因为出现了“无法加载指定的驱动程序”消息。我尝试将连接器加载到路径/var/lib/sqoop2 (vertica-jdbc-4.1.14.jar,vertica-jdk5-6.1.3-0.jar) 也尝试设置 env var $HADOOP_CLASSPATH但任何这些作品。

你能给我任何猜测吗？

我正在尝试自动安装Sqoop 2. 假设sqoop-server安装在 ip address1.2.3.4中。在sqoop-client我想设置该服务器的IP。手动，为此，我会：

我怎么能用 shell 的pipeand来完成echo呢？我试过了

但它并没有奏效。

我按照这里的“说明” （文档不是很好！）。sqoop.properties基本上，我在and中设置了一堆路径catalina.properties。

但是sqoop.sh server start，日志说它找不到文件审计记录器类。我复制了一堆jar文件，但仍然没有运气！

我正在尝试使用来自 cdh5 的 sqoop 传输将大型 postgreSQL 表导入 HDFS。整桌15G左右。

1. 首先，我尝试只使用基本信息导入，通过输入模式和表名，它不起作用。我总是超出 GC 开销限制。我尝试将 Cloudera 管理器配置中 Yarn 和 sqoop 的 JVM 堆大小更改为最大（4G），但仍然没有帮助。

2. 然后，我尝试使用 sqoop 转移 SQL 语句来转移部分表，我在字段中添加 SQL 语句如下： select * from mytable where id>1000000 and id<2000000 ${CONDITIONS} (partition column is id ）。该语句失败，实际上任何具有我自己的“where”条件的语句都有错误：“GENERIC_JDBC_CONNECTOR_0002：无法执行 SQL 语句”

3. 我也尝试使用边界查询，我可以使用“select min(id), 1000000 from mutable”，并且它有效，但我尝试使用“select 1000000, 2000000 from mytable”来进一步选择数据，这导致了 sqoop服务器崩溃和关闭。

有人可以帮忙吗？如何添加where条件？或者如何使用边界查询。找了很多地方，没有找到关于如何用sqoop2写SQL语句的好文档。也可以直接在sqoop2上使用吗？

谢谢

我正在使用 Sqoop2 (Sqoop 1.99.3-cdh5.1.0) 从 postgresql 数据库中导入数据。该作业成功完成并在 HDFS 中创建文本文件。输出文件是带单引号的 CSV，我想将输出配置为不带引号的制表符分隔。

Sqoop2 的输出格式可以配置吗？

除了 sqoop 1.4.2 中的默认 HSQLDB 之外，我们可以使用任何其他元存储（如 MYSQL）吗？如果可以，如何？

我的 Sqoop 查询存储在数据库中。我需要获取该查询并执行它。该查询的实习生将归档 oracle 表并存储在 HDFS 中。谁能告诉我如何从数据库中检索该行（包含 sqoop 查询）并执行它。我是 Hadoop/Sqoop/Hive 的新手。

我很难让 sqoop1 在 hadoop2 上工作。我总是运行 intCaused by: java.lang.ClassNotFoundException: org.apache.hadoop.util.Tool错误，这表明 sqoop1 正在尝试使用 hadoop1。但我已经从http://www.us.apache.org/dist/sqoop/1.4.5/下载了带有 hadoop 2.0.4-alpha 版本的 sqoop1 jar 。

那为什么它不适用于hadoop2？

PS：我已经努力让 sqoop2 工作，但我在设置中遇到了很多问题。

此外，这篇文章http://mmicky.blog.163.com/blog/static/1502901542013118115417262/表明它应该可以工作，但我一直遇到这个 ClassNotFoundException。

我发现在运行时覆盖 sqoop 作业属性时，我只能覆盖一个属性。

示例 1：如果我提交

它仅覆盖查询属性

示例 2：如果我提交

它仅覆盖查询属性 last-value 属性。

1. 执行 sqoop 作业时是否可以覆盖多个 sqoop 属性？如果没有，是否有可用的解决方法？

2. 我可以在不运行的情况下更新 Sqoop 作业吗？

以下是我的问题的要点。

环境：Hadoop 2 (CDH5.1) 数据库：oracle 11g

场景：我正在将数据库中的事实和维度表放入 hdfs 中。最初，我在处理根据建议设置为 \N 的空值（使用 --null-string 和 --non-null-string 处理）时遇到了挑战。当构建的 hive 表包含日期和数字的字符串字段时，一切都很好。

到目前为止的解决方案 根据建议，我转而使用 Avro 格式进行导入。我已经在 avro 数据上构建了 hive 表，并且能够查询这些表。现在我需要创建 Hive 连接并将所有字段转换为所需的类型，例如将日期转换为日期/时间戳，将数字转换为 int/bigint 等。在 sqooping 之后，创建的 avro 架构已将所有日期字段转换为 long 和 hive 表为这些列显示 bigint。

我对 sqoop 如何处理 null 以及如何在 hive/hdfs MR 等中处理这些感到困惑。

您能否提出任何可以利用的已采用实践？

谢谢文卡特什