问题标签 [sqoop2]

问问题

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

172 问题
Newest
Active
Bountied
318
Unanswered
0 投票
0 回答
1067 浏览

hadoop - Hue 中的空白页 Sqoop，“错误：无法获取连接器”

我正在尝试在 Hue 中使用 sqoop，但出现错误：

Sqoop 错误：无法获取连接器。

并且页面中没有 sqoop 向导。但我可以使用 sqoop shell（不是 sqoop2）从 Oracle 导入数据。

我的问题是：

  • 除了放置 oracle jdbc 驱动程序之外，还有什么需要配置的吗？（在/opt/cloudera/parcels/CDH-5.5.0-1.cdh5.5.0.p0.8/lib/sqoop2/client-lib/）

  • 用户 sqoop2 需要允许哪些目录？（除了 /var/lib/sqoop ）

注意：阅读这篇文章后我仍然没有任何线索https://community.cloudera.com/t5/Web-UI-Hue-Beeswax/Blank-Sqoop-page-in-Hue-2-5-0/td-p /2581

env : Hue 3.9 / Sqoop2 / CDH 5.5.0 / CM 5.5.0 / LDAP, Kerberos & Sentry 已安装

0 投票
1 回答
363 浏览

sqoop - 从 vertica 导入 sqoop 失败

我正在尝试使用 sqoop2 将数据集从 Vertica 导入 HDFS。

我在 sqoop 机器上运行以下查询以将数据从 Vertica v6.0.1-7 导入 hdfs

但我在这里遇到了一些错误，

考虑到两台机器上的不同用户名，任何人都知道如何做到这一点。

0 投票
0 回答
78 浏览

hadoop - 从 Vertica v6.0.1-7 导入 Sqoop2

我正在尝试将 Vertica 数据导入 Hadoop/Hive/Impala。我是 Vertica v6.0.1-7 和 CDH 5.4。我通过 CM 安装了 Sqoop 1.99.5-cdh5.4.0 (sqoop2)。

我尝试使用以下命令创建链接

在此之后，如果我按 Enter 键，它就会卡在这里重新开始。

知道如何使用 sqoop2 创建此导入。

也有人知道我是否可以像 sqoop1 那样在一个命令行中执行此导入。

谢谢

0 投票
1 回答
773 浏览

oracle - 异常：通过 sqoop2 将数据从 Oracle 复制到 HDFS 时，作业失败，状态为 3

我正在尝试使用 Sqoop2 将数据从 Oracle 11g2 服务器复制到 HDFS。

到 Oracle 的链接似乎有效，因为如果我使用无效凭据，它会抱怨。定义如下：

（奇怪的端口号在这里，因为我现在需要使用反向隧道来访问数据库。很快就会修复）

作业定义如下

当我启动作业时（详细模式设置为 true），它列出了远程表的所有列名和类型（意味着与 Oracle 的连接正常），但作业失败，例如

日志显示以下内容：

软件版本为

  • Sqoop 1.99.5-cdh5.4.8 源修订版 5d69aef6c630a68db47724e4541e02983ade3d67 由詹金斯于 2015 年 10 月 15 日星期四 08:50:55 PDT 编译
  • java版本“1.7.0_67”
  • Java(TM) SE 运行时环境 (build 1.7.0_67-b01)
  • Java HotSpot(TM) 64 位服务器 VM（内部版本 24.65-b04，混合模式）

有关如何解决此问题的任何线索？

0 投票
1 回答
804 浏览

oracle - 将数据从 Oracle 提取到 Hadoop。Sqoop 是个好主意吗

我希望从 Oracle 数据库中提取一些数据并将其传输到远程 HDFS 文件系统。似乎有几种可能的方法可以实现这一目标：

  1. 使用 Sqoop。该工具将提取数据，通过网络复制并将其直接存储到 HDFS
  2. 使用 SQL 读取数据并存储在本地文件系统中。完成后，将数据复制（ftp？）到 Hadoop 系统。

我的问题是第一种方法（对我来说工作量较小）会导致 Oracle 锁定表的时间超过所需时间吗？

我担心的是，当 Sqoop 开始查询数据时，它可能会在数据库上取出一个锁，并且在所有数据都复制到 HDFS 之前，这个锁不会被释放。由于我将提取大量数据并将其复制到远程位置（因此会有很大的网络延迟），因此锁定将比其他情况下需要的时间更长。

0 投票
2 回答
514 浏览

java - Sqoop 导入 Java 客户端

我已经完成了用于将 oracle 数据导入我的 HDFS 的 sqoop importer java 类。但我得到错误为java.lang.ClassCastException: java.lang.Integer cannot be cast to java.math.BigDecimal. 任何人都知道为什么会发生这种情况以及解决方案应该是什么？

0 投票
0 回答
1181 浏览

hadoop - 如何使用带有新行字符的列将表导入配置单元？

我正在尝试使用 sqoop 配置一个 mysql 表，该表有一列存储包含换行符的 json 数据。为了处理配置单元默认分隔符，我尝试使用 sqoop 的 --lines-terminated-by '\u002' 选项更改行分隔符。Sqoop 给出错误说 --lines-terminated-by 只需要 '\n'。--hive-drop-import-delim 选项允许通过删除换行符来导入数据。有没有办法将数据完整地作为文本文件导入配置单元？

0 投票
0 回答
45 浏览

mysql - sqoop 导入查询错误“操作数应包含 1 列”

我正在尝试使用以下 sqoop 命令将数据从 MySQL 数据库中提取到 Impala。

我得到的错误是

在此之前，作为SqlManager报告WHERE (1 = 0)的一部分Executing SQL statement

0 投票
0 回答
172 浏览

hadoop - Sqoop 导入 - 目录结构 _temporary/1 、 _temporary/2 等是什么意思？

我已经开始了一个已经进行了 10 多天并且仍在运行的 sqoop 导入。

当我这样做时：

明白啦：

这个目录结构是什么意思？它是否失败了两次并正在重试第三次？

0 投票
2 回答
40 浏览

hadoop - 错误：sqoop 在 hdfs 中添加记录

我的场景：我将在特定时间通过 sqoop 在 hdfs 中获取每天 100 条记录。但是，昨天我在那个特定时间只得到了 50 条记录，今天我需要在那个特定时间通过 sqoop 在 hdfs 中获取 50+100 条记录。请帮我。提前致谢。


12345678910