问题标签 [sqoop]

我正在开发一个用于 Hive 和 Teradata 之间数据同步的应用程序。为此，我在嵌入式模式下使用 sqoop，即我在类路径中添加了 sqoop 作为 jar 并使用 Sqoop.runTool(..) 执行操作。

但是在 Eclipse 上，它被标记为已弃用。我使用的是 1.4.2 版，但找不到任何相关信息。

无论如何，我目前正在使用它，但如果有人可以提供一些关于它为什么被弃用以及可以做些什么的信息会更好？

我在将数据从导入SQL Server到HDFS使用时遇到问题SQOOP。我正在使用 Windows 平台并已安装HDInsights在我的机器上。

这是错误。

需要帮助。谢谢

I am facing a problem connecting to aster data nCluster on Cloudera?

Is it possible using sqoop?

Sqoop 有助于在关系数据库（例如 Oracle DB）和 Hadoop 之间复制数据。

但是我怎样才能让它以 Zebra 格式存储数据呢？

谢谢你。

我正在开发一个java程序。

java程序将数据从hive导出到mysql。

首先，我编写代码

它完美地工作。

但我学会了一种在 java 中使用 sqoop 的新方法。

Sqoop 还不支持客户端 api。

所以我添加了 sqoop lib，只写了 Sqoop.run()

其次，我用新的方式再次编写代码。

但它没有运行。

我有错误......

我看见$SQOOP_CONF_DIR has not been set in the environment.

所以我加了

SQOOP_CONF_DIR=/home/yoonhok/development/sqoop-1.4.2.bin__hadoop-1.0.0/conf

在里面

/etc/环境

再试一次，但错误...

我认为 Export-dir 是个问题。

我使用“/user/hive/warehouse/tbl_2”。

当我运行“hadoop fs -ls /user/hive/warehouse/”时，表“tbl_2”存在。

我觉得

“输入路径不存在：文件：/user/hive/warehouse/tbl_2”不正确。

“输入路径不存在：hdfs :/user/hive/warehouse/tbl_2”没问题。

但我不知道我该如何解决它。

好吧，就在我得到提示之前。

我编辑了'export-dir'

但是...这是错误... TT

当我检查hdfs时，

或者

该文件存在。

-rw-r--r-- 1 yoonhok 超级组 14029022 2013-02-15 12:16 /user/hive/warehouse/tbl_2/000000_0

我在终端的shell命令中尝试

这是工作。

什么问题？

我不知道。

你可以帮帮我吗？

我有一个 Oozie 工作流程，它应该每 X 分钟运行一次。它从 HBase 表中读取一个值。在此之后，基于上一步中从 HBase 读取的值运行 Sqoop 操作（增量）。为了使工作流正常工作，我需要以某种方式从 Sqoop Oozie 操作中捕获新的 --last-value 以将其写回 HBase，并在下次工作流运行时再次读取它......等等。

我该怎么做，或者可能有更好的方法？

乔纳斯

Sqoop 2 是否适用于 Hadoop 0.20.2？

什么版本的sqoop最好下载？

1.4.2 还是 1.99.1 ？

谢谢！）

我正在使用 hadoop 1.0.4 和 hive 0.9.0 谁能建议我们可以配置哪个版本的 Sqoop？

我创建了一个新的 Java 项目，然后添加了 Library Sqoop 和 Hadoop。（这些库是“hadoop-core-1.1.1.jar、sqoop-1.4.2.jar 等......”。）

然后我尝试了下面的代码：

参数是正确的，因为当我在终端中尝试时，它运行良好。

但它没有用。错误信息是：

当我检查 HDFS 时，文件存在：

如何在我的 Java 程序中执行 Sqoop？

我尝试了 Processbuilder 和 Process，但我不想使用它们。

我很想用Sqoop API，但听说还没有。

我读了这个问题，但它对我不起作用。

环境：sqoop-1.4.2 hadoop-1.0.4 hive-0.9.0

import cmd: ./bin/sqoop import --connect jdbc:mysql://localhost/metrics --username root -password 1023 --table 访问 --hive-import --create-hive-table --hive-table hivevisit2 --hive-home /home/hadoop/hive/

hdfs 中存在文件：找到 1 项 drwxr-xr-x - hadoop supergroup 0 2013-02-19 10:36 /user/hive/warehouse/hivevisit2

但在 hive 中显示表，表 hivevisit2 不存在

好像exe cmd "sqoop -hive-import" 时会自动创建表，但是为什么看不到表

如果我重新执行 cmd "./bin/sqoop import --connect jdbc:mysql://localhost/metrics --username root -password 1023 --table 访问 --hive-import --create-hive-table -- hive-table hivevisit2 --hive-home /home/hadoop/hive/"

错误显示“元数据错误：AlreadyExistsException（消息：表 hivevisit2 已存在）”

谁能告诉我解决方案如何在配置单元导入期间自动创建表