问题标签 [sqoop]

我正在尝试在 ubuntu 上安装 MS SQL JDBC 驱动程序以与 sqoop for Hadoop 一起使用。我对 java 和 linux 完全陌生，所以我不确定将所有内容提取到哪里。

保持 HDFS 上的平面文件与可能具有行更新的大型数据库表同步的最佳方法是什么？

sqoop 之类的工具似乎很有用，因为它们允许从表中增量提取新行，但是我看不到处理行更新的简单方法。

我们可以使用哪些技术来有效地处理行更新？每晚倾倒整张桌子是我们宁愿避免的。

我想使用“sqoop create-hive-table”在 Hive 中创建一个表模式。我的数据库是 Oracle Database 10g Enterprise Edition 10.2.0.4.0，我使用 sqoop-1.2.0-cdh3u0 和 hive-0.7.0-cdh3u0。之后要在 Hive 表上加载的数据已经在 HDFS 上，我更愿意让 sqoop 和 hive 自动创建表元数据，而不是手动创建它并在之后加载数据。

这是我执行的命令：

我收到以下错误：

11/05/12 11:33:11 INFO hive.HiveImport：将上传的数据加载到 Hive

11/05/12 11:33:12 INFO manager.OracleManager: 时区已设置为 GMT 11/05/12

11:33:12 INFO manager.SqlManager：执行 SQL 语句：SELECT t.* FROM BFUNC1.R1_EVOLUTION t WHERE 1=0

2012 年 11 月 5 日 11:33:14 信息 hive.HiveImport：Hive 历史文件=/tmp/edjatsay/hive_job_log_edjatsay_201105121133_1466429457.txt

2012 年 11 月 5 日 11:33:14 信息 hive.HiveImport：失败：解析错误：第 1:58 行不匹配输入“）”在列规范中需要标识符

11/05/12 11:33:14 信息 hive.HiveImport:

2012 年 11 月 5 日 11:33:14 错误 tool.CreateHiveTableTool：运行创建表作业时遇到 IOException：java.io.IOException：Hive 以状态 11 退出

这是数据库中表的架构：

在此先感谢您的帮助。

安装 hadoop, hive (CDH 版本) 后我执行

一切正常，但是当我进入 hive 命令行并执行 show tables 时，什么都没有。我使用 ./hadoop fs -ls，我可以看到 /user/(username)/user 存在。

任何帮助表示赞赏。

- -编辑 - - - - - -

导入失败的原因：

我尝试使用 Hadoop 将数据库从 mysql 导入 Hive，并使用 Sqoop 中的“--hive-import”命令自动创建表并加载数据到 hive。

我使用下面的命令通过 sqoop 执行导入

当我执行此命令时，错误发生如下

我的 sqoop 命令有什么问题？或者在 sqoop 或 hive 中是否有其他配置？

请帮帮我

我想对数据库（MS SQL Server）中的数据进行分析。那么如何在 Sqoop/Hive 的帮助下将这些数据带到 HDFS 上呢？Hive/Sqoop 可以吗？请建议我如何做到这一点。

谢谢。

设想：

我已经在我的 PC 上配置了 SQOOP。但是我遇到了一些问题，当我使用 bin/sqoop 时，我遇到了一些错误：

错误：

线程“主”中的异常

问题：

可能是什么问题呢？我还设置了 $HBASE_HOME 和 $ZOOKEEPER_HOME 的路径。请建议我如何做到这一点。

谢谢。

设想：

错误：

问题：

我已经成功配置了 Sqoop，然后可能是什么问题？我正在尝试通过输入 IP 地址连接到数据库，但也存在同样的问题。我怎样才能消除这些错误？请建议我解决方案。

谢谢。

设想：

我正在尝试从 sql server 导入 HDFS，但出现以下错误：

错误：

问题：

我没有得到什么问题？我的 Hadoop 版本：hadoop-0.21.0 Sqoop 版本：sqoop-1.1.0

请建议我解决方案。谢谢。

设想：

当我输入 sqoop 导入查询时，我得到如下：

错误：

问题：

为什么会这样？请建议我解决这个问题。

谢谢。