问题标签 [sqoop]

我想将 Hive 表中的数据 sqoop 到 MySQL 表中。两者都有相同的列集，但它们的顺序不同。

有没有办法使用具有属于 mysql 表的列顺序的 Hive 查询将数据sqoop 到 mysql 表？

我是hadoop的新手。我正在尝试使用 sqoop 将数据从 RDMS 导出到 HDFS。我正在通过命令行提示符实现这一点。我在这里找到了在 java 中实现 sqoop 的指南，但是在哪里可以找到 sqoop.jar 文件？

我一直试图找出将数据从 HDFS 移植到 SQL Server 的最佳方法。

• 我是使用 SQL Server 2008 R2 的 sqoop Hadoop 连接器从 Cloudera Hadoop 导入数据还是
• 我是否使用 sqoop 将 Cloudera Hadoop 中的数据导出到 SQL Server

根据我阅读的大量链接，我确信两者都是可能的

• http://www.cloudera.com/blog/2011/10/apache-sqoop-overview/
• http://www.microsoft.com/en-in/download/details.aspx?id=27584

但是当我在寻找可能在配置和维护级别上升的问题时，我没有正确的答案。

我强烈认为我应该进行导入，但我对排除和维护时不时出现的问题感到不舒服。

有人可以分享他们对什么是最好的想法吗？

apache.sqoop 包有什么问题吗？请帮帮我。

对不起我的英语不好...

这是我的问题。我必须将数据从 MySQL 导入 HBase。为了提高性能，在 MySQL 中将一个大表划分为一些小表。例如，一个'message'表被分为'message_0'、'message_1'、...'message_100'。

我需要将这些消息表导入 HBase 中的单个表（例如“消息”）。每个表中的 PK 是 message_id，它是自增的。众所周知，HBase 有一个唯一的行键。我想在 message_id 列中添加一个前缀。

我无法在这些表中添加 hbase-row-key 列，因此我想修改 sqoop 查询参数中的列内容。我使用的导入命令如下所示：

我可以成功地将列别名映射message_key为 HBase 行键。但行键是 30001.0，预计为 't0_30001'。

似乎查询没有返回 't0_' + message_id 的预期值，而是直接返回 message_id。

我还尝试修改 sqoop 生成的 java 源，将 't0_' 添加到 message_id，然后指定编译的类来执行输入操作，但它也不起作用。

看起来像这样

java源码：

命令行（在下面添加参数）：

是否可以修改 --query 参数中的列内容？我是否必须自己编写映射作业才能将多个表中的数据导入 HBase 中的一个表中？

感谢您耐心阅读这个长长的问题。

当使用带有hadoop的DBOutputFormat时，说最终的结果是去MySql数据库。每次必须写入结果时，Hadoop 会创建单独的连接吗？（DB 是否会承受太多打开的连接）。我没有使用这种格式，所以任何关于相同的建议都是可以接受的。它会比Sqoop有优势吗？Sqoop 也可用于将输出文件导出到数据库。请分享您的观点。

我正在尝试将一个简单的表从 SQL Server 2008 R2 数据库导入配置单元。

我的导入命令是 -

我没有看到任何错误消息，但它只是永远挂起。如果我查看 SQL Server 活动监视器，我可以看到正在创建一个进程。

这是 sqoop 输出 -

任何建议将不胜感激。

我想使用命令行选项控制 Hadoop 作业重试策略。例如，我想编写以下 Sqoop 作业并让它对 MySQL 中断具有容错能力：

对于一般的 Hadoop 作业，它可能看起来像：

要将我的数据从 HDFS 导出到 Postgres，我使用的是 Sqoop (1.3.0-cdh3u4)。主要问题是我有一列 ltree 类型。

Sqoop 即使使用 --map-column-java 强制字符串解析也无法导出。

任何想法？

有人可以帮我提供在 Cygwin 上安装 Hive 和 Sqoop 的步骤。我已经在 Cygwin 上安装了 Hadoop-0.20.2 和 Hbase latest stable-0.94.1 并且运行良好。