问题标签 [sqoop2]

我们正在探索将仓库中的数据或 RDMS 归档到 Hadoop 的选项。

事实上，我必须使用 sqoop 将数据加载到 HDFS，并且可能必须对其进行压缩。然后删除要归档的行。

问题是当我在两个表之间有外键关系时。我需要保持表之间的数据一致性。请帮助我的方法。

我已经建立了一个 sqoop2 工作，我正试图像这样开始它：

这似乎是不正确的。帮助列表作为命令开始，所以我尝试了这个：

似乎也不正确。

这里的正确语法是什么？

PS：

我在 sqoop 上运行以下命令

我的 sqoop 版本：Sqoop 1.4.4.2.0.6.1-101
Hadoop -- Hadoop 2.2.0.2.0.6.0-101

两者都取自 hortonworks 发行版。HADOOP_HOME、HCAT_HOME、SQOOP_HOME 等所有路径均已正确设置。我可以通过在 sqoop 中运行 list-database、list-tables 命令从 mysql 数据库中获取数据库列表、表列表。甚至可以从 --query 'select * from widgets' 中获取数据；但是当我使用 --table 选项时出现错误。

我正在尝试在我的系统中安装所有 apache hadoop 组件。我安装了hadoop-2.2.0、hive-0.11.0、pig-0.12.0、hbase-0.96.0，现在是时候安装sqoop了。所以请建议我安装与hadoop-2.2.0和hbase兼容的sqoop的步骤。

希望尽快回复谢谢提前回复。

sqoop 客户端参数支持导出为 Avro 格式为，

--as-avrodatafile+

但是在查看 Hue 和 Sqoop 的客户端 Java API 时，它只支持 TEXT_FILE 和 SEQUENCE_FILE。如何启用对 AVRO 的支持以及如何使用它的任何文档？Avro 会根据列名创建架构吗？

编译最新的 Sqoop2 时，由于缺少依赖项而出现错误：

org.apache.sqoop:sqoop-core:test-jar:tests:2.0.0-SNAPSHOT

如何安装这个罐子？

我正在运行：

阿帕奇 Maven 3.2.1

Java版本：1.7.0_51

CentOS 6.5，内核 2.6.32-431.5.1.el6.x86_64

使用以下命令构建 Sqoop2 时：

mvn 包 -Pbinary

我收到一个错误：

“执行 org.apache.maven.plugins:maven-site-plugin:3.0-beta-3:site:org/sonatype/aether/graph/DependencyFilter 时缺少所需的类”

如何构建 Sqoop2？

我正在运行：

阿帕奇 Maven 3.2.1

Java版本：1.7.0_51

CentOS 6.5，内核 2.6.32-431.5.1.el6.x86_64

请帮助从源代码构建 Sqoop2。我在 CentOS 6.5 上使用 Maven 3.2.1。当我尝试使用命令编译 Sqoop2 时：

我得到异常是由于：

当我尝试使用命令构建 Sqoop2 时：

我得到异常是由于：

有任何想法吗？

我有 3 个节点的 hadoop 2.2.0 集群，上面安装了 sqoop 2。当我启动 sqoop 服务器时，出现以下异常：

原因是什么？

我正在尝试将数据从 mssql 服务器导出到配置单元。我正在使用以下命令将数据从用户表导出到配置单元。

我收到以下错误消息。

至少，您必须为 mysqldump 指定 --connect 和 --table 参数，并且可以在命令行上的“--”之后提供其他子程序。

如果我删除 --query 参数，它会使用默认查询来导出数据并且它工作正常。

我也试过 -e 参数仍然得到同样的错误。

这里可能是什么问题？