问题标签 [sqoop2]

我正在尝试使用 sqoop2 将数据导入配置单元表。我正在使用--hive-import，但它不工作

代码：

错误：

错误 manager.SqlManager：执行语句时出错：com.microsoft.sqlserver.jdbc.SQLServerException：无效的对象名称“XXXX.NOTIFICATION”。

我究竟做错了什么？

据我了解，sqoop 用于将表/数据从数据库导入或导出到 HDFS 或 Hive 或 HBASE。

我们可以直接导入单个表或表列表。内部 mapreduce 程序（我认为只有 map 任务）将运行。

我的疑问是什么是 sqoop direct 以及什么时候使用 sqoop direct 选项？

使用 sqoop 作业，我们可以使用--lastval

但是我们如何对 shell 脚本做同样的事情，以及--lastval当我们自动化脚本时我们将如何获得呢？

我的意思是如何存储--lastval以及如何将其传递给下一次

预先感谢您的帮助！

我需要你的帮助！
3 天我无法通过 Sqoop Rest API 创建链接。
安装在克劳德拉的 Hadoop 集群上的 Sqoop2 服务器
我发送带有正文的 post 请求：

服务器返回错误：

我阅读了文档，但找不到正确的 json 结构的解决方案。

sqoop 评估命令：

给我输出：

警告：/usr/hdp/2.3.2.0-2950/accumulo 不存在！Accumulo 导入将失败。请将 $ACCUMULO_HOME 设置为 Accumulo 安装的根目录。警告：/usr/hdp/2.3.2.0-2950/zookeeper 不存在！Accumulo 导入将失败。请将 $ZOOKEEPER_HOME 设置为 Zookeeper 安装的根目录。16/10/05 18:38:17 INFO sqoop.Sqoop：运行 Sqoop 版本：1.4.6.2.3.2.0-2950 16/10/05 18:38:17 WARN tool.BaseSqoopTool：在命令上设置密码-线路不安全。考虑改用 -P。16/10/05 18:38:17 WARN sqoop.ConnFactory：参数--driver 设置为显式驱动程序，但未设置适当的连接管理器（通过--connection-manager）。Sqoop 将退回到 org.apache.sqoop.manager.GenericJdbcManager。请明确指定下次应使用哪个连接管理器。16/10/05 18:38:17 INFO manager.SqlManager: 使用默认 fetchSize 1000 -------------- | 最大（日期）| -------------- | 2014-01-25 |

但我希望输出没有警告和表格边界，例如：

最大值(rdate) 2014-01-25

我基本上想将此输出存储到文件中。提前致谢

我正在尝试将数据从 mapr hive 导出到 Vertica。为此，我使用了以下 sqoop 命令。

但我最终得到以下错误：

您能否告诉我如何使用 Sqoop 将数据导出到 vertica 谢谢，Bhaskar。

我正在使用 sqoop 1.99.7，hadoop 2.7.2

首先，当我请求使用 json 来“/sqoop/v1/link”时（“ http://sqoop.apache.org/docs/1.99.7/dev/RESTAPI.html#v1-link-post-create-link ” ），我遇到了“链接”键丢失错误。所以我试图获取链接信息。当我从'get link rest api'得到时，我使用了json结构。但我得到 NullPointException

这个

我发现文档中的一些 api 不起作用

喜欢

• 获取连接器
• 获取链接

我想更多..

这是我的问题吗？我怎样才能解决这个问题？

补充：外壳工作正常

是否可以通过 sqoop2(1.99.7) 中的 Java API 调用 mysql 存储过程？

我可以在 sqoop2 中找到任何与调用存储过程相关的内容。

有人知道吗？

给定 RecordA 的 avro 记录模式为

和 RecordB avro 记录为

sqoop-export 中是否有一种机制，通过它我可以将 mysqoopfield 的值导出到 RDBMS，其中的表只有 mysqoofield 列？

试过

这是行不通的。这 。由 AvroExportMapper 转换为“_”。在进一步挖掘之前是否支持这一点？似乎也不能为 sqoop 提供自定义映射器实现？

我正在使用带有最新版本的 Sqoop2 (1.99.7) 的 Hadoop 进行测试，并且在运行 sqoop2-server 时，出现以下错误：

我目前的设置：

• 为 Hadoop使用最新的https://hub.docker.com/r/sequenceiq/hadoop-docker/映像
• 下载最新的 Sqoop2 二进制文件 ( http://sqoop.apache.org/ ) 并将它们安装到 /usr/lib/sqoop/ 的运行容器中
• 运行 /usr/lib/sqoop/bin/sqoop2-server start

我能想到的最好的结果是 Sqoop 没有加载 Hadoop 类路径，因为所需的 JAR 似乎位于 /usr/local/hadoop/shared/*。

我能在网上找到的大部分文档都是针对 1.99.7 之前的版本，但是这个版本的一个主要变化是 Sqoop 服务器从 Tomcat 迁移到了 Jetty，所以所有的 catalina 配置选项都没有实际意义。

有人可以帮我弄清楚如何让 Sqoop 服务器运行吗？