问题标签 [sqoop]

问问题

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

2574 问题
Newest
Active
Bountied
318
Unanswered
0 投票
1 回答
1224 浏览

import - Sqoop 的增量类型 lastmodified 不做增量导入

我正在使用 Sqoop v1.4.2 对作业进行增量导入。这些职位是：
--create job_1 -- import --connect <CONNECT_STRING> --username <UNAME> --password <PASSWORD> -m <MAPPER#> --split-by <COLUMN> --target-dir <TARGET_DIR> --table <TABLE> --check-column <COLUMN> --incremental append --last-value 1

笔记：

  1. 增量类型是追加
  2. 就业创造成功
  3. 作业执行多次成功
  4. 可以看到在 HDFS 中导入的新行

--create job_2 -- import --connect <CONNECT_STRING> --username <UNAME> --password <PASSWORD> -m <MAPPER#> --split-by <COLUMN> --target-dir <TARGET_DIR> --table <TABLE> --check-column <COLUMN> --incremental lastmodified --last-value 1981-01-01

笔记：

  1. 增量类型是 lastmodified
  2. 作业创建成功，表名与job_1中使用的不同
  3. 作业执行仅第一次成功
  4. 可以看到为在 HDFS 中首次执行而导入的行

  5. 后续作业执行失败并出现以下错误：

    /li>
0 投票
1 回答
1449 浏览

hdfs - “YYYYMMDD”：尝试通过 SQOOP 时出现无效标识符错误

请帮助我解决以下错误。在 oracle 中检查时工作正常，但在尝试通过 SQOOP 导入时失败。

版本：Hadoop 0.20.2-cdh3u4 和 Sqoop 1.3.0-cdh3u5

错误：

12/10/10 09:33:21 ERROR manager.SqlManager: Error execution statement: java.sql.SQLSyntaxErrorException: ORA-00904: "YYYYMMDD": invalid identifier

其次是....

2010 年 12 月 10 日 09:33:21 错误 sqoop.Sqoop：运行 Sqoop 时出现异常：java.lang.NullPointerException

感谢和问候，

泰米尔语

0 投票
5 回答
14521 浏览

sqoop - Apache Sqoop 通信链路故障

当我在一个集群aaaaaa1（aaaaaa2

请帮助我确定导致此问题的原因。谢谢！

0 投票
2 回答
1139 浏览

mysql - 将 HBase 表导出到 mysql

我正在使用 hbase-0.90.6。我想将数据从 HBase 导出到 mysql。我知道两步过程，首先通过运行 mapreduce 作业将 Hbase 数据拉入平面文件，然后将平面文件数据导出到 mysql。

他们是我可以用来将这两个步骤减少到一个的任何其他工具吗？或者我们可以使用 sqoop 一步完成。谢谢。

0 投票
1 回答
1237 浏览

sql-server - 从由 sqoop 导入创建的 hive 表中导出 sqoop

我已经使用 Cloudera CDH4.1 上的 SQOOP 成功地将一个简单的 2 列 SQL Server 数据导入 HIVE。- id (int) - 描述 (varchar(50))

当我尝试让同一个 HIVE 表返回到 SQL Server 时，它会将两列合并在一起，因此会创建一个 NumberFormatException。

我已经尝试了 --fields-terminated by \t --lines-terminated-by \n 但这没有任何区别。

我还尝试导出 Cloudera 提供的 sample_08 Hive 表，但得到 NoSuchElement 异常。希望它能给出它认为不存在的元素的线索！

我确保表结构和字段名称在两边都相同，包括大小写和下划线。

我可以导出一个单列表，但对于如何解决这个问题绝对感到困惑。

任何帮助将不胜感激。

0 投票
1 回答
1616 浏览

sql-server - Sqoop 自由形式查询按别名拆分

我想将数据从 MsSQL 导入到 HBase，运行一个自由形式的查询，该查询在我想要拆分的键上有一个别名。例如我的查询是：

我想按这个别名字段拆分工作单元。所以，在我的 sqoop 查询中，我可以--split-by 'xyz'选择。但是，这行不通。我得到：

那么，我怎样才能让 sqoop 使用这个别名选择字段呢？

0 投票
2 回答
4321 浏览

mysql - 如何将大型mysql转储导入hadoop？

我需要将维基百科转储（mysql 表，解压文件大约需要 50gb）导入 Hadoop（hbase）。现在首先我将转储加载到 mysql 中，然后将数据从 mysql 传输到 hadoop。但是将数据加载到 mysql 需要大量时间 - 大约 4-7 天。是否可以将mysql转储直接加载到hadoop（通过一些转储文件解析器或类似的东西）？

0 投票
2 回答
751 浏览

hadoop - Fedora 15上的sqoop安装错误

我正在尝试在我的机器上安装 sqoop，我从这里下载了 tar 文件

并尝试通过查看here来安装

所以当我尝试下面的命令时，我得到如下错误

错误

上面的命令有什么问题？

谁能告诉我安装 sqoop 的最简单方法？

实际上我有一个1GB xml需要处理并保存到 MYSQL 数据库中的文件，我使用 hadoop 和 python 来执行此操作，但它需要hrs处理和保存，所以我决定使用 sqoop 并处理 xml 文件并将数据保存在到数据库

另外请让我知道使用 sqoop 的基本且简单的教程

另外请提供一个基本代码来处理 xml 文件并将数据保存到数据库中，因为我是 sqoop 的新手。

0 投票
2 回答
1047 浏览

hadoop - 如何在 AS/400 服务器和 Hadoop 之间建立连接并移动数据？

如何从 AS/400 服务器上的 db2 获取数据/表到 Hadoop 文件系统？如何在 AS/400 服务器和 Hadoop 文件系统之间建立连接？

我知道我们可以使用 SQOOP 从 MySQL 服务器数据获取数据/表到 Hadoop 文件系统。

0 投票
1 回答
1462 浏览

hadoop - Sqoop 导出到超过 64 MB 的 RDBMS .lzo .gz 文件加载重复项

使用 sqoop 1.3

尝试将 hdfs 输出导出到 mysql 表

加载大小超过 300MB 的未压缩文件时，一切正常

但是在加载大小为 75 MB 或 79 MB 的压缩文件（.gz 和 .lzo）时，我看到加载到表中的行数增加了一倍。当压缩文件的大小为 60MB 或更小（猜测与 64 MB 相关的块大小）时，不会发生这种情况。我在上述情况下所做的一些操作：


12345678910