1

我正在寻找将数据移动到 HDFS 系统上的方法,想知道 Apache Sqoop 是否可用于从外部 REST 服务中提取/提取数据?

4

2 回答 2

1

我最喜欢从 REST 服务中提取数据的方式:

卷曲 http:// | hdfs -put - /my/hdfs/目录

于 2014-11-06T00:59:13.107 回答
0

来自http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html

Sqoop 是一种旨在在 Hadoop 和关系数据库之间传输数据的工具。您可以使用 Sqoop 将数据从 MySQL 或 Oracle 等关系数据库管理系统 (RDBMS) 导入 Hadoop 分布式文件系统 (HDFS),在 Hadoop MapReduce 中转换数据,然后将数据导出回 RDBMS。

所以它不支持从 REST 服务导入数据。

于 2014-11-05T14:35:23.747 回答