postgresql - HDFS 到 PostgreSQL

Question

我们需要一个流程来定期将数据从Hadoop 分布式文件系统 (HDFS)提取到关系数据库 (PostgreSQL)。我们需要每小时传输数百万条记录，我正在寻找最佳的行业标准来将数据移出 HDFS。有没有人有什么建议？这个想法是让 Web 应用程序与具有聚合数据的 PostgreSQL 交互。

Answer 1

Sqoop是为在关系数据存储和 Hadoop 之间移动数据而构建的。具体来说，您需要sqoop-export。