我在 PostgreSQL 数据库中有数据，我想获取它、处理它并将其保存到 HBase 数据库中。是否可以在 Map 操作中以某种方式分发 JDBC 操作？
问问题
961 次
2 回答
3
是的，您可以通过以下方式做到这一点DBInputFormat：
DBInputFormat用于JDBC连接到数据源。因为JDBC被广泛实施，DBInputFormat可以与MySQL、PostgreSQL和其他几个数据库系统一起使用。各个数据库供应商提供JDBC驱动程序以允许第三方应用程序（如Hadoop）连接到他们的数据库。
这DBInputFormat是一个InputFormat允许您从数据库中读取数据的类。AnInputFormat是 Hadoop 对数据源的形式化；它可以表示以特定方式格式化的文件、从数据库中读取的数据等。DBInputFormat它提供了一种从数据库中扫描整个表的简单方法，以及从SQL对数据库执行的任意查询中读取的方法。
于 2013-07-16T20:24:51.890 回答
2
我认为您正在寻找 Sqoop，它旨在从 SQL 服务器导入 HDFS 堆栈技术。它将从 JDBC 连接获取的数据放入 HDFS，从而将其拆分到您的 Hadoop NameNode 中。我相信这就是您正在寻找的。
SQl 到 hadOOP = SQOOP，明白了吗？
Sqoop 可以导入 HBase。请参阅此链接。
于 2013-07-16T20:15:50.247 回答