如何将数据从mysql导入HDFS。我不能使用 sqoop，因为它是 HDFS 安装而不是 cloudera。我使用下面的链接来设置 HDFS。我的 hadoop 版本是 0.20.2 http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/
问问题
928 次
2 回答
1
与您的问题没有直接关系，但如果您想将数据库用作 Map Reduce 作业的输入，并且不想复制到 HDFS，您可以使用 DBInputFormat 直接从数据库输入。
于 2012-06-11T13:24:54.193 回答
0
除了 sqoop，你可以试试hiho。我听说过它的好消息。（虽然没用过）
但我所看到的主要是人们最终编写自己的流程来做到这一点。如果 hiho 不成功，您可以使用mysqlimport从 MySql 转储数据。然后使用 map-reduce 作业或 Pig/Hive 加载到 HDFS。
听说 Sqoop 很不错，被广泛使用（这又是道听途说，我自己没用过）。现在它是一个 apache 孵化器项目，我认为它可能已经开始支持 hadoop 的 apache 版本，或者至少可能会减少非 cloudera 版本的痛苦。该文档确实说它支持 Apache hadoop v0.21。尝试使其适用于您的 hadoop 版本。可能没那么难。
于 2012-06-11T12:50:52.760 回答