hadoop - 无法使用 Mapreduce 将数据加载到 Htable

Question

我对 Hbase 和 Hadoop 很陌生。我对 MapReduce 概念感到困惑，我想知道 Mapreduce F/w 中的执行流程。我尝试在 Google 上搜索一种从文件中读取数据并Put使用 reducer 的类将数据加载到 Htable 中的方法。我在 HDFS 中有一个文件，我需要从 Hbase Mapreduce 读取该文件并将数据加载到 Htable 中。

谁能告诉我我哪里出错了？

Answer 1

不要使用减少步骤。在您的地图类中，当您获得一条记录时，将其直接插入 HBase。在将 put 发送到 HBase 之前，无需对 put 进行洗牌/排序。这意味着您所要做的就是为您的 HTable 创建一个实例变量并在 setup 方法中对其进行初始化；然后在您的地图方法中，为您的记录创建一个放置，并将其添加到您的 HTable。最后，在你的清理方法中，确保你刷新了你的 HTable。

Answer 2

您可以使用没有 reducer 的 Mapper。因为reducer可以用于排序，你只需要将文件数据直接存储在Hbase中。