1

我试图以编程方式将 dynamodb 表加载到 HDFS（通过 java，而不是hive），我无法在网上找到有关如何执行此操作的示例，所以我想下载包含 org.apache.hadoop.hive.dynamodb 的 jar 和对过程进行逆向工程。

不幸的是，我也找不到该文件:(。

有人可以为我回答以下问题（按优先顺序列出）。

  1. 将 dynamodb 表加载到 HDFS 中的 Java 示例（可以作为表输入格式传递给映射器）。
  2. 包含 org.apache.hadoop.hive.dynamodb 的 jar。

谢谢！

4

2 回答 2

1

它在hive-bigbird-handler.jar。不幸的是，AWS 没有提供任何来源，或者至少没有提供有关它的 Java Doc。但是您可以在 EMR 集群的任何节点上找到该 jar：

/home/hadoop/.versions/hive-0.8.1/auxlib/hive-bigbird-handler-0.8.1.jar

您可能想查看这篇文章：

不幸的是，亚马逊还没有发布 hive-bigbird-handler.jar 的源代码，考虑到它的用处，这是一种耻辱。特别值得注意的是，它似乎还包括对 Hadoop 输入和输出格式的内置支持，因此可以直接在 MapReduce 作业上编写，直接写入 DynamoDB。

提示：搜索hive-bigbird-handler.jar以找到有趣的部分... ;-)

于 2013-06-13T19:02:20.330 回答
0

1- 我不知道有任何这样的例子，但你可能会发现这个库很有用。它提供 InputFormats、OutputFormats 和 Writable 类，用于在 Amazon DynamoDB 表中读取和写入数据。

2- 我认为他们没有公开发布它。

于 2013-06-13T02:57:07.803 回答