hadoop - 用于 Hadoop 的 DynamoDB 输入格式

Question

我必须使用 Hadoop map reduce 处理一些保存在 Amazon Dynamo DB 中的数据。

我在互联网上搜索 Dynamo DB 的 Hadoop InputFormat，但找不到。我不熟悉 Dynamo DB，所以我猜有一些与 DynamoDB 和 Hadoop 相关的技巧？如果有这种输入格式的任何实现，你能分享一下吗？

Answer 1

经过大量搜索后，我在 Amazon 的一个库中找到了 DynamoDBInputFormat 和 DynamoDBOutputFormat。

在 amazon elastic map reduce 上有一个名为 hive-bigbird-handler 的库，其中包含 dynamoDB 的输入和输出格式。完整的类名是：org.apache.hadoop.hive.dynamodb.write.DynamoDBOutputFormat 和 org.apache.hadoop.hive.dynamodb.read.DynamoDBInputFormat

我希望这些课程对社区有用。

Answer 2

找不到可以直接在 MapReduce 中使用的 InputFormat。但是，这里有一篇文章AWS HowTo：使用 Amazon Elastic MapReduce 和 DynamoDB（Guest Post）来使用 Hive 运行 MarReduce 作业。