0

我是亚马逊 MapReduce 的新手。谁能告诉我如何轻松地从 Hive 作业向 Amazon 的 SQS（简单队列服务）提交消息？我想将指向我工作的 S3 结果的指针放入 SQS 以便更简单的自动检索。

4

2 回答 2

0

我认为您不能从 HIVE 本身调用 SQS，但是，您可以创建一个脚本（如 Steve 建议的那样）来调用 SQS 和 Hive。您可以在 Hive 脚本开始之前以及在 Hive 作业结束之后调用 SQS，并使用指向存储（或将存储）结果的位置的指针。

于 2012-01-31T15:41:17.827 回答
0

另一种可能的方法：

  1. 创建一个新的 DynamoDB 表；设置一个 lambda，它将使用 SQS 流在每个新项目上推送一个 SQS

  2. 在 Hive 中，每次要推送 SQS 时将记录插入该表

于 2020-11-24T00:32:36.927 回答