0

我想流式传输来自不同来源的数据 - 特别是 Twitter 和 reddit，并将其存储到 DynamoDB 表中。我对此很陌生，所以我不确定它是否可行。我正在考虑使用 2 个不同的线程，一个用于 Twitter，一个用于 Reddit。两个线程都将从相应的流中获取数据并插入到 DynamoDB 表中。

这看起来可行吗？是否可以在 DynamoDB 中进行并发写入？如果不是，那么在单个 DynamoDB 表上同时存储来自不同来源的数据的替代方法是什么？

4

1 回答 1

1

非常鼓励对 DynamoDB 执行并发写入。

创建 Amazon DynamoDB 表时，您可以指定每秒读取和写入吞吐量。要充分利用此容量，您可以在多个服务器上使用多个线程。

要从 DynamoDB 获得最佳吞吐量，请确保写入使用广泛分布的 Partition Keys，因为它们确定了数据在多个 DynamoDB 服务器之间的分区方式。每个分区都有容量的一个子集。如果许多读/写使用相同的分区键，吞吐量将降低，因为请求正在命中热分区。

于 2017-06-07T01:28:20.270 回答