问题标签 [amazon-dynamodb-streams]

是否可以使用 batchgetitem api 从 dynamodb 全局二级索引中检索行？如果我的目标是也基于一些非键属性从主表中检索数据，但数据应该在 100 个项目的批次中检索 - GSI 索引是否不适合这里？

BatchItemGet API 也可用于查询吗？假设一个表具有主键和排序键，并且相同的主键可以有多个排序键我可以使用仅主键的 batchItemGet 检索多个主键，还是不会在这里使用？

We have a requirement wherein we log events in a DynamoDB table whenever an ad is served to the end user. There are more than 250 writes into this table per sec in the dynamoDB table.

We would want to aggregate and move this data to Redshift for analytics.

The DynamoDB stream will be called for every insert made in the table i suppose. How can I feed the DynamoDB stream into some kind of batches and then process those batches. Are there any best practices around such kind of use cases ?

I was reading about apache spark and seems like with Apache Spark we can do such kind of aggregation. But apache spark stream does not read the DynamoDB stream.

Any help or pointers is appreciated.

Thanks

有没有人尝试在 Apache Flink 中使用 DynamoDB 流？

Flink 有一个 Kinesis 消费者。但我正在寻找如何直接使用 Dynamo 流。

我尝试了很多搜索，但没有找到任何东西。然而，在 Flink Jira 板上发现了一个未决请求。所以我猜这个选项还不可用？我有什么选择？

允许 FlinkKinesisConsumer 适应 AWS DynamoDB Streams

有没有办法使用 aws sdk javascript 禁用 Dynamodb 流？

在对其他服务进行一些维护时，我需要停止将数据流式传输到我的 lambda 函数。

我正在尝试从 DynamoDB 表设置 ElasticSearch 导入过程。我已经创建了 AWS Lambda 并启用了带有触发器的 DynamoDB 流，该触发器为每个添加/更新的记录调用我的 lambda。现在我想执行初始种子操作（将当前在我的 DynamoDB 表中的所有记录导入到 ElasticSearch）。我怎么做？有没有办法让表中的所有记录都被“重新处理”并添加到流中（这样它们就可以被我的 lambda 处理）？还是编写一个单独的函数来手动读取表中的所有数据并将其发送到 ElasticSearch 更好——所以基本上有 2 个 lambda：一个用于初始数据迁移（仅执行一次并由我手动触发），另一个用于同步新记录（由 DynamoDB 流事件触发）？

感谢所有的帮助:)

我在 dynamodb 中有一个未启用 Stream 的现有表。有没有办法使用 cloudforamtion 脚本在这个预先存在的表上启用流？

我按照这篇博文中的描述设置了 Elasticsearch Service 和 DynamoDb 流。 现在我需要将预先存在的数据从 DynamoDB 添加到 Elasticsearch。

我看到文章的“索引预先存在的内容”部分，但我不知道如何处理该 Python 代码，在哪里执行它。

在这种情况下添加预先存在的数据的最佳选择是什么？

我按以下顺序填充 dynamodb 中的记录：

具有相同前缀 (Ai) 的记录具有相同的分区键，但排序键不同。假设上面列出的所有记录恰好属于同一个分区，因此所有这些记录都将进入同一个流分片。

现在，如果我使用 KCL 处理这个分片，我能保证以相同的顺序获得上述记录吗？我知道对相同记录的更改按顺序出现在流中，但顺序是否也适用于记录？

我正在开展一个管理文档的项目（例如：创建、阅读、维护不同版本等），我的计划是使用以下 AWS 架构。

创建/更新文档时，它将通过 API Gateway S3 代理保存到启用版本的 s3 存储桶中。S3 put 事件将触发 lambda 以获取最新版本和所有版本 id 并将其保存到 DynamoDB。一旦将其保存在 DynamoDB 表中，它将通过 DynamoDB 流在 Elasticsearch 中建立索引。

我的计划是对所有搜索查询使用 Elasticsearch。我将从 DynamoDB 加载最新的文档。由于每条记录都有 S3 版本 ID，我也可以从 S3 查询旧版本。

由于我的架构很大程度上依赖于最终的一致性，即（S3 到 DynamoDB 和 DynamoDB 到 Elastic Search），我担心在创建文档后查询 Elasticsearch 或查询 DynamoDB 时我不会获得最新的文档数据。

任何改进建议将不胜感激。

谢谢！

我想删除表中特定的字符串匹配项。例如，Table1是具有Foo123Bar和Foo345Bar在name列。

我想删除name列中的两个记录。