amazon-web-services - 使用 AWS Kinesis Data Analytics 使用 DynamoDB 流

Question

我正在使用 Kinesis Firehose 通过 lambda 使用 Dyanamo DB 流并将这些记录推送到 S3 存储桶，Glue 作业每小时运行一次以从 S3 中挑选记录，执行重复数据删除，然后最后将记录插入 Redshift。

有什么方法可以将 Dynamo Streams 中的记录消耗到“Kinesis Data Analytics”，然后在此处执行重复数据删除并将记录插入 Redshift？

我浏览了一些链接https://issues.apache.org/jira/browse/FLINK-4582，在 Apache Flink 中使用 DynamoDB 流。

• 这里提到我们可以使用FlinkKinesisConsumer来消费 DynamoDB 流

. 那么我们可以在 Kinesis Data Analytics 中使用这个 FlinkKinesisConsumer，然后直接使用 Dynamo Stream 吗？

Answer 1

使用 Flink 作为 Kinesis Data Analytics 的运行时。

来源：https ://docs.aws.amazon.com/kinesisanalytics/latest/java/how-sources.html

'FlinkKinesisConsumer' 可用于适配 Dynamo DB Streams ( https://issues.apache.org/jira/browse/FLINK-4582 )。

目的地： https ://docs.aws.amazon.com/kinesisanalytics/latest/java/how-sinks.html

“FlinkKinesisFirehoseProducer”可用于写入“Kinesis data firehose”。没有与 Redshift 的直接集成。