amazon-s3 - 使用 Kinesis 从 S3 加载到 Redshift

Question

我在 S3 中收到我的源文件，我需要将此数据加载到 redshift 中。

源 S3 文件通过 Kinesis Firehose 填充。

资源 ：

                 via Kinesis
     Webstreams -------------- > S3

要求 ：

                 via Kinesis
     Webstreams -------------- > S3 ------> Redshift

我想知道我是否可以使用 Kinesis 从 S3 加载到红移。

谢谢和问候， Srivignesh KN

Answer 1

Amazon Kinesis Firehose can send incoming streaming data to Amazon S3, Amazon Redshift and Amazon Elasticsearch Service.

Please note that a Firehose stream is slightly different to a normal Kinesis stream. It has a slightly different format and is fully automated. It will not accept your file from Amazon S3, but it will create its own files.

Answer 2

您可以使用该COPY命令将数据从 S3 复制到 Redshift

更多细节在这里

Answer 3

我已经通过以下方式解决了这个用例。

1. 创建了一个 API Gateway 端点。

应用程序将卷曲网关端点并发布记录。

2. Firehose 将成为 API 网关的端点。

3. 因此，记录流式传输到 S3 中间存储桶并加载到 redshift。

整个流程如下：

WebStreams -> API Gateway -> Kinesis Firehose -> S3 (Intermediate Bucket) -> Redshift.

感谢和问候，

斯里维涅什 KN