5

当我读到 AWS 数据管道时，这个想法立即产生了 - 为 kinesis 生成统计数据并在管道中创建一个作业，该作业将使用来自 kinesis 的数据并将其复制到每小时进行一次红移。一气呵成。

但似乎管道中没有可以消耗运动的节点。所以现在我有两个可能的行动计划：

  1. 创建实例，其中 Kinesis 的数据将被消耗并按小时发送到 S3。管道将从那里复制到 Redshift。
  2. 从 Kinesis 消费并在现场直接生成 COPY 到 Redshift。

我该怎么办？没有自定义代码，是否无法仅使用 AWS 服务将 Kinesis 连接到 redshift？

4

3 回答 3

5

现在可以通过名为Kinesis Firehose的新托管服务在没有用户代码的情况下执行此操作。它管理所需的缓冲间隔、临时上传到 s3、上传到 Redshift、错误处理和自动吞吐量管理。

于 2016-01-14T03:04:06.390 回答
2

这已经为您完成了！如果您使用 Kinesis 连接器库，则有一个用于 Redshift 的内置连接器

https://github.com/awslabs/amazon-kinesis-connectors

根据您必须处理连接器的逻辑，可以很容易地实现。

于 2014-11-22T00:01:43.387 回答
0

您可以使用 InstantStack 创建和编排完整的管道，以从 Kinesis 读取数据、对其进行转换并将其推送到任何 Redshift 或 S3 中。

于 2016-07-10T09:51:18.993 回答