0

我有多个 AWS kinesis 数据流/firehose，其中包含 CSV 格式的结构化数据。我需要使用 kinesis 数据分析对这些数据进行分析。但是如何将多个流合并为一个？因为 Kinesis 数据分析仅从一个流中获取数据。数据流可以存在于不同的区域。

问题：如何将 Kinesis 数据流合并为一个以进行 Kinesis 数据分析？

4

2 回答 2

1

我不知道是否有任何来自 AWS 的“现成”产品可以用来执行此操作，但如果您不介意编写一点代码，这非常简单。

  1. 创建一个将成为“合并流”的运动流（两个源流的事件都将放在此处。）
  2. 使用您选择的编程语言创建一个 lambda，并将触发器设置为您要合并的 kinesis 流。
  3. 对 lambda 进行编码以将其接收到的所有事件写入步骤 1 中创建的流。

生成的 kinesis 流应该包含您正在寻找的合并数据，并且可以使用它来进行分析。

于 2020-08-29T00:01:57.703 回答
0

这是一个迟到的答案，但为了完整性而更新它

您也可以使用适用于 Apache flink 的 Kinesis Data Analytics 来完成。https://docs.aws.amazon.com/kinesisanalytics/latest/java/how-it-works.html。如果您不介意用 Java/Python 语言编写一些代码，它是 AWS 的托管 Apache Flink 服务。

如果您正在探索流数据，即处于开发阶段，您可以使用 Studio notebook。 https://docs.aws.amazon.com/kinesisanalytics/latest/java/how-notebook.html

免责声明：我为 Amazon Kinesis 团队工作

于 2022-02-22T00:22:23.640 回答