3

我的用例如下：我有 JSON 数据进来，需要以 parquet 格式存储在 S3 中。到目前为止一切顺利，我可以在 Glue 中创建一个模式并将“DataFormatConversionConfiguration”附加到我的 firehose 流中。但是数据来自不同的“主题”。每个主题都有一个特定的“模式”。据我了解，我将不得不创建多个 firehose 流，因为一个流只能有一个模式。但是我有成千上万个这样的主题，传入的数据量非常大。创建这么多的 firehose 资源（ https://docs.aws.amazon.com/firehose/latest/dev/limits.html）看起来并不可行

我应该如何构建我的管道。

4

1 回答 1

4

海事组织你可以：

  • 要求升级您的 Firehose 限制并使用 1 个 Firehose/流 + 添加 Lambda 转换以将数据转换为通用模式 - IMO 不具有成本效益，但您应该看到您的负载。

  • 为每个 Kinesis 数据流创建一个 Lambda，将每个事件转换为由单个 Firehose 管理的架构，最后可以使用 Firehose API https://docs.aws.amazon.com/firehose/将事件直接发送到您的 Firehose 流latest/APIReference/API_PutRecord.html（请参阅“问：如何将数据添加到我的 Amazon Kinesis Data Firehose 传输流？”这里https://aws.amazon.com/kinesis/data-firehose/faqs/） - 而且，请检查之前的成本，因为即使您的 Lambda 是“按需”调用的，您也可能在很长一段时间内调用了很多它们。

  • 使用其中一种数据处理框架（Apache Spark、Apache Flink 等）并以 1 小时为单位从 Kinesis 读取数据，每次从您上次终止时开始 --> 使用可用接收器转换数据并写入镶木地板格式。框架使用检查点的概念并将最后处理的偏移量存储在外部存储中。现在，如果您每小时重新启动它们，它们将开始直接从上次看到的条目中读取数据。- 它可能具有成本效益，特别是如果您考虑使用 Spot 实例。另一方面，它需要比之前的 2 个解决方案更多的编码，并且显然可能具有更高的延迟。

希望有帮助。您可以就选择的解决方案提供反馈吗？

于 2019-04-16T08:43:41.047 回答