将一个分片拆分为 2 个子分片时，父分片将关闭。预计记录处理器（此处使用 KCL）将在发生这种情况时检查点，如以下 KCL 源代码所示：

问题是：

• 这个检查站是必不可少的吗？

• 如果记录处理器没有检查点并吸收异常会发生什么？

我问的原因是因为在我的用例中，我想确保流中的每条记录都已处理到 s3，现在如果分片关闭，可能还有一些项目尚未刷新，因此我想确保他们会对子碎片的新消费者/工人感到不满？

如果我检查站，他们不会反感。

有任何想法吗？

提前谢谢。

给定具有多个分片的单个流，我假设每个应用程序都将通过 Kinesis 客户端库在从该流处理的记录上维护自己的检查点。但是，我发现很难找到阅读 AWS 上的文档是否属于这种情况。

我的问题是，如果我有两个 Kinesis 应用程序使用 KCL 连接到同一个流，它们是否会共享同一个检查点来处理记录？他们可以相互独立地处理记录吗？

我想从 Amazon Kinesis 流中获取最新记录。我打算从这条记录中提取时间戳并将其与消费者应用程序检查点的最后一条记录的时间戳进行比较，以检查消费者是否落后。

我不能使用最新的分片迭代器类型。这是因为 LATEST 指向最近的记录之后，所以它不能用于访问最近的记录。

有没有简单的方法来获取最新记录？

我正在考虑的一种方法是获取消费者最近处理的记录的序列号的分片迭代器，使用该分片迭代器发出 GetRecords 请求，从请求的结果中获取下一个分片迭代器，并重复直到GetRecords 请求不返回任何记录。

这种方法将涉及读取自消费者检查点以来的所有记录，这似乎是不必要的浪费。有什么办法可以请求所有这些记录吗？

我的情况如下：

数据将来自传感器到 Amazon Kinesis，Apache Storm 将在 Amazon Kinesis Storm spout 的帮助下集成到 Amazon Kinesis，然后在流处理之后，我想使用 Storm 输出到使用 Amazon Kinesis 客户端库编写的 Amazon Kinesis 应用程序中。

这可能吗？

兴趣是什么？

为 AWS Kinesis 编写 Logstash 输出插件。

已经实现了什么？

使用本教程，logstash-output-sqs-0.1.3.gem是从这个 GitHub 存储库构建的。

问题是什么？

plugin install使用以下命令安装 gem 文件：

Logstash 1.4.2

Logstash 1.5.0 beta1

Logstash 1.5.0 rc2

有哪些问题

• 哪个 Logstash 版本更适合插件开发？
• 如何解决此错误？

首先非常感谢您考虑我的问题。希望不要太傻。

我只是想知道是否有一种方法可以在将数据记录从流中取出时过滤 Kinesis Stream 上的数据。AWS 官方文档说分区键用于

“允许处理特定分片的消费者在设计时假设具有相同分区键的记录只会发送给该消费者”

无法指定（既不使用 REST API，也不使用KCL）我有兴趣直接读取数据记录的分区键。

具有相同分区键的数据记录将被散列到相同的分片，但是我们如何仅通过知道分区键就知道它是哪个分片？

最终的问题是：如何创建一个只接收特定分区键数据的消费者？/如何创建只接收它感兴趣的数据的消费者。

非常感谢您花时间考虑我的问题并分享您的想法！

更新 2021-02-10：

早于这个日期就得出了这个结论，但恰好在这个日期重新审视了这个问题。

为了那些刚刚阅读或开始使用 Kinesis 的人的利益：

我认为“一般分片”是（或者不确定分片的当前状态）不是为实现业务逻辑而设计的，而是主要用于处理数据量的扩展（一种大数据技术 - 在我的简单理解中）

同样，今天不确定 Kinesis，但要求仍然存在，我猜 Kafka 是这个问题的答案，但是 Kafka 可能仍然无法为您提供开箱即用的功能。

我想将 firebase 事件聚合为 kinesis 流 - 有没有办法在没有中间服务器的情况下将事件直接从 firebase 推送到 kinesis？firebase 可以触发来自 firebase 事件的休息调用或 kinesis 提要（值、添加、删除等...）

我正在使用 KinesisUtil 在 Spark 应用程序中使用 Kinesis 流。我正在使用的代码示例发出与 Kinesis Stream 上的分片数量一样多的“createStream”调用。

有没有办法让 KinesisUtil 连接到特定的分片？我正在实现一个需要特定 Spark 节点处理来自特定分片的事件的设计。

谢谢，兰吉特

我将 Kinesis 评估为移动客户端的日志记录前端，所有数据处理工作人员都在 Kinesis 后面运行。关于身份验证，正确的实施方式是什么？基本上，应用程序可以做的是，

1. 在应用程序中修复身份验证信息并在请求中提供用户 ID，使用 AWS 移动客户端将其发送到服务器端，这也允许坏人提交任意虚假请求

2. 在移动客户端和 Kinesis 之间实现一个服务器，并在发送到 Kinesis 之前应用我们自己的身份验证检查

3. 还是我错过了更好的练习？

在 Spark 流应用程序中，我可以在集群中的所有机器（而不仅仅是 Master）上并行化接收器吗？这样，Spark 集群中的所有节点都会同时从外部流中读取数据。