问题标签 [amazon-kinesis]

我有一个 .war，其中我们有一个 Kinesis 应用程序，它处理一个包含单个分片的流。我们在生产中部署了两个战争实例。结果，我最终会得到两个工人在一个带有单个分片的流上工作。处理此问题的推荐方法是什么？我尝试在本地开发机器上部署两次战争，从某种意义上说，每条记录只处理一次似乎很好。我知道 AWS 建议每个分片一个实例。从他们的文档中：

我需要将所有记录从各种服务器放入 kinesis 中，并且需要将数据输出到多个 S3 文件中。我一直在尝试使用 ShardID，但是无法成功。

能否请你帮忙？？？？

Python/Java 会很好。

在生产者-消费者 Web 应用程序中，为 kinesis 流分片创建分区键的思考过程应该是什么。假设我有一个包含 16 个分片的 kinesis 流，我应该创建多少个分区键？它真的取决于分片的数量吗？

在 AWS Kinesis Client Library (KCL)中有一个示例生成器，其中包含以下代码：

为什么 MemoryStream 会这样？他们不应该处理流吗？谢谢

我正在尝试找出可以将数据写入 kinesis 的托管服务。通过这种方式，我需要我的消息至少可以传送到 kinesis 流。使用 SQS 写入 Kinesis 是推荐还是好主意。我正在寻找可以水平扩展的解决方案。

我正在使用 AWS boto python 库。

我从 Jmeter 到我的 Web 应用程序的请求/秒达到 10000 个请求，该应用程序将数据写入 kinesis 流。我已经为 Stream 使用了 16 个 Shards。当我停止 Jmeter 时，我看到了一些未写入流的记录。我也有我的日志，但没有发现任何错误。这是我的示例代码

当我在这里打印计数时，收到了 25000 个请求。

而且，我在这里收到了 24900 个请求。

100 条缺失记录。

response无一例外都没有回应。

我开始做一个火花流工作，并为 kinesis 端点找了一个制作人。完成这项工作后，我开始制作消费者，但在构建它时遇到了问题。

我正在使用程序集插件来创建一个包含所有依赖项的单个 jar。项目的依赖如下。

)

当我运行程序集时，文件可以编译，但在合并阶段失败并出现错误

这是在添加 spark-streaming-kinesis-asl 依赖项时引起的。我该如何解决这个问题？我可以将依赖项标记为已提供，然后将 jar 添加到类路径中，但这真的不是我想做的事情。

我们想将数据直接从 EC2 Web 服务器流式传输到 RedShift。我需要使用 Kinesis 吗？最佳做法是什么？在存储这些数据之前，我不打算做任何特别的分析。我想要一个具有成本效益的解决方案（在加载之前使用 DynamoDB 作为临时存储可能会很昂贵）。

我们使用 Kinesis 作为 Lambda 的缓冲区，然后将其插入 Redshift。Lambda 函数在 S3 中创建一个文件，并在 Redshift 中执行 COPY 以插入数据。我们看到 Kinesis 的数据延迟非常高，我们担心这会导致超过 24 小时的数据被丢弃。我们目前有 3 个分片在运行，并且离我们的最大吞吐量还很远。

在同一时间段内，我们还看到进入 Kinesis 的数据量有所增加。然而，由于我们只使用了大约三分之一的写入吞吐量，我们不应该受到限制。任何 Lambda 或 Redshift 指标都没有波动。

附加文件显示了来自我们的 Kinesis 流的统计数据。什么可能导致这种情况发生，我将如何解决它？

PutRequestAPI 使用分区键来确定记录的分片 ID。即使响应PutRequest包含分片 id，它也不可靠，因为分片是可拆分的，因此记录可能会移动到新的分片。我找不到在消费者端确定特定分区键的分片 ID 的方法。

似乎 AWS 将分区键映射到 128 位整数键，但文档中没有解释散列算法。我想要做的是处理具有特定分区键的 Kinesis 流中的记录，这意味着它们将位于特定分片中，这样我就可以在特定分片中获取数据但我找不到合适的 API在文档中。