问题标签 [amazon-kinesis-kpl]

我正在使用 kcl api 版本 2，并且不想使用 Dynamodb Client 来存储记录。

如您所见，我评论了 DynamodbClient 的初始化，但在该方法中，必须传递 Dynamoclient 的对象。所以我作为 null 传递，但出现空指针异常，您能否分享您的想法如何在没有 dynamodb 客户端的情况下使用调度程序?

我开始使用两者KPL并KCL在服务之间交换数据。但是每当consumer service离线时，发送的所有数据KPL都将永远丢失。所以我只得到那些在consumer service启动并且shardConsumer准备就绪时发送的数据块。我需要从最后一个消费点开始，或者以其他方式处理留下的数据。

这是我的ShardProcessor代码：

和配置代码：

我有带有 kinesis binder 的 spring 云流应用程序

如果不存在，应用程序可以在启动时创建资源：kinesis 流、kcl 的 dynamodb 表

我希望在创建这些资源时能够为每个资源添加自定义标签，就好像我可以从控制台、cli 或 java sdk 工具创建它们一样

这可能吗 ？我怎样才能做到这一点？一些例子会很棒

谢谢

我想使用启用了 KPL/KCL 的 Spring Cloud Stream kinesis binder。但是，当我通过使用kpl-kcl-enabled: true以下错误启用它时，不断出现：

经过多次尝试重新启动它后，它会抛出内存不足异常：

我将 kinesis 集成到我的 java springboot 项目中，我能够将数据发布到 kinesis 流中，但是在使用它时出现如下错误：

错误出现在下面的行：

我在我的 pom.xml 中使用以下版本进行集成：

com.amazonaws(sdk) : 1.11.980 和 kcl (amazon-kinesis-client) 版本: 1.9.0

我知道 KinesisClientLibConfiguration 在 1.9.0 中已弃用，所以我也使用了 1.14.2，但问题仍然相同。

有人可以帮我吗？

提前致谢

我正在使用启用了 KPL/KCL 的用于 Kinesis 的 Spring Cloud Stream Binder。我们希望禁用 Cloudwatch 指标，而不必自己管理 KPL 和 KCL 的配置（完全覆盖 bean）。我们希望对除和属性之外的KinesisProducerConfiguration每个属性使用相同的 bean 定义。KinesisClientLibConfigurationKinesisProducerConfiguration.setMetricsLevel()KinesisClientLibConfiguration.withMetricsLevel(...)

作为参考，这里是在 Spring Cloud Stream Kinesis Binder 中定义 AWS bean 的位置：KinesisBinderConfiguration.java

最有效的方法是什么？

任何帮助表示赞赏！谢谢。

我们正在为超过 10000 台移动设备构建一个应用程序，这些设备预计每 10 秒发送一次监控日志。有效负载预计为 1 KB 大小。

因为，我们正在为我们的用例考虑 aws 云，所以 aws 提供了 kinesis 数据流来实时收集数据，它有助于我们的用例

1. 可视化实时日志
2. 使用 AI 识别问题模式并近乎实时地修复
3. 身份记录并发出警报

现在的问题是，既然该应用程序将安装在移动设备上，那么与后端流进行通信的最佳方式是什么？我们是否应该考虑在中间编写一个 HTTP 服务器，以便我们可以用另一种具有成本效益的解决方案替换流，比如 kafka（在 EC2 上），或者如果让数据直接放在 Web 上的流上并在移动设备中具有可配置的接口更明智应用程序根据需要向流/http 用户发送数据。考虑到 kenisis SDK 可能会稍微增加应用程序的大小。

我正在使用 Amazon Kinesis Producer Library 向 Amazon Kinesis 发送一些数据。但是，我无法调试该问题，因为 Kinesis 在并发线程上工作，并且异常未在 ExecutionException/InterruptedException 中捕获。

这是示例实现。

运行的输出