问题标签 [amazon-kcl]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
41 浏览

amazon-web-services - dynamoDB 流 KCL 消费者,有 1 个工作人员和多个分片,需要更长的时间来挑选新的流记录

我有一个 KCL 消费者应用程序,其中 1 名工作人员正在使用 dynamodb 流。在检查点表中,我可以看到工作人员已经租用了多个分片/租约,并且它不断增加每个租约的租约计数器。现在,每当 dynamodb 表中发生任何记录更改时,选择该更改大约需要 10 个小时。每次我重新启动消费者应用程序时,我都使用了TRIM_HORIZON创建了一个新的 workerId 。如果工作人员只处理一个分片/租约,则只需几秒钟即可处理更改。我在配置 KCL 工作程序时可能做错了什么。请帮助我。

0 投票
0 回答
28 浏览

amazon-web-services - 将 DynamoDB 的本地实例与 Amazon Kinesis KCL 结合使用

有没有办法将检查点/租约表存储在本地托管的 DynamoDB 上?我在 KCL 配置中看不到任何指定连接的方法,AWS 文档也无济于事。我想避免分叉 KCL 代码。

如果这很重要,我将 KCLPy 与 Python 一起使用。

0 投票
0 回答
27 浏览

amazon-kinesis - 测试 Amazon Kinesis KCL SubscribeToShardEvent.MillisBehindLatest 指标

我目前正在使用 Amazon Kinesis 和 KCL 实施生产者/消费者场景。

我想通过指标监控我的消费者是否落后SubscribeToShardEvent.MillisBehindLatest

为了模拟一个缓慢的消费者,我在每个processRecords实现中添加了 3 秒的睡眠时间。

我的假设是,如果我不断地将记录插入流中,我的消费者将会落后。但我的流只看到 0.0 的值。

我看到更高数字的唯一方法是停止我的消费者然后重新开始。在开始的短暂时刻,消费者具有很高的价值,但随后很快就赶上了。

所以我想我的问题是:我怎样才能模拟一个缓慢的消费者,这会在我的监控中引发警报?