问题标签 [amazon-kinesis-analytics]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
prometheus - 如何将指标推送到 opentelemetry 收集器？
大家好，我想将指标从我的 Kinesis Data 分析推送到 OTLP 收集器到 prometheus。我发现 python 和其他 opentelemetry 包已将指标 api 标记为 alpha 并且进一步不稳定我看到指标 api 拉取请求仍然打开https://github.com/open-telemetry/opentelemetry-python/pull/1887。我该如何前进？是否有任何其他替代方法可以将指标从 Kinesis data Analytics 推送到 prometheus ？我们当前的流程 Kinesis Data Analytics->OtelCollector->OtelPrometheus Exporter->Prometheus
java - Apache flink 与 AWS kinesis 使用数据 - 获取 java.lang.NoClassDefFoundError: org/apache/flink/streaming/connectors/kinesis/FlinkKinesisConsumer
这是我连接 aws kinesis 的代码。当我尝试与 FlinkKinesisConsumer 连接时，它会抛出 Classnotfound 异常之类的错误。
我收到以下错误
在此先感谢您的帮助。
apache-beam - Apache Beam KDA 应用程序未创建检查点
我在 Amazon KDA 上部署了一个 Apache Beam 应用程序。
它使用默认设置启用了检查点。
但在应用程序日志中，我可以看到：
“存在依赖检查点的 UnboundedSources，但检查点已禁用。”
CheckpointInterval如果我作为运行时属性传递给我的应用程序，它只会检查点。那么有必要明确地传递这些值吗？
该应用程序基本上是从 Kinesis 中读取数据，将数据窗口化为大小约为 30 秒的固定持续时间，然后将数据发布回 PubSub。
应用程序 jar 包括：
- 梁-sdks-java-core:2.31.0
- 光束运行器-flink-1.11:2.31.0
- 梁-sdks-java-io-kafka:2.31.0
java - 使用 Flink 中的 AWS Kinesis RANDOM_CUT_FOREST 函数
我们有一个基于 Flink 和 Kinesis Analytics 的流式事件处理管道。需要根据传入事件对某些指标实施异常检测。理想情况下，异常检测流程应该是同一个 Flink 作业的一部分。我知道有一个现成的可用函数 (RANDOM_CUT_FOREST) 基于 Kinesis Analytics SQL 应用程序的已发表 论文。
是否可以从 Kinesis Analytics Java 应用程序中使用此功能？Flink 中是否还有其他可用于流式异常检测的生产就绪库？
amazon-kinesis - AWS kinesis 分析中的 Azure 环形窗口实施
我是 AWS Kinesis 分析 SQL 查询的新手，我一直致力于在 AWS Kinesis 分析中实施 Azure 箍窗口，我想知道这在 AWS 中是否可行？
apache-flink - Apache Flink Max CPU percent, Max Heap percent 部署在 KDA 上
我们在 Kinesis Data Analytics 上运行了 Flink 应用程序，在过去的几个月里，我们看到某些实例的 Max CPU % 达到了 100，而且我们的堆利用率表现相同。
以下是我们过去两周申请的一些图表
CPU 利用率 - 统计数据：最大值，周期：1 小时
堆利用率 - 统计数据：最大值，周期：1 小时
传入流量 - 统计数据：总和，期间：1 小时
检查点大小 - 统计数据：平均，周期：1 小时
检查点持续时间 - 统计数据：最大，周期：1 小时
应用问题：
- CPU 应该低于 80，Heap 应该低于 90，这不是我们的例子
- 检查点的大小随着时间的推移而增加
有什么提示可以开始调查吗？
我尝试过的事情：
- 进行任务堆转储并使用https://fastthread.io/来查看诸如无限循环之类的任何问题，在那里我可以看到一些线程阻塞了另一个线程，但我认为这是预期的，因为我们正在从 kinesis 源流进行轮询
- 在影子环境中重放具有相同配置的持续高流量，CPU 不是尖峰
sql - 尝试查询粘合表时无法创建读取表错误的源
我是使用 apache flink 的 kinesis analytics studio 的新手，基本上我有一个包含数百条记录的数据流，我想做一些实时的基本分析，所以我完成了 这个教程并用胶水创建了一个表使用以下代码：
并且表已成功创建，我可以在胶水数据目录中看到它，但是当我尝试使用基本选择语句查询表时
我得到以下错误
我查看了 IAM 政策，一切看起来都不错，关于如何解决这个问题有什么想法吗？
apache-flink - 如何使用 Kinesis + Flink 处理 AWS cloudwatch / VPC 流日志？
我正在尝试使用 Flink 摄取 VPC 流日志（VPC 流日志 -> CloudWatch -> Kinesis Data Stream -> Flink）。
虽然我可以看到 Flink 管道中的记录，但我无法解析它们。我怀疑我收到的不是字符串流日志消息，而是压缩+base64+聚合记录（根据this AWS doc page）。
是这样吗？如果是，FlinkKinesisConsumer 是否支持此类日志的反序列化/分解？或者我是否必须实现自己的自定义反序列化器才能在我的 Flink 应用程序中实际处理流日志字符串？
java - 如何使用 java 启动和停止 KDA？
我想通过自动化套件启动 KDA（Amazon Kinesis Data Analytics）。并希望在完成所有测试用例后停止它。我怎样才能做到这一点？
apache-flink - 带有 Kinesis Analytics 的 Apache Flink：java.lang.IllegalArgumentException：要分配的内存比例不应为 0
背景：我一直在尝试在部署在 kinesis 分析运行时的同一个 flink 应用程序中设置 BATCH + STREAMING。STREAMING 部分工作正常，但我无法添加对 BATCH 的支持。
Apache Flink：Datastream API 的批处理模式失败，异常“IllegalStateException：排序输入不允许检查点。”
逻辑是这样的：
在这样做时，我得到以下异常：
似乎 kinesis-analytics 不允许客户端定义 flink-conf.yaml 文件来定义taskmanager.memory.managed.consumer-weights. 有没有办法解决 ？