问题标签 [amazon-kinesis-kpl]

下面是我的 POM 文件。我正在用 aws kinesis 编写火花流

在 Cloudera 5.10 上运行 spark 程序时，我面临以下异常

这在 EMR4.4 上运行得非常好，但是 CDH 失败了。任何建议

我将 KPL 与 AWS lambda (Java) 一起用于生成 Kinesis 流。

我添加消息的代码是这样的：

问题有时是在执行期间Lambda，生产者没有将消息提交给 Kinesis。因此，如果我想强制执行它来推送消息，我必须稍后调用flushSync()导致 Lambda 出现其他错误的方法。

我的 KPL 配置也是：

每天都会创建新的日志文件，并在名称中附加日期。例如，“data_log-2017-05-14”日志文件是为 5 月 14 日创建的。

我需要设置 Kinesis Agent 以从生成的日志中读取数据。但是由于每天都会创建一个新的日志文件，那么在 agent.json 文件中如何处理呢？

对此有何建议？

我在 S3 中收到我的源文件，我需要将此数据加载到 redshift 中。

源 S3 文件通过 Kinesis Firehose 填充。

资源 ：

要求 ：

我想知道我是否可以使用 Kinesis 从 S3 加载到红移。

谢谢和问候， Srivignesh KN

尝试创建 Kinesis Analytics 查询，以在流程中的某个步骤耗时过长（或终止且未继续）时发出警报。

随着多步骤过程一步一步地进行，我有大量包含状态更新的数据。我正在尝试编写一个查询，该查询可以识别下一步何时在特定时间内没有发生（也就是超时）。具体来说，我想知道一个 ProcessID 何时不会在 5 分钟内从“已启动”变为“正在运行”。

我知道如何在数据库中执行此操作，但是当时间尺度不断变化时，它会变得混乱。非常感谢您提供的任何帮助！

我的事件具有三个属性：
ProcessID - 整数
状态 - 字符串（“开始”、“运行”或“完成”）
HappenedOn - 日期时间（例如 2017-10-02 15:17:00）

我将如何在数据库中执行此操作（非 Kinesis）

在 SQL 中，我会使用 LEFT OUTER JOIN 将事件表连接到自身，但无法弄清楚如何在实时查询情况下执行此操作。

到目前为止 Kinesis 中的解决方案
此查询保存并运行，但没有给我我正在寻找的内容。

即使我可以使上述查询正常工作，我也需要 Kinesis 仅在 HAPPENED 值 5 分钟后查找相应的事件（或缺少它们）（例如，需要在当前日期时间和 HAPPENED 之间进行 DATEDIFF）。任何有关如何添加此内容的建议将不胜感激。

另外，我觉得我需要使用 FOLLOWING 而不是 PRECEDING，但 SQL 解析器不会让我这样做（我知道为什么）。我也对将 OVER 窗口添加到...LEFT 的哪个流加入感到困惑？正确的？两个都？

提前谢谢了。

我在 dropwizard 中运行 KPL。以下是我的代码。

future.get()代码永远被阻塞。没有错误消息被记录。

PS：我尝试过通过 boto 和 java sdk 使用相同的访问密钥。有用

我对运动和运动分析的工作方式感到非常困惑。

我需要向 kenisis analytic 发送一些数据，然后每 5 分钟将前十个故事（数据）发送到 lambda 函数。我有 Kinesis 流和 Kinesis 分析设置如下：

现在的问题是，每当数据进入分析时，Kinesis 分析将故事正确地发送到 lambda，这不是我想要的。我需要每 5 分钟发送一次数据。有什么方法可以设置在运动分析中发送数据的时间？任何想法？

我面临一个非常奇怪的问题，我不确定这是 aws 中的错误还是我缺乏理解。

这是问题所在。我有一个 kinesis analytins 每 40 秒重复一次。所以可以说它在 40 秒前报告了以下内容：

所以我将 kinesis analitycs 连接到两个目的地：1) lambda: 并且 lambda 收到的结果如下：

因此，您可以看到在一个有效负载中将两行发送到 lambda，显然我们必须以数组格式将数据发送到 lambda。在解码每条记录中的数据内容后，我看到分析发送的相同结果。到目前为止一切顺利，但问题从这里开始：我将分析连接到 kinesis 流，然后将流连接到 lambda。我希望在第一个场景中发生相同的结果我的意思是应该在第二个 lambda 中接收一个有效负载中的两条记录，但令人惊讶的是，我在每个有效负载中只收到一条记录，并且似乎流拆分数组并以不同的方式发送它以进行更多说明我得到的有效载荷：

正如您在有效负载中看到的，我们只有一个数据属性。我完全迷路了，任何人都可以阐明这一点吗？

我正在运行Ubuntu 16.04& Java 8。kcl生成数千条INFO日志行。有谁知道如何仅启用ERROR和WARN记录？

*我也有同样的问题kpl。

我没有日志文件。

假设我有一个允许 1MBps 传入的单个分片 Kinesis 流。我有一个使用 KPL 的生产者，它试图抽取 2MBps（使用 KPL 的异步调用）。

鉴于重试的 KPL 行为，我假设它会缓冲事件一段时间以重试，并且在某些时候它会耗尽其内存或开始丢弃事件。

以上哪种情况会发生，如果它开始丢弃事件，我该如何监控它？我无法在 Cloudwatch 中找到任何丢弃的事件指标。

---- 下面用图表更新了 -----