问题标签 [amazon-kinesis-analytics]

我创建了一个 kinesis 数据分析应用程序（使用 SQL）并附加了 cloudwatch 日志记录选项。当我运行应用程序时，我会根据我的要求收到结果。

问题：我的 kinesis-data-analytics 应用程序没有将日志写入 cloudwatch。

注意：我使用了 CloudWatch FullAccess 策略。配置的 cloudwatch log-group 和 stream-name 也是正确的。

请让我知道如何接收日志。

问候，

湿婆

作为我的 flink 应用程序的运行时，我使用 AWS 托管的 flink（Kinesis 数据分析应用程序）

我添加了功能（接收器），用于以镶木地板格式从 S3 中的 kinesis 队列写入已处理的事件。本地一切都对我有用，但是当我尝试在云中运行应用程序时，出现以下异常：

在找到问题的解决方案后，我发现我需要更改以下属性（在本地集群上检查过）：

classloader.resolve-order：子优先-> classloader.resolve-order：父优先

在以任何方式使用 AWS 托管的 Fink（不是 EMR、Kinesis Data Analytics 应用程序）时，是否可以更改此配置？

我正在使用 kcl api 版本 2，并且不想使用 Dynamodb Client 来存储记录。

如您所见，我评论了 DynamodbClient 的初始化，但在该方法中，必须传递 Dynamoclient 的对象。所以我作为 null 传递，但出现空指针异常，您能否分享您的想法如何在没有 dynamodb 客户端的情况下使用调度程序?

有没有办法通过 cloudformation 启动 kinesis 数据分析应用程序？

在这些说明中，在启动应用程序部分下，有关于如何通过控制台或 aws cli 启动 Kinesis Data Analytics 应用程序的说明。

有什么方法可以使用 cloudformation 而不是 cli 或控制台来启动应用程序？

先感谢您。

我有一个通过 CloudFormation 部署的 KA SQL 应用程序。它旨在读取 kinesis 流的数据，然后运行简单的 SQL 计数查询并将数据输出到 Firehose。Firehose 应该将这些数据写入 S3。不幸的是，数据无处可寻。我 89% 确定问题出在 SQL 脚本中，但如果没有日志，就很难查明根本原因。

语境：

• 通过 CloudFormation API 配置 KA SQL 时不会出现“权限/访问被拒绝”错误。
• KA SQL 启用了 CloudWatch 日志记录，以前在修复之前显示配置错误。
• Firehose 具有将数据写入 S3 的正确权限。通过 Firehose UI 测试。
• 不幸的是，目前我无法访问 Kinesis 分析 UI，因为我缺乏通过 UI 创建应用程序的权限。

怀疑：

• 位于 CFT 中的 SQL 脚本中的流氓引号是通过对流层生成的
• 取自 AWS 示例并稍作修改的 SQL 脚本中的错误
• 某处缺少许可？

主要问题：鉴于有许多活动部件（KA app/Firehose/S3/Kinesis），您通过不同的 CloudWatch 指标和日志流对其进行监控，您如何检查您的 SQL 是否简单损坏？这个问题可能听起来很傻，但想象一下您的 SQL 字符串通过某些工具被翻译并包含到 CFT 模板中。

PS 我附上了 CFT 以防万一一双新鲜的眼睛看到了什么

我们正在尝试在 AWS 上实现我们电子商务的点击流。点击流将捕获“匿名”用户所做的所有操作。匿名用户通过 UUID 进行跟踪，该 UUID 在他们第一次访问期间生成，存储在 cookie 中。我们在这里使用 AWS 示例来建议一个解决方案架构，如下图所示：

现在有2个问题：

1. 电子商务中不同的页面有不同的点击流数据。例如，在 Item view page 上，我们也想发送 Item 相关信息，例如 itemId。或者在结帐页面上，我们希望很少有与点击流数据相关的订单相关信息。我们是否应该为不同的页面设置单独的 Firehose 传输流来支持自定义点击流数据？或者我们应该将通用点击流记录（某些属性可能为空值）发送到 FH 传输流？

2. 在某些时候，我们的匿名用户会被识别（例如，他们登录，所以我们知道他们的 User_ID）所以我们希望链接 {UUID 和 User_ID} 以便能够获得客户 360 度视图。我们是否应该考虑使用单独的流 + 单独的 S3 存储桶来跟踪 UUID+ User_ID 映射？那么我们是否应该使用 Athena 来显示客户 360 的汇总报告？我们是否应该聚合数据并在 Redshift 中创建客户维度？对此有什么好的解决方案？

问候，丽娜

[更新]：下图是该问题的可接受解决方案吗？

我有多个 AWS kinesis 数据流/firehose，其中包含 CSV 格式的结构化数据。我需要使用 kinesis 数据分析对这些数据进行分析。但是如何将多个流合并为一个？因为 Kinesis 数据分析仅从一个流中获取数据。数据流可以存在于不同的区域。

问题：如何将 Kinesis 数据流合并为一个以进行 Kinesis 数据分析？

我正在使用 Kinesis Firehose 通过 lambda 使用 Dyanamo DB 流并将这些记录推送到 S3 存储桶，Glue 作业每小时运行一次以从 S3 中挑选记录，执行重复数据删除，然后最后将记录插入 Redshift。

有什么方法可以将 Dynamo Streams 中的记录消耗到“Kinesis Data Analytics”，然后在此处执行重复数据删除并将记录插入 Redshift？

我浏览了一些链接https://issues.apache.org/jira/browse/FLINK-4582，在 Apache Flink 中使用 DynamoDB 流。

• 这里提到我们可以使用FlinkKinesisConsumer来消费 DynamoDB 流

. 那么我们可以在 Kinesis Data Analytics 中使用这个 FlinkKinesisConsumer，然后直接使用 Dynamo Stream 吗？

我有一个使用 Kinesis 数据分析来处理和聚合实时数据的用例。

是否可以直接从 Appsync（没有中间 lambda）将数据发布到 kinesis 流？

并且还触发从 kinesis 流返回的订阅？

使用 AWS Kinesis 数据分析时，是否可以在将交错窗口中的事件聚合到单个输出行时连接输入行中的字段？如果是这样，我们如何在聚合期间实现这种连接？我似乎无法在 Kinesis 中找到此用例的示例，因此我什至不确定这是否可能，甚至是反模式。

例如，聚合的输入行如下所示：

并且结果输出行应该是（如果交错窗口是 1 分钟）聚合连接在 USER 字段上：

谢谢！