问题标签 [amazon-kinesis-agent]

我在 S3 中收到我的源文件，我需要将此数据加载到 redshift 中。

源 S3 文件通过 Kinesis Firehose 填充。

资源 ：

要求 ：

我想知道我是否可以使用 Kinesis 从 S3 加载到红移。

谢谢和问候， Srivignesh KN

我经历了几个问题和 SO 问题，但无法让示例应用程序正常工作。

以下是如何重现这一点；

以下是我在 prod.properties 中更改的唯一内容

在sample_kclpy_app.py我的process_record函数中是这样的；

我的日志

我正在尝试从 python 代码创建一个简单的流数据，附加到日志文件中，然后使用 Kinesis Agent->Kinesis Firehose 将流数据加载到 Redshift 集群。

我确认 python 代码运行良好，创建了附加到日志文件的流数据。我的 kinesis 代理已成功启动并且我进行了验证，并且还进行了适当的配置以从日志文件中提取数据并将其推送到 firehose 流。

python 文件是一个简单的代码，可以随机记录纬度/经度位置。这只是为了进行示例 firehose 流式传输，因此使用了示例数据：

random_lat_lon.log 文件中的输出：

当我检查 kinesis-Agent 时，我发现它不起作用，并且我收到以下错误跟踪：

我的 kinesis-Agent.json 配置如下：

这是我第一次使用 Kinesis Firehose（使用 Python）的示例实验室体验。我错过了一些我无法弄清楚的东西。

有人可以帮忙提出建议。让我知道是否需要任何详细信息。

问候

我有一个 Java 使用者（KCL 实现）来使用来自 1 个带有 2 个分片的 Kinesis 流的消息。

KCL 创建 2 个与每个分片相关的 RecordProcessor。

然后我让我的机器进入睡眠状态，所以 JVM 暂停了。唤醒时，KCL 库在原来的 2 个 RecordProcessor 之外创建 2 个额外的 RecordProcessor。因此，对于每个分片，有 2 个处理器会导致冲突。

预期的行为是在原始 RecordProcessor 仍然存在时不生成 2 个新 RecordProcessor。KCL 中处理生成新 RecordProcessor 的逻辑的代码在哪里？

我已经按照https://docs.amazonaws.cn/en_us/streams/latest/dev/kcl2-standard-consumer-java-example.html编写了一个简单的 java kinesis 客户端。使用的凭据具有完全的管理员访问权限。执行代码时出现以下错误。

它也用于初始化 LeaseCoordinator

到处都试过了，没有发现任何线索。我正在使用最新的库

嗨，我的要求是我有实时音频流作为输入，比如两个人之间的通话，现在将该音频转换为实时文本，并从提取的文本中选择某些关键字并插入数据库。

根据https://github.com/aws-samples/amazon-connect-realtime-transcription中的架构， AWS Kinesis Video Streams 服务和 AWS Transcribe 都用于直播，但根据链接：https ://aws.amazon.com /blogs/machine-learning/amazon-transcribe-now-supports-real-time-transcriptions/ AWS Transcribe 支持实时转录，那么为什么在 Kinesis 使用的架构中？

如果有人知道，请帮助我理解，希望 Amazon connect 可以将实时音频摄取到 AWS Transcribe 进行实时转录。

我现在使用 GetMedia API 通过 AWS Connect 服务将数据摄取到（Kinesis Video Stream）KVS 能够提取有效负载，但是如何将此输出转换为 mp3/wav？我想将此输出摄取到 AWS Transcribe 服务，以获取由 AWS Connect 服务摄取到 KVS 的音频呼叫的文本格式。

以下代码的有效负载输出如下：

00#AWS_KINESISVIDEO_CONTINUATION_TOKEND\x87....\x1faudio/L16;rate=8000;channels=1;\x12T\xc......00"AWS_KINESISVIDEO_MILLIS_BEHIND_NOWD\x87\x10\x00\x00\x074564302g\xc8\x10\ x00\x00^E\xa3\x10\x00\x00#AWS_KINESISVIDEO_CONTINUATION_TOKEND\x87\x10\x00\x00/91343852333181432506572546233025969374566791063'

注意：以上回复太长，所以贴了一些。

请建议我如何将有效负载输出转换为 mp3/wav 等。

大家好，我正在尝试在 Streaming Spark 作业中执行 KCL，我创建了一个初稿项目，连同我的依赖项，我可能能够导入几个包。但是有一个包org.apache.spark.streaming.kinesis，即使它包含在我的 POM.xml 中也不会导入它。

我的 pom.xml：

但是，在构建它之后，我从导入中收到了这条可怕的消息：

我正在将带有 Kinesis 代理（使用 Docker 映像）的 JSON 文件发送到 Kinesis Data Stream，然后它充当 Kinesis Firehose 传输流的源，然后它应该将文件写入 S3，但 S3 中没有出现任何内容.

JSON 数据流入数据流，并在监控和代理日志中可见：

我有一个小的 shell 脚本，它以 2 秒的间隔将 JSON 文件复制到输入文件夹（代理正在监视）中。每个文件都由 Kinesis Agent 拾取：

但是，我的 Firehose Delivery 流或我的 S3 存储桶中没有任何内容。

在我的消防软管中，我将缓冲区条件设置为“1 MB 或 60 秒”，并禁用了加密和压缩。这应该允许文件传递到 S3，因为每个文件只包含一个小数组（文件大小约为 1 KB）。

我很困惑，不太明白还有什么可能是原因。

任何帮助表示赞赏！

我已经按照AWS docs中的描述设置了 Kinesis firehose 并安装了 Kinesis 代理。我可以通过 S3 存储桶获取测试数据，但 Kinesis 代理不会发送任何 .log 文件。我怀疑将代理连接到消防软管时出现问题。

我的/etc/aws-kinesis/agent.json文件在下面。我也尝试过"firehose.endpoint"没有，https://但我仍然无法通过任何数据。

我已验证 aws-kinesis-agent 服务正在运行。

我没有使用 kinesis.endpoint/kinesisStream，但我已将流程留在了 agent.json 文件中。这会是个问题吗？

我错过了什么？

编辑：

日志文件/var/log/aws-kinesis-agent/aws-kinesis-agent.log显示正在解析的 0 条记录。日志消息将我带到了这篇文章，并且我进行了推荐的修复。此外，我必须从 /etc/aws-kinesis/agent.json 文件中删除 kinesis 流，以避免出现在日志文件中的异常。

底线是 aws-kinesis-agent 无法从 /home/ec2-user/ 或其子目录读取文件，您必须修复 agent.json 文件。