问题标签 [amazon-kinesis-agent]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
901 浏览

amazon-web-services - 如何以正确的格式从 Amazon connect 创建的 Kinesis Video 流中获取音频文件?

我正在尝试为 Amazon connect 中的呼叫中心设置语音邮件功能。我已将 Start Media 流块添加到流中。我还添加了一个由 Kinesis 流触发的 Lambda 函数。我的想法不是实时流式传输,但在流式传输完成后下载文件。

在 lambda 函数中,我尝试获取音频文件并在 s3 存储桶中下载为 .raw。当我下载并导入 audacity 工具(16 位签名 PCM,8000 Hz,1 通道)时,音频有很多噪音。有人可以告诉我如何解决这个问题吗?我想听到清晰的音频并将其转换为 .wav 文件。在 python 或 node.js 中编码。

来自 Kinesis 的 Lambda 触发器:

0 投票
1 回答
444 浏览

amazon-web-services - 自定义 AMI 和本地中的 AWS-Kinesis-Agent:请求中包含的安全令牌无效

我希望有人可以帮助我,因为我对 kinesis firehose 和 firehose 代理相当陌生。

我已经为我的本地 debian 服务器和 ec2 debian 实例(在一个测试 aws 帐户中)编译了 kinesis-agent。在一个单独的 aws 帐户中,我创建了 Kinesis Stream 并将其指向 AWS elasticsearch 域(监控 AWS 帐户)。

我在 AWS 监控账户中创建了一个用户(kinesistestagent),该账户可以访问 kinesis firehose 流并添加了正确的 STS 角色(我被困在这几天,因为它甚至不会进行身份验证),以便 kinesis 代理可以进行身份​​验证使用 firehose 流并发送其数据。

我的 kinesis 的 agent.json 文件看起来像这样。我试图将其剥离,以尝试将数据放入 firehose 和 elasticsearch ...

由于我的 linux 实例不是 Amazon AMI,我已明确使用“awsAccessKeyId”和“awsSecretAccessKey”的授权值。

我从日志中得到的确切错误是身份验证有效但请求中的安全令牌无效?

运动日志中的整个事务看起来像这样。

以前有没有人遇到过这个错误,或者有没有人设法让 AWS kinesis 代理在 prem 服务器上工作?

非常感谢您花时间阅读我的问题,任何帮助或建议将不胜感激。

干杯

0 投票
0 回答
73 浏览

amazon-dynamodb - 使用 kcl 从 Kinesis 消费数据时无需 Dynamodb 客户端

我正在使用 kcl api 版本 2,并且不想使用 Dynamodb Client 来存储记录。

如您所见,我评论了 DynamodbClient 的初始化,但在该方法中,必须传递 Dynamoclient 的对象。所以我作为 null 传递,但出现空指针异常,您能否分享您的想法如何在没有 dynamodb 客户端的情况下使用调度程序?

0 投票
1 回答
821 浏览

java - IllegalArgumentException:需要在 KinesisClient 中的第 1 行有一个配置文件定义

我正在像这样在 java 中使用 AWS SDK 2.x 创建 KinesisClient 类的对象

当我执行这段代码时,我遇到了异常

该配置文件是否缺少任何内容,或者还有其他方法可以创建客户端对象。提前致谢!

0 投票
0 回答
287 浏览

amazon-web-services - 如何将 XML 文件发送到 Kinesis Firehose 数据流

我有一个实时生成 XML 的数据源。在使用 kinesis 代理检查 Kinesis Firehose 集成以对此 XML 进行实时分析时,我发现 Kinesis 代理将源文件中的每一行视为一条记录。例如,Kinesis 在给定的示例 XML 中找到 6 条记录

现在,如果我必须使用 lambda 对输入 XML 执行数据转换。由于 kinesis 代理忽略了 XML 的结构,我该怎么做?

这是要参考的 Kinesis 代理日志:

0 投票
1 回答
837 浏览

amazon-web-services - 如何加密数据源和 kinesis firehose 之间的传输中数据移动?

我正在构建一个架构,其中实时数据将使用 kinesis 代理被摄取到 kinesis firehose 中。我的数据源是本地的,因此它要求数据应该在传输过程中进行加密。使用代理将数据移动到 Firehose 时使用哪种协议?关于如何安全地移动数据的任何想法?任何帮助是极大的赞赏。

0 投票
1 回答
188 浏览

java - 在 KCL 2.x ( Kinesis ) 下使用来自特定分片的记录

我在 Kinesis 流中的一些特定分片下有一组记录。我正在使用 KCL 2.x 消费者来使用来自 kinesis 的记录,但问题是消费者正在从流中所有可用的分片中获取我的记录。那么有什么方法可以在配置 configBuilder 对象或 KCL 使用者时指定分片或其 ID,以便仅使用来自指定分片的记录。

示例代码:

提前致谢!

0 投票
0 回答
136 浏览

java - 在 java 中的 AWS KinesisAsyncClient 下配置代理

我需要为 Kinesis 客户端配置代理。目前我正在使用 KinesisAsyncClient 对象对 kinesis 流执行异步操作。在互联网上进行了一番搜索后,我得出一个结论,即没有合适的资源可以帮助在异步客户端上配置代理。

那么有什么方法可以在KinesisAsyncClient对象下配置代理host、、、port和。usernamepasswordnon-proxy-hosts

提前致谢!

0 投票
1 回答
491 浏览

amazon-web-services - AWS Kinesis - Kinesis 代理不解析记录

我创建了一个 kinesis 流,在我的 EC2 实例上安装了一个 kinesis 代理并将其配置为从某个目录读取文件。

Kinesis 代理配置文件:

我还为我的 EC2 实例提供了 Kinesis 所需的 IAM 策略(我稍后添加了访问密钥以进行调试)。

然后我启动我的代理,添加文件并跟踪/var/log/aws-kinesis-agent/aws-kinesis-agent.log文件,但没有任何反应。

我的代理正确启动,但是无论我向/home/ec2-user/workspace/connect_s3/documents/目录中添加多少文件,代理似乎都无法解析任何内容;它返回:

Tailer Progress: Tailer has parsed 0 records (0 bytes), transformed 0 records, skipped 0 records, and has successfully sent 0 records to destination.

我一直认为这可能是权限问题,但我更改了所有权限,一切都在 755 文件权限中。

但是,在我的 AWS 控制台中,蒸汽指标似乎正在监控正在发生的事情IMAGE HERE -> ( https://i.stack.imgur.com/n2ily.png )

有人遇到过类似的问题吗?在此先感谢您的阅读。

0 投票
2 回答
663 浏览

apache-flink - 无法使用 flink 读取 kinesis 流,出现 SdkClientException:无法执行 HTTP 请求:当前令牌 (VALUE_STRING)

我正在尝试从 flink 读取 kinesis (实际上是使用kinesa运行本地模拟)。这是我的消费者配置:

但是在流上放置记录时:

我收到以下错误: