问题标签 [apache-camel-aws-kinesis]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
692 浏览

apache-camel - Using Apache Camel AWS-KINESIS endpoint, how do I checkpoint the message in the Kinesis stream?

I use AWS-KINESIS endpoint in Camel to read from a AWS Kinesis contentstream. I can read messages just fine, but how do I checkpoint the message on the stream? In the standard AWS Kinesis Java client library you have the concept of Workers and Processors, but this is bypassed entirely in Camel it seems.

My route:

In the recordhandler I would like to checkpoint the records when the record is processed correctly.

The RecordHandler's @Handler

Any pointers?

0 投票
1 回答
827 浏览

amazon-kinesis - Kinesis 代理输入 - 每天创建的日志文件

每天都会创建新的日志文件,并在名称中附加日期。例如,“data_log-2017-05-14”日志文件是为 5 月 14 日创建的。

我需要设置 Kinesis Agent 以从生成的日志中读取数据。但是由于每天都会创建一个新的日志文件,那么在 agent.json 文件中如何处理呢?

对此有何建议?

0 投票
1 回答
312 浏览

amazon-web-services - 触发特定 Kinesis 事件推送的 AWS lambda

我是 AWS lambda 领域的新手。我正在创建一个将消耗 Kinesis 事件的函数。但是我想在特定事件被推送到 Kinesis 时触发我的 lambda 函数(并非所有事件都推送到 Kinesis)。有没有一种方法可以预先配置过滤器,或者我的函数需要在使用所有事件后实现该过滤器?

0 投票
1 回答
21 浏览

amazon-kinesis - AWS Kinesis,S3 是否必须用于 kinesis?

您能否提供一些关于 Kinesis 中 s3 用法的说明?

谢谢, 苏布姆

0 投票
1 回答
1875 浏览

python-3.x - 如何将 AWS Kinesis Video Stream GetMedia API 输出解码为 mp3/wav?

我现在使用 GetMedia API 通过 AWS Connect 服务将数据摄取到(Kinesis Video Stream)KVS 能够提取有效负载,但是如何将此输出转换为 mp3/wav?我想将此输出摄取到 AWS Transcribe 服务,以获取由 AWS Connect 服务摄取到 KVS 的音频呼叫的文本格式。

以下代码的有效负载输出如下:

00#AWS_KINESISVIDEO_CONTINUATION_TOKEND\x87....\x1faudio/L16;rate=8000;channels=1;\x12T\xc......00"AWS_KINESISVIDEO_MILLIS_BEHIND_NOWD\x87\x10\x00\x00\x074564302g\xc8\x10\ x00\x00^E\xa3\x10\x00\x00#AWS_KINESISVIDEO_CONTINUATION_TOKEND\x87\x10\x00\x00/91343852333181432506572546233025969374566791063'

注意:以上回复太长,所以贴了一些。

请建议我如何将有效负载输出转换为 mp3/wav 等。

0 投票
0 回答
56 浏览

amazon-web-services - Lambda 函数多次触发

我正在尝试在 AWS 上创建以下架构。 AWS 架构

我有 3 台设备连接到 IoT 核心:

-温度计

-冷气机

-Lambda 函数

温度计应每 5 秒将温度发送到核心,然后将遥测数据发送到 Kinesis 流和 Kinesis Analytics。

这是对在 60 秒窗口中到达的数据进行分组的查询。

询问 :

它产生温度的平均值,然后将其发送到 Lambda 函数。

此函数仅连接到 IoT Core 并发送有关主题的消息。空调订阅了相同的主题,等待消息打开或关闭。

问题

几乎一切正常,问题是即使查询一分钟只产生一个结果,Lambda 函数每分钟接收它不止一次,如下面的屏幕截图所示:

问题截图

Lambda 代码与 Kinesis 输出模板相同

0 投票
0 回答
59 浏览

apache-camel - Camel Kinesis 忽略 maxResultsPerRequest 参数

Camel/Kinesis 似乎忽略了我在 uri 中设置的 maxResultsPerRequest 和贪婪参数。

由于分片中有一堆消息等待消费,我希望它一次读取前 25 条,看看还有更多,然后立即轮询以获取下 25 条。

但相反,它仍然一次读取一个,以每半秒一个的速度读取它们(这与文档中指定的默认轮询延迟 500 毫秒一致)。将延迟参数调整为更短似乎也无济于事。

所以它似乎忽略了 maxPerRequest 和贪婪标志。

maxResultsPerRequest:每次轮询中将获取的最大记录数(int,默认 1)

greedy:如果启用了 greedy,则 ScheduledPollConsumer 将立即再次运行,如果之前的运行轮询了 1 条或更多消息。(布尔值,默认为假)

delay:下一次轮询前的毫秒数(long,默认 500)

我是否误解了这些参数的作用?

0 投票
1 回答
406 浏览

javascript - 试图了解 WebRTC 信令通道

帮助我了解信号在 WebRTC 中的工作原理。具体来说,如果我有一个给定的渠道,比如使用 Amazon Kinesis 或类似产品,那么对等点如何知道要调用哪个对等点?对于需要连接的所有对等点,我是否需要一个专用通道?

假设我们有 5 个对等点,我们希望有以下连接拓扑:即

当 peer1 创建 offer 并将它们发送到信号 channel1 时,Peer2 怎么知道这个 offer 只针对他们?Peer4 怎么会知道不消费该优惠?

我们需要每组需要连接的对等点一个通道吗?在这种情况下,可能有两个渠道?一个处理 2<->1 2<->3 和一个处理 4<->5?

0 投票
1 回答
400 浏览

video-streaming - raspberrypi 中的 AWS kinesis 视频流。无法创建 Kinesis 视频流

我正在尝试使用 aws kinesis 视频流从树莓派流式传输视频。我们在 Aws 网站上使用了 c++ sdk ( https://github.com/awslabs/amazon-kinesis-video-streams-producer-sdk-cpp )

./kinesis_video_gstreamer_sample_app 流名称

我试试这个。

然后该日志出现错误。

[错误] [19-04-2020 19:20:33:859.598 GMT] createKinesisVideoStreamSync():无法创建 Kinesis Video Stream - 超时。

[信息] [19-04-2020 19:20:33:859.962 GMT] freeKinesisVideoStream():释放 Kinesis 视频流。

[错误] [19-04-2020 19:20:36:461.643 GMT] 无法创建 Kinesis Video 流。saStream 错误状态:0xf

[信息] [19-04-2020 19:20:36:462.176 GMT] 释放 Kinesis Video Stream saStream

[信息] [19-04-2020 19:20:36:462.352 GMT] freeKinesisVideoStream():释放 Kinesis 视频流。

[错误] [19-04-2020 19:20:36:462.592 GMT] 无法初始化 kinesis 视频,但出现异常:无法创建 Kinesis 视频流。savvyStream 错误状态:0xf

[信息] [19-04-2020 19:20:36:462.817 GMT] freeKinesisVideoClient():释放 Kinesis Video Client

[调试] [19-04-2020 19:20:36:462.939 GMT] curlApiCallbacksShutdownActiveRequests():pActiveRequests 哈希表为空

[调试] [19-04-2020 19:20:36:864.288 GMT] freeKinesisVideoClientInternal(): 总分配内存 0

[警告] [19-04-2020 19:20:36:864.546 GMT] curlApiCallbacksShutdown():curlApiCallbacksShutdown 已在关闭过程中调用

我认为连接成功,但我的数据传输不工作。因为超时。我使用了 ap-northeast-2 区域。我试图找到解决方案,但很难。请帮我。谢谢你。

0 投票
0 回答
65 浏览

amazon-web-services - 当 AWS Lambda 可以处理任务时,为什么要使用 AWS Kinesis?

我是 AWS 新手,不太了解 AWS Kinesis 的使用。我知道它用于处理流数据,但为什么不直接使用 AWS Lambda 来处理传入数据并最终将它们存储到 DB 中呢?作为一个真实的案例场景,假设有一个网络爬虫不断地爬取网站的特定活动,并以 JSON 格式发送它们。当我可以通过 lambda 函数进行所有数据处理时,为什么要在这种情况下使用 AWS Kinesis?是因为 Kinesis 可以通过自动调用其分片来处理大量数据吗?此外,在使用 Kinesis 将我的数据存储到 S3 之后,我意识到我的数据以几乎 3-4 分钟的延迟存储到 S3 存储桶中,这是不可接受的。任何人都可以帮助我吗?