问题标签 [amazon-kinesis-firehose]

我正在设置一个 kinesis firehose 流，一切都适用于在 s3 上创建的文件，这些文件是分隔的。但我想知道是否有办法指定此文件的扩展名，因为此文件的使用者要求它是 csv 或 txt。有没有办法做到这一点？

谢谢

我已将 Kinesis Firehose Stream 添加为 Kinesis Analytics 服务的目标。数据已正确插入 Kinesis Analytics，但无法到达 Kinesis Firehose 流。

已将所有 Kinesis 权限授予与 Kinesis Destination 以及 Firehose 流关联的 IAM 角色。

无法找到错误。

任何人都可以帮忙解决问题吗？在任何地方都看不到任何错误..

我的客户有一项存储大量文件的服务，例如视频或声音文件。该服务运行良好，但是看起来长时间的文件存储是一个很大的挑战，我们希望使用 AWS 来存储这些文件。

问题如下，客户想要使用 AWS kinesis 将每个文件从我们的服务器传输到 AWS。这可能吗？我们可以使用该服务传输文件吗？有很多视频文件，而且我们每天都收到越来越多的视频文件。而且每个文件都比较大。

我们还想保存文件的一些细节，可能保存到 dynamoDB 中，我们可以使用 Lambda 函数。

最重要的是，我们需要一个可靠的数据传输选项。

我目前的项目存在架构困境，即近乎实时地处理大量数据。因此，这是当前架构的示意图：

这是对我的想法的解释，这使我想到了那张照片：

当 API 网关接收到请求时，它会被放入流中（这是因为我的应用程序的性质——“即发即弃）”这就是我得出这个结论的方式。输入数据根据特定请求在分片中分离属性保证我正确的顺序。

然后我有一个 lambda，它负责验证输入和异常检测。因此，它是一种抽象，可以为下一层（数据丰富）保持数据清洁。所以这个 lambda 将数据发送到 kinesis firehose，因为它可以备份“原始”数据（我绝对想要拥有的东西）并附加一个转换 lambda 来进行丰富 - 所以我不在乎保存数据在 S3 中，它将开箱即用。所以一切都很好，直到我需要保留接收数据的顺序（丰富器正在进行会话化），这在 firehose 中丢失了，因为那里没有数据分离，因为它在 kinesis 流中。

所以我唯一能想到的就是 - 在第一个 lambda 中移动 sissionization，这将打破我的抽象，因为它会开始关心数据丰富，而更大的缺点是备份数据将包含丰富的数据，这也在打破架构。而这一切之所以发生，是因为消防软管中缺少分片概念。

那么有人能在不丢失 aws 为我们提供的开箱即用功能的情况下想出解决该问题的方法吗？

我正在尝试将一些数据从 API（谷歌股票/金融 API）写入我的 AWS Firehose 流。我已经在 Eclipse 上下载并安装了 AWS 插件，在 AWS 上设置了我的 Firehose 流，一切似乎都设置正确。不过，我遇到了一些问题。以下行似乎已被弃用...我尝试了亚马逊 SDK 的不同变体，但我似乎无法获得正确的代码。

AmazonKinesisFirehoseClient firehoseClient = new AmazonKinesisFirehoseClient(credentials);

接下来，我遇到以下错误。具体错误是“对于 PutRecordRequest 类型的方法 setRecord(Record) 未定义”，尽管我直接从 Amazon 的 API 参考中获取了它。

request.setRecord(记录);

firehoseClient.putRecord(request);

上面第二行也出现错误：“AmazonKinesisFirehoseClient 类型的 putRecord(com.amazonaws.services.kinesisfirehose.model.PutRecordRequest) 方法不适用于参数 (com.amazonaws.services.kinesis.model.PutRecordRequest) "

我安装了 AWS CLI 和 Boto3，但找不到共享凭证文件来放置用户访问密钥。我尝试在 Windows 7 和 Ubuntu 上安装它，但我遇到了同样的问题，只是在默认位置找不到共享凭据文件~/.aws/credentials

我正在使用boto3的官方指南

谢谢，

我正在尝试将一些数据放入我的 AWS Firehose Stream，但遇到了一些困难。我还收到一个错误，即找不到我的流名称，即使它确实以该名称存在。我还尝试了另一个活动流，我遇到了同样的问题。我不确定此错误是否与不推荐使用构造函数时遇到的错误有关。

在帐户 xxxxxxxxxxx 下找不到 Firehose 项目流。（服务：AmazonKinesisFirehose；状态代码：400；错误代码：ResourceNotFoundException；请求 ID：xxxxxxxxxxxxxxxxxxxxxxxx

在我第一次尝试捕获后尝试创建“firehoseClient”时出现以下错误：

构造函数 AmazonKinesisFirehoseClient(AWSCredentials) 已弃用

我试图查看 AWS 的 API，但找不到有效的构造函数。

是否可以使用 Java 开发工具包从 AWS Firehose 流中获取缓冲区大小和缓冲区间隔等详细信息？

我正在尝试在 AWS Firehose 对象上模拟 putRecord 方法，但模拟没有成功。代码最终在与实时 aws 服务对话的 firehose 对象上调用 aws-sdk api。下面的代码有什么问题？需要更改哪些内容才能避免此实时服务调用并使模拟有效？

有没有一种方法可以发送一个 thenable 对象，而不仅仅是像下面的回调那样发送普通对象？即以某种方式使用我在测试代码中定义的回调函数之类的东西？

最后我还需要检查模拟是否被调用。我将如何实现这一目标？我可以以某种方式使用 sinon.stub 来实现这一点，以便稍后我可以验证吗？如何？

这里是代码和测试代码部分...修改为简单的形式发布。

作为文件一部分的代码，比如 samplelogging.js。...

这是我的测试代码，它是文件的一部分，比如 sampleloggingtest.js ...

我正在尝试使用 kinesis 代理将以下数据发送到 aws kinesis firehose：3985199||"ER1AA"|"2017"|"BMC PUBLIC HEALTH"|"17"||"2017-04-09-00.53.55.353280 -0400" |0|"1471-2458"|"13941J"|"C ,CC,D ,ES,JS,Q ,XC"|"A"|"N"|"APR 4 17"

我想使用 15 个不同的自定义字段来存储这些字段，包括空值和不带双引号。

提前致谢。