问题标签 [amazon-kinesis-firehose]

AWS Firehose 于今天发布。我正在玩弄它并试图弄清楚如何使用 AWS CLI 将数据放入流中。我有一个简单的 JSON 有效负载和相应的 Redshift 表，其中包含映射到 JSON 属性的列。我尝试了各种组合，但似乎无法通过 cli 传递 JSON 有效负载。

我试过的：

我查看了没有帮助的 cli 帮助。这篇文章今天发表，但看起来他们使用的命令已经过时，因为参数“--firehose-name”已被“--delivery-stream-name”替换。

在配置了适当角色的 lambda 中运行上述代码，AWS 返回

errorMessage": "未定义不是函数

任何人都知道如何让消防站加载到 aws-sdk 中？

谁能告诉我当前是否可以通过服务代理将 Kinesis Firehose 传输流绑定到 API 网关端点。我尝试使用带有 Firehose PutRecord 操作和新的 PutRecordRequest json 的 Kinesis 服务类型来执行此操作，但网关未能指定它试图将传入请求模型映射到常规 Kinesis PutRecordRequest 模型的错误。

我构建了一个 AWS Lambda 部署包（使用 Node.js），当一个对象被 PUT 到一个指定的 S3 存储桶时执行。我已经将执行的代码配置为，现在，将 10 条随机生成的记录添加到 Kinesis Firehose 流中。

除了将记录添加到 Kinesis 流之外，Lambda 函数工作得很好。我在 AWS CloudWatch 日志中没有看到任何错误消息。使用 console.log() 打印语句，似乎 putRecord() 调用甚至没有执行，我不知道为什么。其他人可以解决这个问题吗？

这是我的 Lambda 函数部署包中的代码：

这是 CloudWatch 日志输出：

PS 我有一个与 Lambda 函数关联的 IAM 角色，该函数配置了从 S3 读取以及写入 Kinesis 的策略。

iOS 设备可以将数据发送到 Amazon Kinesis Firehose Delivery System 吗？（该文档没有适用于 iOS 的 api）如果没有，我应该使用 AWS 的什么产品来创建实时数据库以支持 iOS 设备（以及浏览器）。

作为导致大量延迟的重新分片的替代方法，我们如何动态创建 aws kinesis 流并对流进行循环处理？

我们如何一个接一个地调用多个 AWS Lambda 函数？例如，如果一个 AWS Lambda 链由 8 个单独的 lambda 函数组成，每个函数模拟一个 1 秒的处理事件，然后调用链中的下一个函数。

我正在尝试为部署到 AWS 的流数据/分析应用程序定价，并考虑使用 Kinesis Firehose 将数据转储到 S3 中。

我的问题是，在为此定价 S3 成本时，我需要弄清楚我需要多少 PUT。

所以，我知道 Firehose 缓冲数据，然后刷新到 S3，但是我不清楚它是否会写入一个包含所有记录的“文件”，或者它是否会单独写入每条记录。

因此，假设我根据记录的大小将缓冲区大小/间隔设置为最佳数量，S3 PUT 的数量是否仍等于记录数或 Firehose 执行的刷新次数？

我正在尝试通过 spark 将数据传输到 kinesis firehose ：

我收到类似 UnpicklingError 的错误：NEWOBJ Class argument has NULL tp_new

我正在使用 python 版本：2.10（Anaconda 版本）Spark - 2.4.6-hadoop 版本。我正在使用 Boto3 - 将数据推送到 Amazon Kinesis。

当我尝试使用 python 脚本使用示例数据将数据推送到 kinesis 时 - 它运行良好，我得到如下所示的结果输出..

http://boto3.readthedocs.org/en/latest/guide/configuration.html http://boto3.readthedocs.org/en/latest/reference/services/kinesis.html#client

同样，如果我尝试使用 spark - （进行处理以丰富来自 twitter 的推文并推送到 kinesis）..

我收到类似 UnpicklingError 的错误：NEWOBJ Class argument has NULL tp_new

谁能帮我弄清楚为什么它不能与 Spark 一起使用？

我正在以 Apache Avro 格式存储从我的 Web 应用程序生成的数据。数据经过编码并发送到 Apache Kinesis Firehose，该 Firehose 每隔 300 秒左右缓冲一次数据并将数据写入 Amazon S3。由于我有多个 Web 服务器，这会导致将多个 Avro 文件 blob 发送到 Kinesis，然后将它们连接起来并定期将它们写入 S3。

当我从 S3 获取文件时，我无法使用普通的 Avro 工具对其进行解码，因为它实际上是多个文件合二为一。我想我可以添加一个分隔符，但如果记录的数据也具有相同的分隔符，这似乎有风险。

处理这个问题的最佳方法是什么？我在标准中找不到任何支持将多个 Avro 文件连接到同一个文件中的内容。