问题标签 [amazon-kinesis-firehose]

亚马逊声称 kinesis 流可以扩展，"without limits"但是"you should keep in mind"“每个分片每秒最多可以支持 1000 条 PUT 记录”这是否意味着我不能在每个流中每秒写入超过 1000 条消息？如果超过该号码，我会丢失消息吗？

我已经设置了 firehose 来通过代理收集数据并将其推送到 elasticasearch。它适用于使用 pyhon 代码的单个记录。但我无法使用 Kinesis Agent 发送数据。根据文档，应该有 firehose 和 kinesis 端点。但是没有这样的端点可用。

https://docs.aws.amazon.com/firehose/latest/dev/writing-with-agents.html

我找不到 firehose 端点。我所拥有的只是交付流名称。

我有一个 apiGateway 端点，我正在向端点发送一些发布请求。apigateway 的集成类型是 lambda 函数。我希望 lambda 函数监听来自 apigateway 的发布数据并将这些数据推送到 kinesis firehose。

谁能帮我获取一个示例节点 js lambda 代码，它将把传入的数据推送到 kinesis firehose。我试图搜索这个，但什么也得不到。

谢谢

我制作了以下管道：任务管理器 -> SQS -> scraper worker (我的应用程序) -> AWS Firehose -> S3 文件 -> Spark ->(?) Redshift。

我正在尝试解决/改进的一些事情，我很乐意得到指导：

1. 刮板可能会获得重复的数据，并将它们再次刷新到消防软管，这将导致火花中的重复。我应该在开始计算之前使用 Distinct 函数在火花中解决这个问题吗？
2. 我不会删除 S3 处理的文件，因此数据会越来越大。这是一个好习惯吗？（将 s3 作为输入数据库）或者我应该处理每个文件并在 spark 完成后将其删除？目前我正在做sc.textFile("s3n://...../*/*/*")- 这将收集我所有的存储桶文件并运行计算。
3. 要将结果放在 Redshift（或 s3）中 -> 我该如何逐步执行此操作？也就是说，如果 s3 越来越大，redshift 就会有重复的数据......我之前总是要刷新它吗？如何？

我已经建立了一个新的AWS Kinesis Firehose流，我想每周创建一个新索引。

为此，我应该Index Rotation在配置流时使用设置。

但是，我是否必须在下一周的每个周末都使用新索引？如果不是（希望不是），怎么Firehose知道要使用什么映射？它是否使用我在Index设置中指定的索引中定义的映射？

此外，假设我有旧数据，我可以Firehose根据旧数据中指定的日期创建具有相关时间戳的索引吗？

谢谢 ！

我正在尝试创建一个 Kinesis Firehose 流（在 AWS 上），该流在具有受限存储桶策略的 S3 存储桶中写入。

注意：52.19.239.192/27 是欧盟（爱尔兰）的 IP 地址（可在访问 Redshift 集群的文档中找到）。

现在，它不起作用，我有这个错误： 访问被拒绝。确保提供的 IAM 角色的信任策略允许 Firehose 代入该角色，并且访问策略允许访问 S3 存储桶。

如果我禁用我的存储桶策略，它会完美运行。

有谁知道如何添加让 Firehose 在我的 S3 存储桶中写入的特定条件？

非常感谢，达米安

我有 3 个不同的 csv 文件，每个文件每 5-10 秒出现一次，我想根据一些更新条件将这些 csv 文件合并为一个，以实现近乎实时的报告。我当前的系统涉及每 10 秒将文件从 s3 推送到 redshift，但无法达到合并表格所需的速度。

我有一个 CloudFormation 模板，它创建多个组：

• 运动流
• 消防水带
• 从 Kinesis 复制的 Lambda 函数
• 和一个 EventSourceMapping 来连接这一切

现在我有一个问题，我需要知道 lambda 函数应该写入哪个 Firehose。如何将 Firehose 传递给 lambda？

有谁知道在 Serverless v1.0 中将 cloudformation 转换为 yaml 的权威指南？

我可以做很多事情，但我完全坚持如何设置 Firehose 并允许 lambda 写入它。

我认为资源部分看起来像这样：

但我不知道如何为 IAM 部分转换 Cloudformation，如下所述：http: //docs.aws.amazon.com/firehose/latest/dev/controlling-access.html。

非常感谢任何关于 CF->Yaml 转换的指针、示例或指南！

我们目前正在使用Minio作为 S3 的本地开发解决方案，我们正在为 AWS FireHose 寻找类似的解决方案。有没有人处理过这个问题，我似乎无法在网上找到任何现有的解决方案？它不需要非常快或处理大量数据，但需要尽可能地适应 AWS 客户端