问题标签 [amazon-kinesis-firehose]

我尝试让 Kinesis Firehose 在 Redshift 表中推送数据。

firehose 流正在工作并将数据放入 S3。

但是 Redshift 的目标表中没有任何内容。

• 在指标 DeliveryToRedshift Success 为 0（DeliveryToRedshift Records 为空）
• 加载日志（redshift Web 控制台）和 STL_LOAD_ERRORS 表为空。
• 我检查了 Firehose 是否能够连接到 Redshift（我在 STL_CONNECTION_LOG 中看到了连接）

我该如何解决这个问题？

我知道其他人也遇到过同样的问题[1]，现在我也遇到了。我已经尝试了有关该问题的所有建议的故障排除技术。总结一下：

• 这是 Redshift 的新 Firehose
• S3 对象在 CloudWatch 中以 100% 的成功率出现
• Redshift 交付显示为 0% 成功，所以它必须尝试
• 我看到 Firehose 正在与 Redshift 建立连接，因此防火墙规则必须正确
• 我将 JSON 格式的条目与外部列映射文件一起使用。
• Firehose 和 Redshift 集群位于 us-west-2 区域，但存储桶位于美国标准 (us-east-1) 中，因此我使用的是 WITH REGION 选项。
• 跟随其他人的道路，我尝试删除并重新创建消防软管，但无济于事。
• 我还尝试手动从 redshift 集群中进行 COPY，发现它运行良好。
• Redshift 错误表中似乎没有任何内容，存储桶的错误部分中也没有。

我要放弃这个了。在我承认失败之前，有人对在哪里找到错误日志有建议吗？

[1] AWS Kinesis Firehose 不在 Redshift 中插入数据

我正在将记录写入 Kinesis Firehose 流，该流最终由 Amazon Kinesis Firehose 写入 S3 文件。

我的记录对象看起来像

写入 S3 的数据如下所示：

没有逗号分隔。

没有 Json 数组中的起始括号

没有结束括号，就像在 Json 数组中一样

我想读取此数据以获取 ItemPurchase 对象的列表。

读取这些数据的正确方法是什么？

考虑以下：

• Redshift 中名为“people”的表，包含字段 id、name 和 age
• 一个名为“people”的 kinesis firehose 流，配置为写入“people”表，“Redshift table columns”的值为“id,name,age”

目前尚不清楚如何格式化“数据”blob。以下是使用制表符分隔数据的代码示例：

以下是我检查过的一些文档：

• http://docs.aws.amazon.com/firehose/latest/APIReference/API_PutRecordBatch.html
• http://docs.aws.amazon.com/firehose/latest/dev/writing-with-sdk.html
• http://docs.aws.amazon.com/AWSJavaScriptSDK/latest/AWS/Firehose.html#putRecordBatch-property

有没有办法查询 AWS Kinesis Firehose 以获取当前统计信息，例如

• 当前缓冲区中的记录数？
• 消耗了多少缓冲区？

我阅读了官方 AWS Kinesis Firehose 的文档，但没有提到如何处理重复事件。有没有人有这方面的经验？我google了有人用ElasticCache做过滤，是不是需要用AWS Lambda来封装这样的过滤逻辑？有没有像 firehose 这样的简单方法将数据摄取到 Redshift 中，同时具有“exactly once”语义？非常感谢！

我正在使用 Lambda 通过 Firehose 向 Redshift 发送批量消息。根据Firehose API 文档，如果存在一些传递问题（中毒消息、端点关闭等），Firehose 将继续尝试 24 小时并删除该消息。我想在 X 次尝试失败后将失败的消息移动到另一个队列（基本上就像SQS Redrive Policy）。最好的方法是什么，最好不要交叉检查目标 Redshift 数据库？

我有一个迭代输入并将数据吐出到我已配置为上传到我创建的红移表的 AWS Firehose 的过程。一个问题是，有时行可能会重复，因为该过程需要重新评估数据。就像是：

http://docs.aws.amazon.com/redshift/latest/dg/t_updating-inserting-using-staging-tables-.html

看那里，我想用新值替换旧行，比如：

是否可以执行以下操作：

我设置了一个 Firehose 流，将数据传送到我的 Redshift 集群。它工作了很短的时间，但突然似乎停止提供红移。从我的

运行这些命令不会列出最近的连接或副本。例如我看到：

...在我的连接日志中，但它会在一段时间后停止。我已经尝试重新创建表格和流，但它仍然没有列出任何内容。但是，我的所有数据都在 S3 中接收。
另一个问题是 s3 目录中没有错误清单，这表明没有任何失败。
我该如何调试呢？

我正在尝试配置 Kinesis Firehose 传输流以将文件写入 S3。我创建了 Firehose 流以使用名为att1.

这是附加到att的配置的策略。我从这里的页面获取格式https://docs.aws.amazon.com/firehose/latest/dev/controlling-access.html#using-iam-s3

我已经验证了该政策，但我不确定它是否正确。

配置显然已针对隐私设置进行了编辑，否则直接从策略中复制