我将一些 json 数据传递给 firehose 传输流,最终将其保存到 Redshift 表中。对于我的用例,我希望将数据存储在不同的表中。
我是否为不同的表创建不同的交付流?如果我以这种方式创建它,S3 中将存在数据重复,因为数据必须通过 S3 才能使用 Firehose 传输流将数据推送到 Redshift。
我将一些 json 数据传递给 firehose 传输流,最终将其保存到 Redshift 表中。对于我的用例,我希望将数据存储在不同的表中。
我是否为不同的表创建不同的交付流?如果我以这种方式创建它,S3 中将存在数据重复,因为数据必须通过 S3 才能使用 Firehose 传输流将数据推送到 Redshift。
来自 Kinesis Firehose常见问题解答:
问:单个传输流能否将数据传输到多个 Amazon Redshift 集群或表?
单个传输流目前只能将数据传输到一个 Amazon Redshift 集群和一个表。如果您希望将数据交付到多个 Redshift 集群或表,您可以创建多个交付流。
您将需要多个流。