我正在使用 Kinesis firehose 将数据处理为红移,并且我正在尝试 Json 和 Csv 格式。
Json 格式对我来说很好,数据正在加载到红移表中。
用于 JSON 的复制命令:
复制 products_json FROM 's3://foldername/' CREDENTIALS 'aws_iam_role=arn:aws:iam:::role/' MANIFEST json 'auto';
放置记录的 CLI 命令:
aws firehose put-record --delivery-stream-name csvtoredshiftstreamingjson --record='Data="{\"productid\":1,\"productname\":\"phone\",\"productprice\":\" 2.30\"}"'
但是,当我使用 CSV 时,数据存在于 S3 中,但未加载到 redshift 中。
用于 CSV 的复制命令:
复制 products_csv FROM 's3://foldername/' CREDENTIALS 'aws_iam_role=arn:aws:iam:::role/' MANIFEST csv ;
放置 CSV 记录的 CLI 命令:
aws firehose put-record --delivery-stream-name csvtoredshiftstream --record='Data="1,Phone,2.30"'
记录正在处理到 S3,但未加载到 redshift。STL_LOAD_ERRORS 表也没有任何记录。
如果我遗漏了什么,请告诉我。
谢谢。