我想从存储在 aws redshift 上的数据生成 parquet 文件格式,为此我创建了连接和爬虫以获取数据信息。所有数据库目录均已成功获取,但在运行作业以获取表数据、生成 parquet 文件并将其存储到 aws s3 时,AWS Glue 给了我以下错误:
ip "someIp address" 的反向 dns 解析失败
但是,我可以成功地生成源数据存储和目标数据存储为 AWS S3 的镶木地板文件。仅当我将 redshift 集群用作源数据存储并使用 S3 作为目标数据存储时才会生成错误。
我知道该错误与向我显示错误的 Route53 服务无关。我还检查了我的安全组。它还允许 VPC 中的所有入口流量。我还检查了 S3 存储桶和 Redshift 是否在同一区域。子网也是正确的。