2

我想从存储在 aws redshift 上的数据生成 parquet 文件格式,为此我创建了连接和爬虫以获取数据信息。所有数据库目录均已成功获取,但在运行作业以获取表数据、生成 parquet 文件并将其存储到 aws s3 时,AWS Glue 给了我以下错误:

ip "someIp address" 的反向 dns 解析失败

但是,我可以成功地生成源数据存储和目标数据存储为 AWS S3 的镶木地板文件。仅当我将 redshift 集群用作源数据存储并使用 S3 作为目标数据存储时才会生成错误。

我知道该错误与向我显示错误的 Route53 服务无关。我还检查了我的安全组。它还允许 VPC 中的所有入口流量。我还检查了 S3 存储桶和 Redshift 是否在同一区域。子网也是正确的。

4

3 回答 3

1

您需要为 redshift 子网中的所有 IP 创建反向 DNS 记录。

于 2018-03-16T06:05:32.507 回答
1

您应该启用 DNS 主机名和解析。

转到您的 VPC > 选择您的 VPC > 单击操作 > 单击编辑 DNS 解析 > 单击是 > 单击保存

与上述类似,为您的 VPC 启用 DNS 主机名

单击操作>单击编辑DNS主机名>单击是>单击保存

于 2018-04-19T11:22:37.787 回答
0

尝试将 DNS UDP 的粘合连接的 SG 出口规则设置为全部。协议 UDP,端口 53。

于 2018-07-09T09:58:30.050 回答