我正在尝试使用 AWS Glue 服务来 ETL 一些从 redshift 到 S3 的数据。爬虫成功运行并在数据目录中创建元表，但是当我运行 ETL 作业（由 AWS 生成）时，它在大约 20 分钟后失败，说“资源不可用”。
我看不到在 Cloudwatch 中创建的 AWS 粘合日志或错误日志。当我尝试查看它们时，它显示“找不到日志流。找不到日志流 jr_xxxxxxxxxx。检查它是否正确创建并重试。”
如果您能提供任何指导来解决此问题，我将不胜感激。
问问题
3734 次
3 回答
5
所以基本上，如果您的 Glue 所在区域没有太多流量，您添加到 Glue 的作业将运行。如果没有可用资源，您需要再次手动重新添加作业，或者您也可以通过 SNS 将自己绑定到来自 CloudWatch 的事件。
此外，您可以将一些参数传递给作业，例如maximunRetry和timeout。
如果你有Ressource not available，它不会触发重试，因为作业没有失败，它甚至没有开始。但是，如果您将 设置为timeout，60 minutes那么它将在该时间之后触发错误，减少您的重试池并重新启动作业。
于 2018-04-26T18:49:51.620 回答
1
我在这里看到的最接近 Glue 文档的内容是：
如果您在 AWS Glue 中遇到错误，请使用以下解决方案来帮助您找到问题的根源并进行修复。Note AWS Glue GitHub 存储库包含 AWS Glue 常见问题解答中的其他故障排除指南。错误：资源不可用 如果 AWS Glue 返回资源不可用消息，您可以查看错误消息或日志以帮助您了解有关该问题的更多信息。以下任务描述了故障排除的一般方法。• 没有反向查找的自定义DNS 配置可能会导致AWS Glue 失败。检查您的 DNS 配置。如果您使用的是 Amazon Route 53 或 Microsoft Active Directory，请确保存在正向和反向查找。有关更多信息，请参阅在您的 VPC 中设置 DNS (p. 23)。• 对于您使用的任何连接和开发端点，
于 2017-09-13T15:57:53.027 回答
0
我最近一直在与 Glue Job 抛出的 Resource Unavailable 作斗争
我也无法使用 RDS 在 Glue 中建立直接连接 - 它说“找不到合适的安全组”
我在尝试连接 AWS RDS 和 Redshift 时遇到了这个问题
问题出在 Redshift 使用的安全组上。需要在安全组中放置一个自引用入站规则。
对于那些不知道什么是自引用入站规则的人，请按照以下步骤操作
1) 转到您正在使用的安全组（VPC -> 安全组）
2) 在入站规则中选择编辑入站规则
3) 添加规则
a) 类型 - 所有流量 b) 协议 - 全部 c) 端口范围 - 全部 d) 源 - 自定义并在可用空间中写入您的安全组的首字母并选择它。e) 保存。
完成 ！
如果您在安全组入站规则中缺少此条件
尝试创建连接，您将能够创建连接。
这次也应该工作。
于 2020-06-02T11:18:36.293 回答