0

在 Airflow 中,我定义了 2 个每天运行的任务:

  • 第一个创建一个 zip 文件并将其保存在 AWS 下s3://{bucket-name}/foo/bar/{date}/archive.zip
  • 第二个预先签署该网址(应在 7 天内到期)并将其发送给 Slack。

因为 Qubole 使用 IAM 角色,所以生成的 url 将在密钥轮换时过期(据我所知不到 24 小时)。

我正在尝试为此找到解决方案。我目前的想法是将第二个任务转移到 AWS lambda 中,并使用 IAM 用户凭证来避免过期问题。

有没有其他方法我可以采取而不会使它过于复杂?

4

1 回答 1

1

您将需要使用特定的 IAM 凭证。最佳实践是将 IAM 用户的权限设置为仅执行所需的操作。

于 2020-05-12T13:20:31.333 回答