在 Airflow 中,我定义了 2 个每天运行的任务:
- 第一个创建一个 zip 文件并将其保存在 AWS 下
s3://{bucket-name}/foo/bar/{date}/archive.zip
- 第二个预先签署该网址(应在 7 天内到期)并将其发送给 Slack。
因为 Qubole 使用 IAM 角色,所以生成的 url 将在密钥轮换时过期(据我所知不到 24 小时)。
我正在尝试为此找到解决方案。我目前的想法是将第二个任务转移到 AWS lambda 中,并使用 IAM 用户凭证来避免过期问题。
有没有其他方法我可以采取而不会使它过于复杂?