aws-data-pipeline - 有没有人在数据管道中使用 AWS 系统管理器参数来为管道中的参数分配值？

Question

"id": "myS3Bucket",
"type": "String",
"default": "\"aws ssm get-parameters --names variable --query \"Parameters[*].{myS3Bucket:Value}\"\""

我尝试了这个，我在 AWS 参数中创建了一个变量，并且能够在 AWS CLI 中使用此命令检索该值，但无法检索该值并将其发送到我的管道中。

Answer 1

这是不可行的方式，你正在努力实现它。DP 将其视为 String 而不是 AWS CLI 命令来执行以实现 value 。
声明字符串参数时，您可以定义静态值s3://tst-data-bucket或从另一个参数（运行时或编译时或两者）动态派生值s3://#{anotherparameter}/@actualStartTime。

为了达到您想要的结果，您可以获取 AWS SM 参数并在 DP 激活命令中传递该值，无论您是通过 lambda 还是 cli bash 脚本激活您的 DP。