问题标签 [boto]

如何使用 boto 向等待的 Amazon EMR 作业流添加步骤，而作业流在完成后不会终止？

我在 Amazon 的 Elastic Map Reduce 上创建了一个交互式作业流程并加载了一些表格。当我使用 Boto's 将新步骤传递给作业流程emr_conn.add_jobflow_steps(...)时，作业流程在完成或失败后终止。

我知道我可以使用run_jobflow带有keep_alive参数的 boto 启动作业流程——但我想使用已经在运行的流程。

我需要每小时从 s3 服务器下载 100 个最新文件。

上面的代码创建了文件列表，但它不依赖于文件的上传时间，因为它是按文件名列出的？

我对文件名无能为力。它是随机给出的。

谢谢。

使用 STS 创建的联合用户是否存在规范用户 ID？使用 boto 时，我需要一个规范的用户 ID 来授予对存储桶的权限。

这是我的代码的快速浏览：

1. 我已经使用 boto 的 STS 模块（使用“主”帐户）成功创建了临时凭据，这给了我回报：

   • federated_user_arn
   • federated_user_id
   • 打包策略大小
   • 访问密钥
   • 密钥
   • session_token
   • 到期

2. 然后我使用 boto 创建存储桶：

   bucket = self.s3_connection.create_bucket('%s_store' % (app_id))

3. 现在我想授予权限，我在 boto 中有两个选择：

   add_email_grant（权限，email_address，recursive=False，headers=None）

   add_user_grant（权限，user_id，recursive=False，headers=None，display_name=None）

第一种方法不是一个选项，因为联合用户没有附加电子邮件，所以我看第二种。这里的第二个参数（“userid”）是“与您授予权限的 AWS 账户关联的规范用户 ID”。但我似乎无法为联合用户找到一种方法。

联合用户是否存在规范用户 ID？我是否忽略了一种更简单的向联合用户授予权限的方法？

是否可以为 boto 请求设置默认标头？基本上，我想在对 S3 进行的每个 API 调用中都包含几个标头。

boto python API有没有办法在创建实例时指定标签？我试图避免必须创建一个实例，获取它然后添加标签。当我执行以下命令时，将实例预先配置为具有某些标签或指定标签会容易得多：

我正在编写一个应用程序，其中有一组用户，每个用户将在 S3 存储桶内的“目录”中拥有许多与他们关联的文件。用户将使用 Amazon 的 STS 进行身份验证，获得临时安全凭证，这些凭证应该允许他们访问他们拥有的资源，同时不允许他们访问他们没有的资源（想想：“主”目录）。

假设用户已经存在于系统中（并且已经过身份验证），并且他们的文件存储桶是使用命名方案创建的（没有指定的策略或 ACL）：

在请求用户访问文件期间，我们使用 boto 授予临时安全凭证，如下所示：

其中 user_policy 是：

我以为我了解政策，但显然我错过了一些东西。使用上述方案，我可以获取/放置用户目录下的资源，也可以获取属于其他用户的目录/资源。对于我的一生，我无法正确隔离访问。我也玩过存储桶策略，但没有结果。

任何方向将不胜感激。

注意：我坚持使用 STS，因为我们可能有太多用户来创建/使用 IAM 用户。

如何boto.storage_uri()在 python 中包装一个调用，以便处理可能的异常？

我在玩 EC2，这是我的场景：

一次：使用必要的密钥对创建一个 EC2 实例。

日常的 ：

因素：

粗略的代码：

现在，我正在手动启动和停止 EC2 实例并来回同步文件。我想消除这一步。这是最好的方法还是你有什么建议？如果您可以使用来自本地计算机的示例输入文件 (abc.txt) 在代码中添加一些行，并在 ec2 中打印文件的内容并将其输出到 out.txt 并取回。没有密码提示的文件传输被证明是一个挑战。（最终将添加到 hosts 文件中，但尚未调查）

谢谢你们！

我正在使用botoPython 来自动化我的一些 EC2 工作流程。

这个问题很奇怪 - 脚本似乎冻结了一个简单变量的分配，但它在后台继续。最终，脚本将所有内容打印出来。

当我在 iPython 中逐行重复脚本时，没有问题，也没有冻结或等待（超出您在谈论 AWS 时的预期）。当我将它作为 Python 脚本运行时，输出似乎只是冻结了，直到脚本完成。

剧本：

我正在使用从命令行运行脚本fab total_web_deploy

输出将如下所示：

然后我们将不得不等待实例和所有内容在脚本的其余部分打印出来之前完成。不过，它显然一直在后台工作。

有任何想法吗？

编辑我已经澄清了这个问题。

假设我有 20 个注册的 AMI。有没有办法使用 boto API 命令行仅过滤掉已注册的 AMI？

谢谢！