问题标签 [aws-batch]

上下文：AWS、S3、Lambda、批处理。

我有一个在 S3 存储桶中上传文件时触发的 lambda。我希望 lambda 提交一个批处理作业。

（编辑：在 S3 和 Lambda 之间一切正常。问题出在 Lambda 和 Batch 之间。）

问：为了能够提交批处理作业，我必须赋予lambda什么角色？

在以下情况下，我的 lambda 得到一个AccessDeniedException并且无法提交作业：

有没有办法为 AWS Batch 作业（或队列）设置最长运行时间？这是大多数批处理管理器中的标准设置，可避免在作业因任何原因挂起时浪费资源。

我有一个多容器（docker compose）应用程序。我想在 AWS Batch 上离线扩展它，以便在 S3 上处理大量数据。我用于 docker compose 的 .yml 文件如下所示：

不幸的是，我在网上找不到任何处理这种情况的示例或教程。谁能帮我理解我应该如何解决这个问题？

我正在尝试运行一个非常简单的脚本，该脚本从 AWS 批处理作业写入 S3。

当我在我的机器上本地运行容器时，我可以写入 S3 存储桶（凭据存储在容器中......我知道不建议这样做，但在这种情况下只是为了测试）。但是，当我使用同一个容器启动批处理作业时，我似乎无法写入 s3。

批处理作业将成功，但 S3 存储桶未显示应写入的文件。

我给批处理作业的命令如下

我正在尝试创建作业队列模板，在该模板中声明输出值，以便可以将作业队列导入其他堆栈。

模板：

错误：

我在“TestOutputName”的地方收到模板验证错误，谁能告诉我应该在这里给出什么。

在“Fn::Sub”中：“${AWS::StackName}-MyJobQueueExport”

MyJobQueueExport 应该与堆栈名称相同？

我们想使用 AWS step 函数来处理来自 CSV 文件的大量数据，但我们不确定这是否是最佳选择。

我们的用例如下： - 我们上传一个包含大量行（如 50K）的 CSV，并且对于每一行我们处理一个小的特征（每个特征由一个 lambda 函数处理）。目前，我们认为最好的选择是将 CSV 中的每一行插入到 DynamoDB 中，并为每一行启动我们的 lambda 函数。

你觉得这怎么样 ？

是否可以导出CloudFormation 部分中的资源JobQueueName而不是资源（实际上）？ARNAWS::Batch::JobQueueOutputsserverless.yml

这就是我导出 ARN 的方式：

•Fn::GetAtt对于 AWS::Batch::JobQueue 不返回任何内容，请参见页面底部的表格。

•Fn::Ref返回AWS::Batch::JobQueue 的Arn，参见页面底部的表格。

是否可以直接JobQueueName为我的资源获取 以避免在 ARN 上进一步拆分 ( Fn::Split) 和选择 ( )？Fn::Select

I use a computing environment of 0-256 m3.medium on demand instances. My Job definition requires 1 CPU and 3 GB of Ram, which m3.medium has.

What are possible reasons why AWS Batch Jobs are stuck in state RUNNABLE?

AWS says:

A job that resides in the queue, has no outstanding dependencies, and is therefore ready to be scheduled to a host. Jobs in this state are started as soon as sufficient resources are available in one of the compute environments that are mapped to the job’s queue. However, jobs can remain in this state indefinitely when sufficient resources are unavailable.

but that does not answer my question

我正在尝试让 AWS Batch C++ API 正常工作。这是我编写的一个非常基本的演示程序，用于简单地列出可用的作业定义：

当我运行程序时，我得到这个错误输出：

请注意，错误消息(descjob_outcome.GetError().GetMessage()) 是“无法连接到端点”，但异常名称(descjob_outcome.GetError().GetExceptionName()) 实际上是一个空字符串，介于“错误： " 和 "-" 在我的格式化输出中。此外，响应代码为 0，不在HttpResponse.h中列出的代码中。

我不认为问题出在我的 AWS 配置中，因为我从 Github 下载了 aws-doc-sdk-examples 存储库，我可以在那里编译和运行 C++ 示例（例如，s3 中的 list_buckets 程序）文件夹）。不幸的是，aws-doc-sdk-examples 不包含任何 Batch 示例代码，这是我最感兴趣使用的 API 的一部分。

我还想指出，我能够运行一个使用 AWS Batch API（通过 boto3 模块）的简单 python 程序，所以我再次认为这个问题不是我的 AWS 配置所特有的。

任何人都可以在我的演示代码中看到可以解释“无法连接到端点”错误的问题，或者可能建议一些资源来帮助我更清楚地了解连接失败的原因吗？例如，我真的不明白为什么它没有给我一个有效的异常名称或响应代码。

流程：- Dynamo DB --> Lambda --> Batch

如果将角色 arn 插入到dynamo DB中，则从 lambda 事件中检索它，然后使用submit_jobAPI 将其提交到批处理，其中角色 arn 被传递为

如何读取批量运行的python中的参数值？