问题标签 [aws-batch]

（我知道这个问题，但我现在问的已经够老了，希望有更新的答案。）

我正在为 AWS Batch for Airflow 编写一个插件，并且在通过AWSBatchOperator操作员将作业提交给 Batch 后，我需要一种方法来等到作业完成并通知 Airflow。我正在为此编写一个传感器，因为它似乎是处理它的适当方式。

但是，当AWSBatchOperator在 AWS Batch 中创建作业时，它需要将该作业 ID 提交给传感器，以便传感器知道要检查什么作业。是否有任何简单的方法可以将信息从已完成的任务传递到其依赖任务？我知道 XCom，但考虑到这种情况的简单性以及我认为这是传感器的常见问题，这似乎有点矫枉过正。

谢谢！

我正在从 NodeJS 批量查询 SQS 队列并尝试增加接收批量大小，限制为 10。我看到有可能增加 SQS 服务器和 java sdk 的限制，请参阅maxBatchSize，但看不到在JS sdk中做到这一点的方法。有什么理由有这个限制并且不允许改变它？

我在 US-East-1 (N.Virginia) 工作，甚至将默认区域名称配置为us-east-1使用 command aws configure。

但我无法使用 CLI 访问 Batch。Batch 甚至没有被列为aws help.

任何想法如何在 AWS Cli 中启用批处理？我在 IAM 控制台中具有管理访问权限，因此权限似乎不是问题。

我想在 AWS Batch 上编写终止作业的脚本，并且在将 UUID 分配给 bash 变量时遇到了问题。

我有一个名为“LastAndFinal_job_id_list.txt”的文本文件，其中包含如下两列：

第二列中的“LastAndFinal*”是我提交给 AWS Batch 的作业名称列表，第一列中的 UUID 是 AWS Batch 返回给我的对应作业 ID。

我通过以下命令为作业名为“LastAndFinal22”的作业提取 UUID：

job_id=$(cat LastAndFinal_job_id_list.txt | grep -w LastAndFinal22 | cut -d ' ' -f 1)

现在的问题是当我 echo 时job_id，我只得到空白输出。将 UUID 分配给变量“job_id”的任何想法？

我试图了解与 AWS Batch 作业相关的详细信息保留多长时间。例如，Kinesis 限制页面描述了每个流如何默认为 24​​ 小时保留期，该保留期可延长至 7 天。

AWS Batch 限制页面不包含有关作业允许的最大时间或计数的任何详细信息。它确实说 100 万是 SUBMITTED 工作的限制，但不清楚这是专门针对 SUBMITTED 还是包括其他州。

有人知道批处理作业保留的详细信息吗？

我对 AWS Batch 很陌生。我有批量实施的经验。我浏览了这个链接并了解了如何在 AWS 上配置批处理。

我必须实现简单的批处理，它将读取传入的管道分隔文件，从该文件中读取数据，对该数据执行一些转换，然后将每一行保存为 S3 中的单独文件。

但是我没有找到任何可以看到实现部分的文档或示例。所有或至少大多数文档仅讨论 AWS 批处理配置。

编码/实现部分有什么想法吗？我将使用 Java 来实现。

我是 AWS Batch 的新手。我为 AWS 批处理创建了以下角色：

并附有政策：

}

但是当我尝试创建 AWS Batch 时，该角色未列出。请帮助我解决我可能会丢失的问题。

我想为正在运行的 aws 批处理作业定义环境变量。不同的 ENV 变量会触发代码的某些部分。当我在批处理控制台中添加它们时，它们不会传递给作业定义容器属性。我以与将变量传递到 Dockerfile 中的相同形式传递变量：NAME=VALUE。下面是我在创建新定义和对现有定义进行修订后得到的输出。

"containerProperties": { "image": "docker-image", "vcpus": 2, "memory": 2000, "command": [], "volumes": [], "environment": [], "mountPoints": [], "ulimits": [] }

是否有用于此的特殊语法？

我使用 envContainerOverrides 从 stepfunctions 读取输出，然后我用这个 nodejscode 调用我的批处理作业：这里我正在读取传递给批处理作业的环境变量。

阶跃函数输出：

如果它是一个数组 [filelist-bucket/filelist1.txt","filelist-bucket/filelist2.txt]，则此 nodejs 代码无法获取，如果它是单个值，则它可以完美运行。

我想将此 nodejs 代码转换为 java ：

我正在做这样的事情：

批处理作业请求.java

工作.java：

我已经为 AWSBatch http://docs.aws.amazon.com/AWSJavaSDK/latest/javadoc/com/amazonaws/services/batch/AWSBatch.html#cancelJob-com.amazonaws.services.batch.model 找到了这个 api。 CancelJobRequest-

但不确定它是否在我的课堂上使用正确的 api。我在网上搜索了在 java 中使用 aws batch 的链接并不多。

基本上我需要知道如何设置作业定义、作业名称、作业队列并使用 java 类提交批处理作业。任何人都可以帮我解决这个问题。

我编写了一个从 s3 存储桶触发的 lambda，以解压缩 zip 文件并在其中处理文本文档。由于 lambda 内存的限制，我需要将我的流程转移到 AWS 批处理之类的东西上。如果我错了，请纠正我，但我的工作流程应该是这样的。

工作流程

我相信我需要编写一个 lambda 来将 s3 存储桶的位置放在亚马逊 SQS 上，如果 AWS 批处理可以读取该位置并进行所有解压缩/数据处理，那么它们的内存就更多。

这是我当前的 lambda，它接收由 s3 存储桶触发的事件，检查它是否是一个 zip 文件，然后将该 s3 密钥的名称推送到 SQS。我应该告诉 AWS 批处理开始在我的 lambda 中读取队列吗？总的来说，我对 AWS 完全陌生，不确定是否要从这里开始。

我已经设置了 docker 并了解了 docker 图像。我相信我的 docker 镜像应该包含所有代码来读取队列、解压缩、处理并将文件安装到 RDS 中，所有这些都在一个 docker 镜像/容器中。

我正在寻找做过类似事情的人，他们可以分享以提供帮助。类似的东西：

S3 先生：嘿 lambda 我有一个文件

Lambda 先生：好的，S3，我看到你了，嘿，aws batch 你能解压缩并对此做些什么吗？

Mr. Batch：Gotchya mr lambda，我会处理好这个，然后把它放在 RDS 或一些数据库中。

我还没有编写类/docker 映像，但我已经完成了所有代码来处理/解压缩并开始执行 rds。由于某些文件为 1gb 或更大，Lambda 仅限于内存。