问题标签 [aws-batch]

我刚刚开始使用 Spring Batch。我正在使用带有 Docker 映像的 AWS Batch 开发命令行启动器。试图对作业实例命名进行排序。

在 jobBuilder 中为以下文字字符串使用 @Value 是否可以接受？本质上，我正在传递 S3 文件键，这些键已经是唯一值，因为我有一个在我的 FlatFileReader 运行之前抓取文件的任务。目标是在由于失败而需要时促进对作业的重试。

我有一个 docker 图像，通过它我可以定义一个 aws 批处理作业。在泊坞窗内，我正在打印一些报表。作业运行并显示成功消息。但是 Cloudwatch 中没有日志。它说没有找到任何事件。甚至没有工作的开始和结束时间。

Cloudwatch 日志

我也设置了环境变量ECS_AVAILABLE_LOGGING_DRIVERS = awslogs但我仍然没有看到任何日志。

需要什么额外的配置？

我正在使用 AWS Batch Service 来完成我的工作。我想将 AWS Batch 生成的日志直接发送到 Splunk，而不是将其发送到 cloud-watch。我如何在 AWS Batch 中配置日志驱动程序来实现这一点？

-ND

我已经设置了 AWS Batch 计算环境。大多数工作将每天或每周运行。

我的问题是当没有作业在 ec2 计算环境上运行时，我是否会为此收费。

AWS Batch 如何管理计算环境？成功运行我的工作后，AWS 会终止 EC2 计算环境吗？然后在我的工作需要运行时重新创建它。

AWS 批次将根据 EC2 定价收费（它在后端使用 EC2）。

每次我提交批处理作业时，都会创建一个新的 Docker 容器还是重用旧容器。

如果每次都创建一个新的 Docker 容器，那么当作业完成时容器会发生什么。

在 AWS ECS 中，ECS_ENGINE_TASK_CLEANUP_WAIT_DURATION 变量设置从任务停止到移除 Docker 容器的等待时间（默认为 3 小时）

如果所有这些容器都在三个小时后才被清理，那么如果我提交大量作业，ECS容器实例会不会很容易被填满？

收到此错误 CannotCreateContainerError: API error (500): devmapper when running a batch job。如果我在作业结束时清理 docker 容器文件有帮助吗？

我们设置了批处理计算环境、作业队列和作业定义。计算环境的最小 CPU 数设置为 16，因此它应该始终至少运行一个 EC2 实例。这是一个MANAGED环境。它没有开始，但一切仍然报告健康。我查看了故障排除页面，但还没有任何有用的信息。

我可以去哪里看看出了什么问题？这完全是一个黑盒子吗？如果我在配置中的某个地方出错（可能是某种 ARN 权限问题），我必须扫描每一行直到碰巧看到错误？

我正在使用 AWS 批处理和 ECS。

ECS 任务可以在任务定义中配置为使用 awslogs logDriver 并将日志发送到 cloudwatch，从而防止它们占用 EC2 实例中的空间。但是 ECS 容器代理本身也存在于 docker 容器中，并且它的所有 docker 容器日志都存储在 EC2 实例中，这很快就会填满内存。无论如何要为 ECS 容器代理本身设置 logDriver 吗？

ECS代理也将日志存储在/var/log/ecs/ecs-agent.log.timestamp中，这也占用了大量空间。知道如何将它们重定向到 cloudwatch 吗？

我在 AWS ECS 中运行我的 docker 容器。当我尝试执行以下命令从容器中读取日志时，我面临以下错误。

命令：docker logs -f "容器ID"

来自守护程序的错误响应：配置的日志记录驱动程序不支持读取。

欢迎任何可行的解决方案。

我的 AWS cloudformation 模板有这个：

我在模板中为 AWS Batch 创建了必要的实体。

我知道可以通过 aws cloudwatch 事件提交批处理作业。AWS cloudwatch 事件目标

我想使用批处理作业队列目标通过 cloudformation 模板提交我的作业。我见过很多通过 AWS lambda 函数完成批量作业提交的示例，但我不想使用 lambda 函数。我没有找到在“AWS::Events::Rule”中配置批处理作业队列目标的任何 cloudformation 模板

我正在尝试按照此处的教程通过 AWS Batch 运行脚本。特别是，入口点脚本是相同的：它是从 S3 存储桶下载要在 AWS Batch 中执行的代码的脚本。但是，无论我如何尝试在 AWS 上执行它，我总是会收到：

我可以在本地启动同一个容器。

我使用以下命令从 awscli 启动该过程：

我的 Dockerfile 如下：