我有 python shell 类型的 AWS Glue 作业。python shell 粘合作业的日志存储在两个不同的 cloudwatch 日志组中。
- /aws-glue/python-jobs/output:- 存储非错误日志
- /aws-glue/python-jobs/error:- 存储错误日志。
在胶水作业的每次运行中，都会在上述日志组下创建新的日志流。我无法确定哪个日志流属于哪个粘合作业。因为在每次运行中都会创建一个新的日志流。如何从云监视日志组日志流中识别粘合作业
问问题
40 次
1 回答
0
当 Glue 作业运行创建日志流时，它使用带有作业运行 ID/执行程序 ID的默认命名约定。
在输出或错误日志中，您会看到带有 Glue 作业运行 ID 前缀的前缀以及执行者编号。这有助于确定它属于哪个作业运行。
除此之外，如果您愿意，它允许使用此属性定义自定义前缀。
'--continuous-log-logStreamPrefix': 'custom_log_stream_prefix'
可以在此处找到更多详细信息：为 AWS Glue 作业启用连续日志记录
于 2022-01-25T11:40:01.720 回答