我对 CloudWatch Insights 非常陌生,我一直在尝试了解如何让它与 Python 日志记录一起使用。目前我AWS Glue
在PySpark/Python
. 我logging
在脚本中使用 Python 的默认包。
我已阅读文档,但找不到任何有关如何格式化日志以使其可通过 CloudWatch Insights 查询的详细信息。理想情况下,我想在日志消息中设置不同的字段,我可以通过 Insights 查询并从中获取值。
以下是脚本中的日志消息示例:
import timeit
start = timeit.default_timer()
...run some code
stop = timeit.default_timer()
runtime = stop - start
logging.info('Runtime: {}'.format(runtime))
我想查询自定义字段,@Runtime
以显示该列中的所有运行时以进行不同的运行。有了这个,我还想看一个简单的 Insight 查询示例,以便我可以在此基础上进行构建。
任何帮助将不胜感激!