0

每个人

我已经开始使用 dagster 大约一个星期了，我对这个工具很着迷。但是，我想知道是否可以收集 dagster 在输出中生成的元数据。

常规的 dagster 输出如下所示：

2021-06-17 15:12:30 - dagster - 调试 - my_pipeline- 47989433-702c-4246-9c8d-ab4c8bab4be6 - 13936 - merge_transformations - LOADED_INPUT - 使用输入管理器“io_manager”从输出“结果”加载输入“clean_daag_df”步骤“clean_dzag”

[...]

2021-06-17 15:12:30 - dagster - 调试 - my_pipeline - 47989433-702c-4246-9c8d-ab4c8bab4be6 - 13936 - merge_transformations - STEP_SUCCESS - 在 98 毫秒内完成了步骤“merge_transformations”的执行。

我想知道如何访问这些信息，特别是每个实体的开始和完成时间以及管道运行 ID，如果可能的话，每个实体执行的 ID。（而不仅仅是在屏幕上看到输出，我想将其导出到文件或数据库中）。

提前感谢您的帮助。

4

1 回答 1

1

Dagster 实际上会自动为您存储这些日志（以结构化格式）。这可以通过event_log_storage在您的dagster.yaml文件中进行设置来配置（因此您可以选择它使用的数据库类型），但默认情况下，它们都存储在您$DAGSTER_HOME目录中的本地 Sqlite 数据库中。此处的文档：https ://docs.dagster.io/deployment/dagster-instance#event-log-storage详细解释了它的工作原理。

我还建议查看Dagit，它与这些存储的事件日志一起使用，以帮助可视化过去的销售执行（以及许多其他用途！）。

于 2021-06-18T16:40:48.033 回答