google-cloud-dataflow - Dataflow 日志 UI 中列出的所有不同日志是什么？

Question

在 Cloud Dataflow Logging UI 中，我看到 4 个不同的日志

1. 数据流线束
2. 数据流线束标准输出
3. 数据流工作者启动器
4. 洗牌

这些日志中的每一个代表什么？

这是一个屏幕截图，显示了我的意思。

Answer 1

dataflow-harness和dataflow-harness-stdout是 java worker 工具产生的日志。工作线束完成大部分工作（例如，将 ParDo 应用于数据）。

选择dataflow-harness将显示 java worker 工具记录的所有消息。

我们还获取了 java worker 工具的 stdout/stderr，这些日志出现在dataflow-harness-stdout下。我们这样做是为了捕获 Java 记录器可能无法捕获的任何信息，例如 JVM 崩溃时的堆栈转储。

dataflow-worker-starter记录与启动 java worker 工具相关的消息。启动过程基本上包括从 GCS 下载作业的 jar，然后启动 java worker 工具。因此，如果启动 java worker 工具时出现问题，这也是个不错的地方。

最后在shuffle下，您会找到来自 shuffler 的日志。