4

我正在寻找一种方法，将我的司机的 MDC 转发给主人和工人，这样我就可以识别来自同一操作的消息？例如，我有一个依赖于应用程序的查询/作业 ID，我希望将其附加到我的 spark 工作者中的结构化日志消息中。

  • 不可能的？
  • 无证？
  • 容易，但我是愚蠢的找到？

问候。

4

1 回答 1

3

如果我正确理解PR（我是 Spark 的新手），那么从3.1版 开始，现在应该可以通过spark.sparkContext.setLocalProperty("mdc." + name, "value").

于 2021-01-04T16:56:36.120 回答