hadoop - 瘤胃和定制柜台

Question

我正在使用 Rumen 将工作历史中的信息提取为 .json 格式。这适用于默认计数器和参数。但是，我看不到已添加到映射器中的自定义计数器。

我设法通过基于 Web 的历史界面查看这些自定义计数器，但它们没有出现在 Rumen 生成的 .json 文件中。

关于如何使用 Rumen 从作业历史中提取所有（默认 + 自定义）计数器的任何想法？

谢谢你。

Answer 1

我不是 100% 确定，但是从源代码来看，目前没有内置的方式来访问自定义计数器。

LoggedTask或LoggedTaskAttempt等类仅公开标准计数器。但是，自定义计数器似乎被捕获并存储在ParsedTask或ParsedTaskAttempt中。正如他们的 javadoc 所说：

这是一个围绕 LoggedTask (LoggedTaskAttempt) 的包装类。这还提供了有关从作业历史记录中获得的任务（任务尝试）的额外信息，这些信息未写入 JSON 跟踪文件。

看起来，您必须扩展 Rumen 才能自行捕获自定义计数器。