3

我在使用 spark 历史服务器时遇到了一些问题，因此尝试lz4手动解压缩日志。我安装liblz4-tool并下载了应用程序日志application_1510049252849_0303.lz4。但是当我用它解压缩它时，lz4 ~/application_1510049252849_0303.lz4我得到了以下错误：

Error 44 : Unrecognized header : file cannot be decoded

这是我为每个火花历史lz4文件准备的。解决办法是什么？有没有办法手动打开？

4

2 回答 2

5

我昨天在尝试解压缩 lz4 事件日志时遇到了同样的错误。显然 hadoop lz4 编解码器和其他 lz4 编解码器之间似乎存在一些不兼容性：请参阅https://issues.apache.org/jira/browse/HADOOP-12990。

值得一提的是，spark 历史服务器可以读取 lz4 中的压缩事件日志，因此您无需手动解压缩它们。希望这可以帮助。

于 2018-02-21T09:35:09.903 回答
0

lz4放入spark历史服务器时无需解压。只是您可以将事件日志放入事件日志目录。它将自动选择该应用程序并将其显示在 Spark History Server UI 中。

于 2020-07-15T05:31:57.650 回答