giraph - 如何在 Giraph 中读取 LZO 压缩的 HDFS 文件

Question

我正在寻找可以读取 LZO 压缩文件的 Giraph 输入格式。看起来 GiraphRunner 默认使用的当前输入格式是 BspInputFormat，它没有提到 LZO 压缩。这只是一个疏忽，我必须实现我自己的 LzoBspInputFormat 类吗？感觉就像某人以前已经做过的事情。

Answer 1

看来我在实际尝试之前就问过这个问题。我正在通过 GiraphRunner 将 LZO 压缩文件加载到我的 Giraph 作业中，并且它可以正常接受输入。这完全不是问题。