hadoop - WebHDFS 和 SequenceFiles

Question

是真的 WebHDFS 不支持SequenceFiles吗？

我找不到任何说它确实的东西。我有通常的小文件问题，相信SequenceFiles会很好用，但我需要使用 WebHDFS。SequenceFile我需要通过 WebHDFS创建然后附加到一个。

Answer 1

我认为这是真的。没有可附加到序列文件的 Web API。

但是，您可以附加二进制数据，并且如果您的序列文件不是块压缩的，您应该能够在客户端上以相对较少的努力格式化您的数据。您可以通过客户端上的序列文件编写器运行您的输入，然后使用输出进行上传（整个文件或表示自上次附加以来的增量的切片）。

您可以在此处阅读有关序列文件格式的更多信息。