java - 如何使用 Apache Beam 创建 tar.gz 文件

Question

我使用下面的内容创建了一个tar.gz文件，并且.gz文件已创建但 tar 文件不可用。如何达到结果？

PCollection<String> lines = pipeline.apply("To read from file",
    TextIO.read().from(<file path>));

lines.apply(TextIO.write()
    .to("C:\\Ddrive\\saveAllRequest1.txt")
    .withCompression(Compression.GZIP);

以及如何 tar 多个文件。

提前致谢

Answer 1

创建tar文件本质上是非并行操作。这里的一种选择是在写入后使用等待转换，并使用手动创建 tarball 的 DoFn。