0

在生成文件中,我运行以下命令

find SOURCE_DIR -name '*.gz' | xargs -P4 -L1 bash -c 'zcat $$1 | grep -F -f <(zcat patternfile.csv.gz) | gzip > TARGET_DIR/$${1##*/}' -

patternfile.csv.gz包含 2M 个条目,解压缩文件大小为 100MB,每个文件SOURCE_DIR的压缩文件大小约为 20MB。

但是,每个xargs进程消耗超过 6GB 的 RAM。这有意义还是我在这里错过了什么?

谢谢你的帮助。

4

0 回答 0