在生成文件中,我运行以下命令
find SOURCE_DIR -name '*.gz' | xargs -P4 -L1 bash -c 'zcat $$1 | grep -F -f <(zcat patternfile.csv.gz) | gzip > TARGET_DIR/$${1##*/}' -
patternfile.csv.gz
包含 2M 个条目,解压缩文件大小为 100MB,每个文件SOURCE_DIR
的压缩文件大小约为 20MB。
但是,每个xargs
进程消耗超过 6GB 的 RAM。这有意义还是我在这里错过了什么?
谢谢你的帮助。