我需要解压缩一个非常大的文件(100GB+)并让它由两个并行线程处理。问题是我想使用 STDIN/STDOUT 同时向两个线程提供未压缩的内容
bzip2 north-america-latest.osm.bz2 | \
osmosis --read-xml file=- \ # get first thread
--tf accept-ways highway=motorway
outPipe.0=motorway \
--fast-read-xml file=- # here another thread
--tf accept-nodes place=\*
outPipe.0=places \
--merge inPipe.0=motorway inPipe.1=places
语法可能不是那么透明,但想法是两个线程都从相同的标准输入读取并基本上互相窃取数据。
不知何故,我需要让每个线程都有自己的 STDIN(或另一个临时内存流)并在它们之间拆分 bzip2 的输出。