67

我希望将包含超过 5000 万个条目的文本文件中的前 1000 行复制到另一个新文件中,并从原始文件中删除这些行。

有没有办法在 Unix 中使用单个 shell 命令来做同样的事情?

4

6 回答 6

91
head -1000 input > output && sed -i '1,+999d' input

例如:

$ cat input 
1
2
3
4
5
6
$ head -3 input > output && sed -i '1,+2d' input
$ cat input 
4
5
6
$ cat output 
1
2
3
于 2009-04-29T05:48:01.633 回答
34
head -1000 file.txt > first100lines.txt
tail --lines=+1001 file.txt > restoffile.txt
于 2009-04-29T05:38:09.317 回答
11

出于好奇,我找到了一个带有 GNU 版本sed(v4.1.5) 的盒子,并使用 11M 行文本文件测试了迄今为止建议的两种方法的(未缓存)性能:

$ wc -l input
11771722 input

$ time head -1000 input > output; time tail -n +1000 input > input.tmp; time cp input.tmp input; time rm input.tmp

real    0m1.165s
user    0m0.030s
sys     0m1.130s

real    0m1.256s
user    0m0.062s
sys     0m1.162s

real    0m4.433s
user    0m0.033s
sys     0m1.282s

real    0m6.897s
user    0m0.000s
sys     0m0.159s

$ time head -1000 input > output && time sed -i '1,+999d' input

real    0m0.121s
user    0m0.000s
sys     0m0.121s

real    0m26.944s
user    0m0.227s
sys     0m26.624s

这是我正在使用的 Linux:

$ uname -a
Linux hostname 2.6.18-128.1.1.el5 #1 SMP Mon Jan 26 13:58:24 EST 2009 x86_64 x86_64 x86_64 GNU/Linux

至少对于这个测试,它看起来sedtail方法慢(27 秒 vs ~14 秒)。

于 2009-04-29T07:03:57.817 回答
7

这是一个单行但使用四个原子命令:

head -1000 file.txt > newfile.txt; tail +1000 file.txt > file.txt.tmp; cp file.txt.tmp file.txt; rm file.txt.tmp
于 2009-04-29T05:51:17.757 回答
4

Perl 方法:

perl -ne 'if($i<1000) { print; } else { print STDERR;}; $i++;' in 1> in.new 2> out && mv in.new in
于 2009-04-29T08:02:05.260 回答
0

使用管道:

cat en-tl.100.en | head -10
于 2018-05-18T17:39:38.393 回答