1

我有一个包含 20.000.000 行的文件,每天都会在该文件中添加或删除一些行,我需要做一个 crontab,我需要每天获得 9 个 50.000 行的文件。

例如:

BigFile is my file with 20.000.000 lines.

我需要生成9个文件,第一个文件的行1到50000,第二个文件的行50001到100000,第三个文件的行100001到150000. . .

我第一次无法进行拆分,因为我的文件整天都在变化,我遇到的第二个问题是,如果第二天我第一次获得 9 个文件,我需要继续使用最后一行。

例如,第一天我使用 450.000 行,然后第二天我需要第一行,从 450001 到 500000,第三天我需要将 900001 用于我的第一个文件。

拆分不起作用,因为如果我第一次使用拆分,文件会更改,那么我拥有的文件第二天就无法使用

你能帮助我吗?

4

1 回答 1

2

使用split命令(手册页)。

例如:

$ split -l 50000 /path/to/bigfile
于 2013-07-21T16:58:55.907 回答