csv - 如何在 python 中剪切一个大且不断增长的 CSV 文件

Question

我有一个growth.csv 文件，如下所示：

...
20211213 20:49:01,61826.0,61925.0,61928.0,1014.41
20211213 20:50:01,61839.0,62122.0,61928.0,1014.41
20211213 20:51:01,61901.0,62026.0,62035.0,1015.03
...

但我想将此文件保持在最新状态，例如 ~10,000 行/行，因为程序使用了最后 ~7,500 行。是否有一种聪明的方法可以做到这一点？

Answer 1

tail您可以使用命令行上的命令获取文件的最低 10000行，例如

tail -n 10000 growing.csv > truncated.csv

如果您有想要保留的标题或顶级注释，您也可以类似地使用以下head命令来获取它们：

# write the first line of growing.csv to truncated.csv
# truncated.csv will be overwritten
head -n1 growing.csv > truncated.csv

# Now append the lowest 10k lines to the newly
# created/truncated file
tail -n 10000 growing.csv >> truncated.csv