问题标签 [filesplitting]

awk 命令将 8GB 文件拆分为多个文件，根据每个文件中具有新文件名和标题的行数

我有一个包含 26 个列标题的 8GB 文件。我必须将它拆分为多个文件，每个文件有 400000 万，包括标题。这意味着每个文件也应该有标题。

我尝试了多个命令，但即使我得到了所需的输出，也有一个小问题，但很奇怪。

在第 1 行作为标题之后，每隔 50000 行再次插入标题。 例如，使用以下命令后，我得到了 FileName_28062021_1.txt 文件。如果我打开这个文件，我可以看到第 1、50001、100001、150001 行的标题：不确定如何解决。原始命令尝试：

尝试了第二个 AWK 命令

……

我已经尝试过 stackoverflow 上提供的其他解决方案。仍然没有运气，标题在第 50000 次后重复后重复

我在用着 ：

所以我正在生成一个关于文件夹的 zip。该文件夹包含多个文件。

我想要的是将拉链的大小限制在 50Mo。

如果 zip 的大小超过 50Mo，那么我想用其他文件生成另一个 zip。

例如我有：

我怎样才能做到这一点 ？

我有一段代码可以成功创建一个 zip 文件，但是如果它的大小超过 1MB，我需要拆分这个文件。

我有这段代码，但它不起作用：

我想以字节形式检索拆分文件。压缩部分正在工作，但拆分没有。

我编写了以下代码将平面文件拆分为较小的文件，每个文件最多包含 1M 条记录。

目前，代码运行良好，但将一个 100 MB 文件（包含大约 5M 条记录）拆分为 5 个文件，每个文件有 1M 条记录大约需要 2 分钟。

您能否建议一种使此代码运行得更快的方法，因为我需要拆分大于 2 GB 的文件。

提前非常感谢。