21

可能重复：
在 C# 中删除文本文件的第一行

从一个巨大的（想想 2-3 GB）文件中删除第一行的最快和最聪明的方法是什么？

  • 我认为，您可能无法避免逐块重写整个文件，但我可能错了。

  • 可以使用内存映射文件以某种方式帮助解决这个问题吗？

  • 是否可以通过直接在文件系统（例如 NTFS）上操作来实现这种行为 - 例如，更新相应的inode数据并更改文件起始扇区，从而忽略第一行？如果是，这种方法是否真的很脆弱，或者还有许多其他应用程序，除了它OS本身做类似的事情？

4

5 回答 5

13

NTFS默认情况下，大多数卷（但重要的是不是全部！）以4096字节块的形式存储数据。这些由$MFT记录引用，您无法直接编辑，因为操作系统不允许（出于理智的原因）。因此，没有任何技巧可用于对文件系统进行操作以执行您想要的操作（换句话说，您不能直接反向截断 NTFS 上的文件，即使是文件系统块大小的数量。）

由于文件存储在文件系统中的方式，唯一的答案是您必须直接重写整个文件。或者找出一种不同的方式来存储您的数据。一个 2-3GB 的文件是庞大而疯狂的，特别是考虑到您提到的行意味着该数据至少部分是文本信息。

您应该考虑将这些数据放入数据库吗？或者至少更有效地组织它。

于 2012-07-19T19:07:07.800 回答
8

您可以用 覆盖要擦除的每个字符'\x7f'。然后，在读取文件时，您的阅读器会忽略该字符。当然，这假设您有一个从不使用该DEL字符的文本文件。

std::istream &
my_getline (std::istream &in, std::string &s,
            char del = '\x7f', char delim = '\n') {
    std::getline(in, s, delim);
    std::size_t beg = s.find(del);
    while (beg != s.npos) {
        std::size_t end = s.find_first_not_of(del, beg+1);
        s.erase(beg, end-beg);
        beg = s.find(del, beg+1);
    }
    return in;
}

正如 Henk 指出的那样，你可以选择一个不同的角色作为你的DELETE. 但是，优点是无论您要删除哪一行（不限于第一行），该技术都有效，并且不需要对文件系统进行处理。

使用修改后的阅读器，您可以定期对文件进行“碎片整理”。或者，当内容被流式传输/合并到不同的文件或归档到不同的机器时，碎片整理可能会自然发生。

编辑：您没有明确说出来，但我猜这是针对某种日志记录应用程序，其目标是设置日志文件大小的上限。但是，如果这是目标，那么只使用一组较小的日志文件会容易得多。假设您维护了大约 10MB 的日志文件，总日志限制为 4GB。所以这将是大约 400 个文件。如果启动了第 401 个文件，对于写在那里的每一行，您可以DELETE在第一个文件的连续行上使用标记。当所有行都被标记为删除时，可以删除文件本身，再次留下大约 400 个文件。只要在删除行时第一个文件没有关闭，就没有隐藏的 O(n 2 ) 行为。

但更简单的方法是让您的日志系统保持第 1 和 401 文件原样，并在移动到第 402 文件时删除第 1 文件。

于 2012-07-19T19:21:16.107 回答
6

即使您可以删除前导块，它也至少是一个扇区（512 字节），可能与行的大小不匹配。

考虑一个包装器（甚至可能是一个帮助文件）从某个偏移量开始读取。

于 2012-07-19T19:02:23.730 回答
3

想法（没有魔法尘埃，只有下面的努力）：

使用用户模式文件系统，例如http://www.eldos.com/cbfs/或http://dokan-dev.net/en/来包裹你的真实文件系统，并创建一个小型簿记系统来跟踪有多少文件在前面被“吃掉”。在某些时候，当文件变得太大时，将文件重写为另一个文件并重新开始。

那个怎么样？

编辑：

如果您使用虚拟文件系统，那么您可以使用更小的（256mb）文件片段，您可以将它们粘合到一个具有所需偏移量的“虚拟”文件中。这样你就不需要重写文件了。

更多的：

反思用 'nothing' 覆盖前几行的想法 - 不要那样做，而是在文件的前面添加一个 64 位整数，并使用您喜欢的任何方法跳过那么多字节，因为Stream将包装原始流并偏移其中的读数的示例推导。

我想如果您选择在“客户端”端使用包装器可能会更好。

于 2012-07-19T19:07:46.313 回答
0

将文件一分为二，第一个是较小的块。删除第一行，然后与另一行连接。

于 2012-07-20T00:45:12.807 回答