4

我想从文件中删除重复的行，而不对文件进行排序。

为什么这对我有用的示例：在$HISTFILE不更改时间顺序的情况下从 Bash 中删除重复项。

这个页面有一个单行来做到这一点：

http://sed.sourceforge.net/sed1line.txt

这是单线：

sed -n 'G; s/\n/&&/; /^\([ -~]*\n\).*\n\1/d; s/\n//; h; P'

我问了一个系统管理员，他告诉我“你只需复制脚本就可以了，不要对此进行哲学思考”，这很好，所以我在这里问，因为它是一个开发者论坛，我相信人们可能会像我一样，怀疑使用他们不理解的东西：

请你提供一个伪代码解释那个“黑魔法”脚本在做什么，好吗？我试着解析我脑海中的咒语，但尤其是中央部分相当困难。

4

3 回答 3

5

我会注意到，在我当前的语言环境中，这个脚本似乎不适用于我的sed(GNU sed 4.1.5) 副本。如果我用它运行LC_ALL=C它工作正常。

这是脚本的注释版本。 sed基本上有两个寄存器，一个称为“模式空间”，用于（基本上）当前输入行，另一个是“保持空间”，可由脚本用于临时存储等。

sed -n '                    # -n: by default, do not print
    G                       # Append hold space to current input line
    s/\n/&&/                # Add empty line after current input line
    /^\([ -~]*\n\).*\n\1/d  # If the current input line is repeated in the hold space, skip this line
                            # Otherwise, clean up for storing all input in hold space:
    s/\n//                  # Remove empty line after current input line
    h                       # Copy entire pattern space back to hold space
    P                       # Print current input line'

我想添加和删除一个空行是为了让中心模式保持相对简单（你可以指望在当前行之后和匹配行开头之前有一个换行符）。

所以基本上，整个输入文件（没有重复）被保存（以相反的顺序）在保持空间中，如果模式空间的第一行（当前输入行）在模式空间的其余部分（其中当脚本开始处理这一行时从保留空间中复制），我们跳过它并重新开始。

条件中的正则表达式可以进一步分解；

^    # Look at beginning of line (i.e. beginning of pattern space)
\(   # This starts group \1
[ -~] # Any printable character (in the C locale)
*     # Any number of times
\n    # Followed by a newline
\)   # End of group \1 -- it contains the current input line
.*\n # Skip any amount of lines as necessary
\1   # Another occurrence of the current input line, with newline and all

如果此模式匹配，脚本将丢弃模式空间并从下一个输入行 ( d) 重新开始。

您可以通过更改[ -~]为使其独立于语言环境工作[[:print:]]

于 2012-06-27T08:33:22.807 回答
3

该代码对我不起作用，可能是由于某些语言环境设置，但这确实：

                          vvv
sed -n 'G; s/\n/&&/; /^\([^\n]*\n\).*\n\1/d; s/\n//; h; P'
                          ^^^

让我们首先将这本书（即 sed 信息页面）翻译成一些有害的东西。

# The standard sed loop
my $hold = "";
while ($my pattern = <>) {
    chomp $pattern;

    $pattern = "$pattern\n$hold";           # G
    $pattern =~ s/(\n)/$1$1/;               # s/\n/&&/
    if ($pattern =~ /^([^\n]*\n).*\n\1/) {  # /…/
        next;                               # d
    }
    $pattern =~ s/\n//;                     # s/\n//
    $hold = $pattern;                       # h
    $pattern =~ /^([^\n]*\n?)/; print $1;   # P
}

好的，基本思想是保持空间包含到目前为止看到的所有行。

  1. G：在每个循环开始时，将保留空间附加到当前行。现在我们有一个由当前行和它之前的所有唯一行组成的字符串。
  2. s/\n/&&/：将分隔它们的换行符变成双换行符，以便我们可以匹配后续和非后续重复项，请参见下一步。
  3. ^\([^\n]*\n\).*\n\1/: 在当前文本中查找以下内容：在所有行的开头 ( ^) 查找第一行，包括尾随换行符 ( \([^\n]*\n\))，然后是任何内容 ( .*)，然后是换行符 ( \n)，然后是相同的第一行，包括重复的换行符再次（\1）。如果后续两行相同，则.*正则表达式中的 将匹配空字符串，但\n由于上一步中的换行符重复，两者仍将匹配。所以基本上这会询问第一行是否再次出现在其他行中。
  4. d：如果有匹配，这是一个重复的行。我们丢弃这个输入，将保持空间保持原样，作为目前看到的所有唯一行的缓冲区，然后继续下一行输入。
  5. s/\n//：否则，我们继续，然后将双换行符变回单换行符。
  6. h：我们将当前行包含在所有唯一行的列表中。
  7. P: 最后打印这个新的唯一行，直到换行符。
于 2012-06-27T08:50:17.073 回答
0

对于要解决的实际问题，这是一个使用 awk 的更简单的解决方案（至少看起来如此）：

awk '!_[$0]++' FILE

简而言之_[$0]，对于每条唯一行的（外观）计数器，对于$0第二次出现的任何行 ( ) _[$0] >= 1，!_[$0]计算结果为false，导致它除了第一次出现外不会被打印。

请参阅https://gist.github.com/ryenus/5866268（归功于我最近访问的一个论坛。）

于 2013-07-01T10:09:48.373 回答