这是我第一次面对这样的情况。我需要为第一个字段做 uniq ，但不删除重复行的任何内容。举这个例子

输入文件

当我这样做时（uniq -w 12），只会检查第一个字段（只有 12 个字符）在所有其他行中是否存在重复项。结果将是这样的：

所有重复行的内容都被丢弃，只保留第一行。我正在寻找的是这样的

如何在不丢失重复行内容的情况下使用 uniq ？！有没有办法在 AWK/sed/perl 中做到这一点？

我有一个文本文件，其中包含字段 1 中的可变长度键字段和字段 2 中的其他数据。这些字段由制表符 ("\t") 分隔。关键字段包含空格。文件按关键字段排序。

我想对此进行过滤以创建一个文件，该文件仅包含具有重复键字段（即字段 1）的那些记录，另外还可以使用空行分隔记录组。

例如

...ETC。换句话说，uniq -d -D如果它为备用字段定界符或可变长度字段提供任何选项，那么它会做什么！

有没有办法在使用现成的 Unix 过滤器的命令中完成这个？

我有看起来像这样的文件：

对于每一行，我想计算它的出现次数并将其写入第三列，每一行应该被新行分割，如下所示：

我设法编写了这个脚本：

其中 input_uniq 是

但不幸的是我得到这样的输出：

如果我只使用一个回声，输出会很奇怪（基本上，$line 在开头被 $a 覆盖）所以我正在寻找另一种方法来做我需要的事情或建议如何修复我的脚本。

我有带有以下参数的邮件日志文件

我想计算除 127.0.0.1 之外的所有中继

输出应该是这样的

我有 2 个文本文件

现在我想阅读 2 个文本文件并将匹配的用户名包装成如下格式

谢谢

假设我有一些制表符分隔的数据：

我想按名称在第一列中出现的次数（最大到最小）对其进行排序，所以我们有彼得（3 次出现）乔（2 次出现）和劳拉（1 次出现）。

它只需要按第一列排序，而不是第二列。我一直在阅读 sort 的文档，但我认为它没有这个功能。谁有简单的方法？

关于使用命令的两个问题uniq，请帮忙。

第一个问题

假设我有两个文件；

使用cat 1.dat 2.dat | sort -n | uniq > 3.dat，我可以将两个文件合并为一个。结果是：

但如果我有一个科学记数法1.dat，

结果将是：

这不是我想要的，我怎么能让uniq理解1e-1是一个数字，而不是一个字符串。

第二个问题

同上，但这次，让第二个文件2.dat的第一行稍有不同（从0.3 1.67到0.3 1.57）

那么结果将是：

我的问题是，我如何uniq仅根据第一个文件中的值使用并仅从第一列中找到重复项，以便结果仍然是：

谢谢

更复杂的测试用例

我正在尝试在包含两列的数据列表中查找唯一且重复的数据。我真的只想比较第 1 列中的数据。

数据可能如下所示（由选项卡分隔）：

所以我一直在玩以下内容：

1. 在不忽略大小写的情况下进行排序（只是“排序”，没有 -f 选项）可以减少重复项

   gawk '{ FS = "\t" ; 打印 $1 }' EN-IT_Corpus.txt | 排序 | uniq -i -D > 骗子

2. 忽略大小写排序（“sort -f”）给了我更多的重复

   gawk '{ FS = "\t" ; 打印 $1 }' EN-IT_Corpus.txt | 排序-f | uniq -i -D > 骗子

如果我想查找忽略大小写的重复项，我是否认为＃2 更准确，因为它首先忽略大小写对其进行排序，然后根据排序的数据查找重复项？

据我所知，我无法组合排序和唯一命令，因为排序没有显示重复项的选项。

谢谢，史蒂夫

我有一个用 PHP 创建的网站，我通过 Flash 播放器或 html5 播放器播放 mp4 文件。最近我发现我的文件也在其他网站上，这占用了我的带宽。

我在存储 mp4 文件的远程主机上使用 httpd/apache。在网站上，我使用 nginx。

我对 PHP 和 MySQL 有一些了解，但我不知道该怎么做。我怎样才能让它们只能通过我的网站访问？

我有一个自定义类Instruction。实例被初始化并收集在一个数组中。有一些重复的（所有实例变量相同）实例，我想将它们过滤掉。

我希望其中一个'2000-01-01', 'Small', '9am'条目被 删除.uniq，但是我仍然在输出中看到重复的条目。

我尝试向类定义中添加==和eql?方法，如下所示：

但这也不起作用……救命！