如何找到唯一行并从文件中删除所有重复项？我的输入文件是
1
1
2
3
5
5
7
7
我希望结果是：
2
3
sort file | uniq不会做这项工作。将显示所有值 1 次
问问题
219477 次
11 回答
99
uniq有您需要的选项：
-u, --unique
only print unique lines
$ cat file.txt
1
1
2
3
5
5
7
7
$ uniq -u file.txt
2
3
于 2012-12-08T14:25:25.973 回答
33
使用如下：
sort < filea | uniq > fileb
于 2012-12-08T14:25:53.977 回答
21
cat您还可以使用命令通过管道打印出“文件”中的唯一值sort和uniq
cat file | sort | uniq -u
于 2019-03-15T20:16:27.927 回答
13
虽然sort需要 O(n log(n)) 时间，但我更喜欢使用
awk '!seen[$0]++'
awk '!seen[$0]++'是 的缩写，如果不为零awk '!seen[$0]++ {print}'，则打印 line(=$0) 。seen[$0]它需要更多空间，但只需要 O(n) 时间。
于 2019-02-21T09:12:30.730 回答
11
uniq -u 一直让我发疯，因为它不起作用。
因此，如果你有 python（大多数 Linux 发行版和服务器已经有它），而不是那样：
假设您在 notUnique.txt 中有数据文件
#Python
#Assuming file has data on different lines
#Otherwise fix split() accordingly.
uniqueData = []
fileData = open('notUnique.txt').read().split('\n')
for i in fileData:
if i.strip()!='':
uniqueData.append(i)
print uniqueData
###Another option (less keystrokes):
set(open('notUnique.txt').read().split('\n'))
请注意，由于空行，最终集合可能包含 '' 或仅包含空格的字符串。您可以稍后将其删除。或者只是逃避从终端复制;）
#仅供参考，来自 uniq 手册页：
“注意：'uniq' 不会检测重复的行，除非它们是相邻的。您可能希望先对输入进行排序，或者在不使用 'uniq' 的情况下使用 'sort -u'。此外，比较遵循 'LC_COLLATE' 指定的规则。”
调用的正确方法之一是：# sort nonUnique.txt | 独特的
示例运行：
$ cat x
3
1
2
2
2
3
1
3
$ uniq x
3
1
2
3
1
3
$ uniq -u x
3
1
3
1
3
$ sort x | uniq
1
2
3
可能会打印空格，所以请做好准备！
于 2016-01-21T05:23:54.277 回答
8
您可以使用：
sort data.txt| uniq -u
对数据进行排序并按唯一值过滤
于 2019-04-21T15:23:34.757 回答
5
uniq -u < file将完成这项工作。
于 2012-12-08T14:17:57.870 回答
5
我觉得这更容易。
sort -u input_filename > output_filename
-u代表独特。
于 2020-09-08T07:35:08.243 回答
3
uniq如果你的文件是/可以排序的，应该没问题，如果由于某种原因你不能对文件进行排序，你可以使用awk：
awk '{a[$0]++}END{for(i in a)if(a[i]<2)print i}'
于 2016-04-19T18:03:28.750 回答
3
sort -d "file name" | uniq -u
这对我来说是类似的。如果没有安排，请使用它。如果已排列，您可以删除排序
于 2018-04-04T19:00:01.203 回答
0
这是我第一次尝试
skilla:~# uniq -u all.sorted
76679787
76679787
76794979
76794979
76869286
76869286
......
做了 cat -e all.sorted 之后
skilla:~# cat -e all.sorted
$
76679787$
76679787 $
76701427$
76701427$
76794979$
76794979 $
76869286$
76869286 $
每第二行都有一个尾随空格:(删除所有尾随空格后它起作用了！
谢谢你
于 2012-12-09T12:41:32.077 回答