问题标签 [uniq]

我的数据为 /tmp/1

我跑了，我什么也没得到

这很奇怪，因为uniq -d应该

你怎么能用uniq -d？

在 shell 脚本中调用它们的顺序uniq和调用时间有区别吗？sort我在这里谈论的是时间和空间方面的问题。

对比

对 140 k 行文本文件的快速测试显示，第一种方法（获取 uniq 值然后排序）的速度略有提高（5.5 秒对 5.0 秒）

不过我不知道如何测量内存使用量……</p>

现在的问题是：顺序有影响吗？或者它是否依赖于 grep 的返回行（很多/很少重复）

我有许多带有命令结果的文件： uniq -c some_file > some_file.out

例如： 1.out：

2.出

我想合并这些结果，所以我得到：

我认为 sort 或 uniq 可以处理它，但我没有看到任何与之相关的选项。编写一些 ruby​​/perl 脚本是一种可行的方法，但我想使用核心 *nix 命令（如提到的 sort 和 uniq）轻松完成。

编辑：要清楚。我没有原始文件，我必须合并 *.out 文件。

感谢帮助！

我有一个这样的 .csv 文件：

我必须从文件中删除重复的电子邮件（整行）（即overflow@example.com上面示例中包含的行之一）。如何uniq仅在字段 1 上使用（以逗号分隔）？根据man,uniq没有列选项。

我尝试了一些东西，sort | uniq但它不起作用。

我刚开始使用 Ruby，我个人认为以下内容违反了“最小意外原则”。也就是说，从文档中引用，那个 uniq! “从自身中删除重复的元素。如果没有进行任何更改（即没有找到重复项），则返回 nil。”

谁能解释一下，这对我来说似乎完全违反直觉？这意味着，而不是能够通过附加 .uniq 来编写下面的一行代码！要结束第一行，我必须编写以下两行：

还是我错过了什么，更好的方法？

编辑：

我明白那个独特的！修改其操作数。这是我希望更好地说明的问题：

我主张这种方式uniq！作品使它完全没有意义和无用。当然，正如我所指出的那样，我可以将 .uniq 附加到第一行。但是稍后在同一个程序中，我将元素推送到循环内的另一个数组中。然后，在循环下，我想对数组进行“重复数据删除”，但我不敢写 'hooks_tested.uniq!' 因为它可以返回 nil；相反，我必须写 hooks_tested = hooks_tested.uniq

事实上，我认为这是一个特别令人震惊的错误特征，因为这是一个众所周知的原则，即在设计返回数组的方法时，应该始终至少返回一个空数组，而不是 nil

我正在使用 Hive 运行 Hadoop 作业，实际上它应该uniq在许多文本文件中出现。在 reduce 步骤中，它为每个键选择最近的时间戳记录。

Hadoop 是否保证每个具有相同键的记录（由 map 步骤输出）都将转到单个 reducer，即使多个 reducer 在集群中运行？

我担心在具有相同键的一组记录中间发生随机播放后，映射器输出可能会被拆分。

以下 to 命令有什么区别？

我得到了一个包含很多名字的文本文件。我想要一个所有字符串（行）的列表，要么是 1）在 CASE 中不同（即 audi 与 AuDI）2）不同的字符超过 1 个，即（mygoo VS my-goo）有什么想法吗？？

我在 column1 和 column2 中有一堆文本文件，其中包含以下内容（用空格分隔）：

地址0数据0

地址 1 数据 1

.

.

.

地址N 数据N

所有数据值都是唯一的（随机），但有些地址值是重复的。如何使用 AWK / sort / uniq 删除已指定地址的行？

基本上，文本文件中不应该有重复的地址，无论关联的数据是什么。

希望只打印具有重复第一个字段的行。例如来自如下所示的数据：

应该打印出来：

（仅供参考 - 我的数据中的第一个字段并不总是 1 个字符）