问题标签 [uniq]

我想根据第一个字段显示 uniq 行并仅输出第一次出现的行

当我做：

这不是我想要的。

大家，我有一个包含一些列的文件。我想对第 2 列进行排序，然后对第 1 列应用 uniq。我发现这篇文章谈论的是同一列的排序和 uniq，但我的问题有点不同。我正在考虑使用某些东西sort，uniq但不知道如何使用。谢谢。

使用linux命令，我有一个引用的csv文件，我按第一列和第二列排序，现在我想删除它们在第一列和第二列中匹配的重复项，怎么做？uniq 似乎还不够，不是吗？

是）我有的

我想要实现的是一个独特的组合

我尝试过排列、展平等。但找不到神奇的红宝石代码！

编辑 ：

上面的答案就像

更准确地说。

从

怎么获得

这是 5 个 uniq 值数组（1,2,3,4,5,6）：

你似乎改变了问题。最初你想要一个数组数组，每个数组都有一对数组。现在你想要三胞胎？

是的，因为 [1,2,3,4] 的第一个示例太简单了，而且答案不适合更复杂的数组，例如 [1,2,3,4,5,6] 等等。

我们目前在 HDFS 集群上有一些数据，我们使用 Hive 在其上生成报告。基础设施正在退役，我们的任务是提出生成数据报告的替代方案（我们将其作为制表符分隔的文件导入到我们的新环境中）

假设我们有一个包含以下字段的表。

• 询问
• IP地址
• 位置代码

我们曾经在 Hive 上运行的原始 SQL 查询是（不完全是……但类似的东西）

我想知道是否有人可以使用标准 unix/linux 工具（如 sort、uniq 和 awk）为我提供最有效的脚本，这些工具可以替代上述查询。

假设脚本的输入是文本文件的目录。该目录将包含大约 2000 个文件。每个文件将包含任意数量的制表符分隔记录，格式为：

我理解正则表达式，我不明白 uniq 块是如何工作的。

uniq（GNU coreutils 8.5）似乎没有区分 em- 和 en-dashes：

$ echo -e "a-b\na-b" | 唯一的-c

有没有办法强制这种区别？我尝试了 LC_COLLATE 的各种设置，但没有成功。

给定如下文件：-

我希望比较最后两行是否相同，如果是则返回 1，否则返回 0。

我可以使用最后两个cat tail -2

根据 uniq 的手册页

-f 选项用于跳过字段

-s 用于跳过字符的选项

有人可以用相关示例来解释这两个选项实际上是如何工作的吗？

我需要从网络日志中获取唯一的 URL，然后对它们进行排序。我正在考虑使用 grep、uniq、sort 命令并将其输出到另一个文件

我执行了这个命令：

然后只获取唯一的并对其进行排序：

问题是我可以看到重复项，即使文件已排序，这意味着我的命令有效。为什么？