问题标签 [uniq]

我有一组非常大的字符串，文件的每一行都有一个。许多字符串在文件中的不同位置多次出现。

我想要使​​用 awk、grep、uniq 等 unix 命令对字符串进行频率计数。我尝试了几种组合，但没有奏效。

获取频率计数的确切命令是什么？

我有两个数据文件 1.txt 和 2.txt

1.txt 包含有效行。

例如。

在 2.txt 我有一个额外的 coloum，但如果你忽略它，我有一些有效的行和一些无效的行。2.txt 中的同一行可能多次出现

例如：

第二行和第三行相同且有效。

第四行和第五行也一样，但无效。

我想编写一个 shell 脚本来比较这两个文件并输出两个文件，valid.txt 和 invalid.txt 看起来像这些......

有效的.txt：

和 invalid.txt ：

valid.txt 和 invalid.txt 的最后一列包含该行在 2.txt 中重复的次数。

我有一个具有相同密钥Array的es，用于存储人们的数据。Hash

我想删除键:name和具有相同值的哈希:surname。其余的值可能不同，因此调用uniq!数组将不起作用。

有一个简单的解决方案吗？

我有一个Item属于模型的Product模型。Product有一properties列 hstore 类型。我想返回一组属于产品的唯一且不包括当前项目的： items@item.similar_items

错误：

这里还是初学者。

如何使用 bash awk sed 等计算表中一组唯一其他值的唯一值？所以在两个（或更多）列表中，例如：

我将如何获得输出

其中输出的第二列是所有可能的第一列值的唯一值的计数；

因此，有 6 个 AA，但只有 3 个唯一的 AA 值等。

我不想使用 SQL。只是 bash 命令行程序，例如 awk ......任何帮助都非常感谢:)

请原谅我的无知。我是 Unix 的新手。这听起来可能很愚蠢。我正在对包含一些日志详细信息的文件运行以下命令。

cat ./日志文件 | 唯一的-c

现在，当文件包含超出屏幕宽度的超长行时，它会在文本查看器上为用户创建一个水平滚动条。

有没有办法可以将文本换行到下一行，以便结果看起来清晰易读并且对用户滚动友好？看起来像下面的东西。

使用以下数据：

根据第 2 列进行第一次排序：

我想从第二列计算 1、2、3 和 4 的数量。像 $cat p1.csv | 排序 -t "," -k2 | uniq -f2 -c .....uniq 可以应用于一列吗？-f2 没有正确地将 uniq 应用于正确的字段。输出应采用第二列中唯一值的第一个实例并计算它们的数量。因此，数据必须首先按第二列排序。正确的输出如下所示：

建议？

我有一个 data.txt 文件如下

当我尝试时，

我连续获得多次出现的 uniq 值

有没有办法，我可以得到结果

提前致谢

我希望 uniq 命令的输出用逗号分隔，而不是：

我去拿：

我的输入没有空格，但仅使用sedortr可能是一个问题，因为前导空格的数量根据计数中的小数位数而变化。

我有文件sorted.txt：

如果我这样做uniq：

如果我这样做，uniq -z我会得到：

即在uniq -z我得到重复！uniq sorted.txt我期待和的输出的唯一区别uniq -z sorted.txt是分隔字符。
为什么我会重复输入uniq -z？