问题标签 [uniq]

我有一个 12 列的 txt 文件。有些行是重复的，有些则不是。例如，我复制到数据的前 4 列。

根据第一列，您可以看到除了条目“3”之外还有一些重复项。我想打印唯一的单个条目，在本例中为“3”。

输出将是

有没有使用 awk 或 perl 的快速方法？我只能考虑在 perl 中使用 for 循环，但考虑到我有大约 150 万个条目，这可能需要一些时间。

我有一个这样的数据框

我想要的是在不对表格进行排序的情况下获得每个相应基因的唯一值的数量。

有人可以帮忙吗？

谢谢乌彭德拉

我正在尝试 grep -R 一个确切版本的 apache。
我留下了包含和手册，因为它没有必要更改。
这是我正在使用的命令：

grep -R 2.2.24 * | grep -v manual | grep -v include | cut -d':' -f 1

我想知道如何为每个文件找到一个结果？
谢谢

我知道如何使用删除重复的行sort，uniq但是有没有办法删除重复的第一行而不是第二行？

例如，如果我有一个包含以下行的文件：

输出需要是：

我需要运行某种循环还是可以轻松完成uniq？而且，是的，我知道向后排序会给我输出，但这不是我想要的。

谢谢。

我有一个看起来像这样的平面文件

正如您从数据样本中看到的那样，对于每个 ID，该 ID 有多个值，它们可以是任何值 - 相同或不同。对我来说，我不在乎它会提升哪个价值。任何价值都适合我。

所以我只想要每个 ID 中的一个值。我真的不在乎哪一个，但如果我必须选择，我会说最长的那一行。

它可能在 Python 中完成，但在 Shell 本身中有一种简单的方法可以做到这一点，我愿意使用 sed 或 awk 但请不要写一整段 awk 代码，拜托..

它可能看起来像：

多谢 ！！

要过滤不连续的文件行，以下单行工作正常：

但是，当我尝试将其作为别名并执行时，它没有按预期工作

错误如下

为 SunOS 操作系统使用 tcsh shell

我想根据仅出现一次的特定列中的值打印行。在下面的示例中，val2 和 val3 只出现一次。

输入

输出

uniq -u似乎没有指定列的选项。我也试过sort -t, -k1,1 -u，但每行打印一次。

我有一个列表，其中包含与 IP 地址配对的数据，我只想查看一次 IP 地址，并且不想更改顺序。

我想要做的只是删除重复的 IP 地址，但让一切都完全相同。

我想让它看起来像这样

我不想碰任何重复的单词，我无法更改顺序

谢谢如果你能帮忙

尝试从 MacOS bash shell 中的大文件中提取非英文字符时出现“非法字节序列”错误。这是我尝试使用的脚本：

这是我得到的错误：

'+?

通常的文件名看起来像

我想上面的命令应该只给出一次像 Zoe 这样的文件名的非重复结果，但事实并非如此。

为什么？我应该怎么写才能得到想要的结果？