问题标签 [duplicate-removal]

我有一张表，其中 member_id 为不同的用户插入。我想删除 member_id 的条目，除了表中每个成员的最近两个条目。

告诉我优化的方式，因为它是一个非常大的表。

即表应该为每个成员有 2 个最近的条目。

我需要在 mysql 4.XXX 中查询

由于系统中的错误，跟踪日志重复触发，导致应该是一个日志条目实际上是数百个。这已解决，但数据仍然存在，需要用于报告（我不能全部删除）。但是我只想要一个数据实例。我认为这会很棘手，以下是表中的相关字段：

int UserID, int ActorID, nvarchar(50) ActorType, int BoxID, datetime CreateDate, nvarchar(50) 查询

现在，对于所有这些都相同并且 CreateDate 的差异在 30 秒之内的每一行，我想删除除一个之外的所有这些行。

因此，列出的字段中的所有数据都将完全匹配，并且 CreateDate 的范围如下：

但我只是一个保持一个，我希望这是足够的信息。

我有一个像这样的字符串列表

我需要从列表中删除重复项，即如果“AB”和“BA”存在，那么我只需要保留“AB”（第一个条目）

所以结果会像

有没有办法使用 LINQ 做到这一点？

我正在使用postgres。我想删除重复的行。条件是，不会删除重复行集中的 1 个副本。

即：如果有 5 条重复记录，则其中 4 条将被删除。

是否可以创建一个函数来创建一个带有列表输入的集合。

如果不使用递归，我想不出任何办法。

我可以使用高阶函数，如折叠、过滤、映射、压缩。我只是不能在我的函数中进行递归。

显然我不能使用 nub。

我一直在努力想弄清楚如何在没有递归或任何类型的循环的情况下摆脱重复项（至少我认为我们不能使用循环，会问）。

我试图弄清楚如何创建一个仅包含仅出现一次的元素的新列表。我也不能使用递归。

这是更大功能的一小部分。我试图编写一个函数来获取两组的相交。基本上我组合了这些集合。然后排序。然后我想将它与集合 B 结合起来，并删除该集合中的所有重复项。除非其他人知道更简单的方法。

我可以使用高阶函数，但我不能使用递归。

谢谢

编辑：示例：

[1,2,3,3,4,4,5,5] 应该是 [1,2]

我有以下 XML 结构：

我需要获取所有叶节点。我使用 //node[not(node)] 来获取这些。现在我需要通过保留层次结构更深的元素来删除重复项。我怎么做？

我有一个带有年份列的表，该列不应该有重复的值。所以我最终得到了一张只有一个 2007 年记录的表格。

那么如何删除那些具有重复年份值的行呢？

谢谢

我最初问了这个问题：Regular Expression in gVim to Remove Duplicate Domains from a List

但是，我意识到，如果我“扩大我的范围”以了解我愿意接受的解决方案，我可能更有可能找到一个可行的解决方案。

所以，我会改写我的问题&也许我会得到一个更好的解决方案......这里是：

我在 .txt 文件中有大量 URL 列表（我正在运行 Windows Vista 32 位），我需要删除重复的域（以及每个重复的整个对应的 URL），同时留下每个域的第一次出现。这个特定文件中大约有 6,000,000 个 URL，格式如下（这些 URL 中显然没有空格，我不得不这样做，因为我这里没有足够的帖子来发布那么多“实时” URL ):

无论解决方案是什么，使用上述内容作为输入的输出文件应该是这样的：

您注意到现在没有重复的域，并且它留下了它遇到的第一次出现。

如果有人可以帮助我，无论是使用正则表达式还是我不知道的某些程序，那都很棒。

不过我会这么说，我没有使用 Windows 操作系统以外的任何东西的经验，所以一个需要 Windows 程序以外的东西的解决方案，可以这么说需要一点“婴儿步”（如果有人愿意这样做的话）。

我有与 libA 链接的 libX，以及也与 libA 链接的 libY。现在我需要在同一个项目中使用 libX 和 libY，所以它们链接到同一个应用程序中。为了争论，假设 libA 的大小为 5 MB，而我正在构建一个 iOS 应用程序。

我在这里读到，在这种情况下库之间没有冲突，因为此示例中的 libA 将包含在 libX 和 libY 中。但这也会使应用程序的大小显着增加 10 MB，而不是 5 MB。

为了不在应用程序中包含两次 libA，我需要做什么？有编译器开关吗？

除此之外，在如何设置库和将库划分为 Xcode 项目方面我能做些什么，以便我最终只链接一次 libA？例如，我可以在不链接到 libA 的情况下构建 libX 和 libY，假设最终项目会将 libA 添加为链接库吗？

通常，我只会将 libA 构建为动态库，但据我所知，这在 iOS 上是不允许的。