问题标签 [no-duplicates]

我想以有效的方式从队列中删除重复的条目。队列有一个自定义类，包含 DateTime 和 FullPath 以及其他一些东西

类中的 DateTime 是插入队列时的时间戳。我想使用的逻辑如下：如果 FullPath 在 4 秒窗口内相同（即如果在重复的完整路径的 4 秒内添加到队列中），则从队列中删除重复项。我有我想观看的事件，但仍然会有一些重复的事件到达，这没关系。

我正在使用 c# 2.0 和 FileSystemWatcher 类和一个工作队列。

有很多方法可以做到这一点：每次添加项目时修剪队列，或者当我在队列上工作时跳过当前重复项目的处理。

或者我应该使用“全局私有”变量 Dictionary< String, DateTime> 吗？这样我可以快速搜索吗？还是队列的本地副本？如果有很多文件事件，最好将本地队列限制为 100 个项目？虽然在我的情况下，它“应该”只是在文件夹中监控的相对较少的文件......但事情总是在变化......

谢谢你的帮助。

：编辑：美国东部时间 2 月 10 日 8:54：所以我决定实施一个好的简单解决方案，据我所知。我不认为我持有字典键太久......

：编辑：美国东部时间 2 月 10 日 9:53：更新为我的字典不能包含重复值。

我正在尝试在 php 中对这个数组进行排序：

看起来像这样：

基本上，它删除了重复的项目“肖像”和“抽象”，因为它们已经是数组开始的键，以及第一个键“Levi Self”下的项目。有没有办法做到这一点？谢谢，李维斯

我正在创建一个 SQLite 视图来跟踪客户电子邮件及其帐户。有些客户使用相同的电子邮件地址创建了多个帐户。使用 SQLite，有没有办法限制视图仅返回每封电子邮件一次，而不管个人拥有多少个帐户？我不关心哪个帐户被丢弃（即 Jim1 或 Jim2）。

视图将返回：

谢谢！

我在 Python 中使用列表时遇到了一种奇怪的行为。我已经实现了一个返回整数列表的方法；特别是，这些是图中的循环，每个循环包括三个节点：

这让我回到了这样的事情：

现在，我需要 (1) 对列表中的每个列表进行排序，然后，我需要 (2) 从整个列表中删除重复项，并且 (3) 我需要再次对整个列表进行排序。所需的结果可能如下所示：

任务 (1) 是通过在通过 compute_cycles 返回它们之前对内部列表进行排序来实现的。通过执行以下行获得任务（2）和（3）：

这适用于处理的第一个图。下面的每个图表都失败了，因为内部列表中的排序有时是错误的。我尝试了最后一行源代码两次，第二个结果与预期不同。例如，我在第二次运行中得到了 x ：

代替

这导致选择 29837921 作为字典中的键而不是 27629939。因此，使用 sorted(x) 的初始排序似乎已经是错误的。但为什么？

我试图在我的程序之外重现这种行为，但我不能。在我的应用程序中，我正在解析这样的 XML 文档：

例如，在执行时，

那么第二次运行的顺序是出乎意料的。

我知道，我的源代码示例不适合自己重现它，但也许我在处理列表时遗漏了一些基本的 Python 内容。

更新

这是列表的创建：

更新

如果犯了一个大错误：我已经覆盖了__repr__图中使用的 Node 对象的函数，以便它返回一个整数。也许，排序失败是因为我处理的是真实对象而不是整数。我以sort这种方式更改了对函数的调用：

我得看看这是否有区别。节点类定义如下：

我有这个 mysql 查询，可以找到每个主题的重复项和出现次数：

但我想做的是删除所有找到的重复项。我只想要每个主题的唯一名称，并且没有重复！谢谢

我将 URL 保存在数据库中，当我插入一个新 URL 时，我想检查该 url 是否已存在于数据库中。

一种常见的做法（如果我没记错的话）是使用 md5 或 sha-1 等对 url 进行哈希处理......并在插入新字段之前检查数据库中的该字段是否重复。

我知道 md5 会产生碰撞，sha-1 也...

你对我有什么建议？我的需求是：

• 数据库大小：数据库上最终有 10 到 20 百万条记录

• 性能/速度：小哈希大小，因此数据库不会对重复项进行繁重的负载检查（该字段当然会有索引）

• 容忍度：我不在乎每 100,000 条记录是否有 1 次碰撞。我的需求更多的是性能（小哈希）而不是 0% 冲突（大哈希）。

• 恶意 URL 攻击以故意产生冲突的可能性：极低

• 在这种成功攻击的情况下可能造成的最大伤害：极低

问题：

• 你相信 md5 就足够了吗（有更好的建议）？

• 也许 md5 对我来说甚至是矫枉过正，我真的可以通过使用更简单的东西来获得性能优势？

提前谢谢你们！

我的网络应用程序上有一个上传 excel 文件。当文件上传时，它应该被打开，然后将数据导入到一个 mysql 表中。它工作得很好，因为它可以很好地添加信息。但是有一个问题，我无法让重复检查正常工作的代码。部分原因是要使用的 excel 工作表没有任何可以用作唯一标识符的列。在 excel 表中，信息在整行中多次完全相同，只有一列或两列存在差异……我想我可以这样做： Select * FROM table_name WHERE table_col_1 = variable and table_col_2 = variable 2 等等...

我想通过这样做，我可以将行中每一列的值与导入值进行比较，如果它相同，它将跳过它......但是我不能完全理解它......也许我正在考虑它深入，有一种简单的方法可以做到这一点。以下是我正在使用的功能：

任何帮助将不胜感激...

我已经成功地制作了一个脚本，可以过滤掉文件中的重复行并将结果保存到一个以分号分隔的变量（类似于“数组”）。我找不到任何真正好的解决方案。

的内容!read-array!是2008-12-12;2007-01-01;2009-06-06

我现在想取出数组中的每个项目并将它们写入一个新文件，每个项目后都有换行符。例子：

所以这就是我到目前为止想出的。

我遇到的问题是第二个循环在嵌套时for不接受!loop!变量作为令牌定义。%loop%但是，如果它没有嵌套，它会接受。我这样做的原因是!read-array!可能有未知数量的项目，因此我也计算它们。有任何想法吗？

假设我像这样创建了一些对象类

现在我想创建一个数组列表来保存一些这样的对象类。

我想包含某种逻辑，以便在这种情况下......当我们尝试添加对象“second”而不是向 arrayList 添加新对象时，我们将 second.getNum() 添加到 first.getNum()。因此，如果您要遍历 ArrayList 它将是

我很难想出一种优雅的方式来处理这个问题。并且随着数组列表的增长，搜索它以确定是否有重复的名称项变得很麻烦。任何人都可以提供一些指导吗？

我有以下表格

我的查询需要返回标题、消息和订阅者邮件。每个订阅者都可以收到许多消息。

我的查询返回重复的电子邮件。我想得到：

我现在有：

如何处理它？谢谢你的帮助。