问题标签 [duplicates]

是否有一个内置程序可以从 Python 中的列表中删除重复项，同时保留顺序？我知道我可以使用集合来删除重复项，但这会破坏原始顺序。我也知道我可以像这样滚动自己：

（感谢unwind提供的代码示例。）

但如果可能的话，我想利用一个内置的或更 Pythonic 的习语。

相关问题：在 Python 中，从列表中删除重复项以使所有元素都是唯一的同时保持顺序的最快算法是什么？

我在 Oracle 中测试了一些东西，并用一些示例数据填充了一个表，但是在这个过程中我不小心加载了重复的记录，所以现在我无法使用某些列创建主键。

如何删除所有重复的行并只保留其中之一？

我需要将数据从一个表传输到另一个表。第二个表有一个主键约束（第一个没有约束）。它们具有相同的结构。我想要的是从表 A 中选择所有行并将其插入表 B 中而没有重复的行（如果一行是重复的，我只想取我找到的第一个）

例子 ：

如您所见，第二行和第三行获得了相同的 pk 密钥，但 MyField4 和 MyField5 中的数据不同。所以，在这个例子中，我想要第一行、第二行和第四行。不是第三个，因为它是第二个的重复（即使 MyField4 和 MyField5 包含不同的数据）。

我怎样才能通过一次选择来做到这一点？

谢谢

技术解决方案可以在这里找到：整个网站被劫持！第 2 部分：如何配置基于名称的虚拟主机？

原始域是http://neteditr.com

有问题的模仿网站是http://kitchen.co.jp

在阅读了一些文章之后，似乎这种网站劫持是由代理服务器完成的，但究竟是如何从谷歌的搜索页面中删除指向“neteditr.com”的链接，而他们的“kitchen.co.jp”却很高在名单上？大约一个月前，我仍然可以进行“neteditr”搜索，并且 neteditr.com 排名第一。

到目前为止，我已经使用 Google 的 SearchWiki 删除了他们的所有条目，并添加了原始 URL，希望能够给原始域更多的权重。但这仅适用于我自己的 Google 帐户。如果我在没有登录的情况下进行通用搜索，问题仍然存在。

无论如何，我的问题是：

1. 从技术上讲，您如何防止您的网站被镜像到另一个域，我正在使用 Apache 并提供 HTML/JS/PHP/CSS 文件。

简短的回答：你无法阻止它

2. 如果你现在被镜像了，你会怎么做？

简短答案：设置基于名称的虚拟主机。参见上面的技术解决方案。

3. 谷歌从他们的搜索排名中删除了您的原始域名，并在谷歌的首页上对您的违规者的网站进行了排名。我们[受害者]可以就此向谷歌投诉吗？

回答：在设置了基于名称的虚拟主机并且不允许有问题的域进行 HTTP 访问后，谷歌应该会自动删除他们的域名

***编辑

以 stackoverflow.com 为例：

stackoverflow.com IP = 69.59.196.211

这与注册一个名为 stackunderflow.com 的域并将其指向 69.59.196.211 相同。在 Google 中搜索 stackoverflow 时，stackunderflow.com 位于 Google 的首页，而 stackoverflow.com 却无处可寻。他们是怎么做到的？

***编辑 2

在得知 kitchen.go.jp 指向我的原始 IP 后，我得出结论，攻击者没有使用代理服务器。通常在恶意镜像案件中，犯罪者会在镜像内容之上添加自己的广告和色情链接。我的情况并非如此。所以它可能是：

A）老实说，我认为有人只是想让您的编辑器使用日本域（可能是公司的 webfilter 政策？），没有恶意-DrJokepu

B）可能是有人想在将搜索引擎排名切换到不同的内容（即他们的）之前建立搜索引擎排名-Roland Shaw

我正在考虑对我的代码中特别重要的部分进行优化。它的任务是将统计数据插入表中。其他程序对这些数据的影响相当大。否则我会考虑使用 SQL 批量插入等。

所以我的问题是...

是否可以尝试插入一些数据，知道它可能（不太经常）为重复行抛出 SqlException？

异常对性能的影响是否比插入前检查每一行更糟糕？

我如何去检测（返回真/假）一个 ArrayList 是否包含多个 Java 中的相同元素？

非常感谢，特里

编辑 忘了提到我不是要比较“块”，而是要比较它们的整数值。每个“块”都有一个 int，这就是它们不同的原因。我通过调用名为“getNum”的方法（例如 table1[0][2].getNum();

删除字符串中任何重复字符和由空格分隔的字符集的最佳方法是什么？

我认为这个例子更好地解释了它：

应该变成：

其他示例：

变成：

我有一个 MySQL 数据库表，其中包含我感兴趣的两列。单独地，他们每个人都可以有重复项，但他们永远不应该有两个具有相同值的重复项。

stone_id只要每个upsharge标题不同，就可以有重复，反之亦然。但是例如说stone_id= 412 和upcharge_title= "sapphire" 组合应该只出现一次。

还行吧：

这是不行的：

是否有一个查询可以在两个字段中找到重复项？如果可能的话，有没有办法将我的数据库设置为不允许这样做？

我正在使用 MySQL 版本 4.1.22

为了使用 uniq 命令，您必须先对文件进行排序。

但是在我拥有的文件中，信息的顺序很重要，那么我怎样才能保持文件的原始格式但仍然摆脱重复的内容呢？

我有一个即时生成的 XML 文档，我需要一个函数来消除其中的任何重复节点。

我的功能如下：

示例输出为：

我只想要我的书籍根标签中的一个条目，还有其他标签，比如那里的小册子也需要删除重复项。有任何想法吗？

更新了以下评论。通过唯一节点，我的意思是删除具有完全相同内容和结构的节点的多次出现。