问题标签 [duplicate-data]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
html - 在不执行 GET 的情况下检查重复的内容
URL 规范化的主要目的之一是避免GET对产生完全相同结果的不同 URL 的请求。
现在，我知道您可以检查canonical tag甚至比较两个 URL 的 HTML 以查看它们是否相同，但是您必须下载完全相同的资源两次才能做到这一点，这超过了我之前所说的观点。
有没有办法检查重复的内容只做一个 HEAD 请求？如果没有，有没有办法只下载<head>网页的一部分而不下载整个文档？
我可以想到最后一个的解决方案，我只是想知道是否有直接的解决方案。
java - 删除文件中的重复数据
我在提出算法时遇到了问题。各位大佬，帮帮我好吗？
我有一个很大的文件，因此无法立即加载。存在重复数据（通用数据，可能是字符串）。我需要删除重复项。
struts2 - 表单在 Struts 2 中提交两次，作为网络代理的 Hibernate 应用程序
我有一个 struts2、Hibernate 和 Spring 应用程序。它在我们的本地端正常工作。当我们在开发服务器上部署应用程序时，有时某些表单会在表单提交时提交两次。这会导致在数据库中输入重复数据。
这仅在服务器上发生。这在 Firefox 上很少发生，但在 IE 中却很常见。同样，这仅发生在某些表格上，而不会发生在其他表格上。但是，没有什么可以区分这些形式。
我们有时使用 struts 2 提交按钮来提交表单，有时使用带有简单按钮的 java 脚本来提交表单。
作为最后一种方法，我们可以使用拦截器来防止双重表单提交（我们将不得不对许多表单进行更改），但关键是它根本不会发生在本地端。为什么它只在服务器上发生，而在某些形式上也如此，有时只在服务器上发生。
编辑：
我注意到的另一件事是，当我不使用网络代理时，即使在服务器表单上也不会提交两次，但是当使用网络代理时，表单会提交两次。该应用程序在没有任何代理的情况下正常工作。根本没有重复。
代理与它有什么关系？有没有人遇到过网络代理和双重表单提交的任何此类问题？
编辑2：
刚才我发现，在使用代理时，有时访问会被拒绝，在这种情况下，浏览器会发送两次发布请求，从而导致双重表单提交。
如果我看到 http 标头，我可以看到两个发布请求，其中一个在标头中包含以下内容
需要 HTTP/1.1 407 代理身份验证（ISA 服务器需要授权才能完成请求。对 Web 代理服务的访问被拒绝。）
有什么想法吗？请帮忙。
python - Sql Alchemy 重复提交
我目前在我的 Cherrypy 应用程序中遇到问题。我自己的自定义会话模块，在执行 session.add() 时，完全相同的对象被更新两次。
将返回
有没有人见过这个 ？
PS 这不会发生在我制作的其他模块中。
ruby-on-rails - Rails：复制记录及其多级关联？
我正在构建一个调查应用程序并尝试构建一个复制功能，以便用户可以复制调查。
我需要做的是复制调查，该调查的问题和每个问题的答案（例如多项选择选项）。
以下是我的联想：
那么，如何复制/克隆调查及其关联？
我正在运行 Rails 3。
database - 如何将 INSERTS 复制到单独的表中？
我安装的一个 iPhone 应用程序使用 SQLite 数据库来记录条目，并在其上执行基本的 INSERTS 和 DELETES。
但是我希望保留对该表所做的 INSERT 的永久日志，因此当发生 INSERT 时，我希望它也被写入另一个表以创建日志。
我无权访问应用程序源代码来修改所做的 SQL 语句，但我可以访问 SQLite 数据库。
我可以用触发器做到这一点吗？如果是这样，有人可以提供一个简短的例子。
ajax - 避免在 Google 上针对存档页面的重复内容命中？
我网站上的每篇博文——http: //www.correlated.org——都存档在其自己的永久链接 URL 中。
在这些归档页面中的每一个页面上，我不仅希望显示归档帖子，还希望显示之前发布的 10 篇帖子，以便人们更好地了解博客提供的内容类型。
我担心的是，谷歌和其他搜索引擎会将这些其他帖子视为重复内容，因为每个帖子都会出现在多个页面上。
在我的另一个博客上——http: //coding.pressbin.com——我试图通过将早期的帖子加载为 AJAX 调用来解决这个问题，但我想知道是否有更简单的方法。
有什么方法可以向搜索引擎发出不应索引页面的特定部分的信号？
如果没有，有没有比 AJAX 调用更简单的方法来做我想做的事情？
r - 根据字符重复的数量分配值
对不起，一个又一个问题的爆发。尽我最大的努力搜索，但我有一项艰巨的任务是提出一个非常非常大的程序，而且我对 R 还是很陌生，所以我感谢到目前为止我得到的所有快速帮助。
演示问题的假例子
ProceedTest 是一个分数，指示测试是否应该继续。2 分表示将考虑数据，-1 分表示测试不考虑数据。
你会注意到基因 B 的 NA 出现了两次，而 A 的 NA 只出现了一次。我希望 R 能够识别出基因 B，NA 出现两次。这样任何时候 NA 对于给定基因 (B) 出现两次，零值替换 NA，随后的 -1 变成 2。我希望 R 忽略 A 的 NA 并继续离开 Proceed 测试值原样。
更改后的数据应如下所示：
这可能是不可能的，但如果是的话，我想说如果基因没有 NA，那么 ProceedTest 值将变为 -1。
总之。基因 A 只有一个 NA，所以没有任何变化。基因 B 有两个 NA 值，因此它得到全 2，并且 NA 在强度值列中变为零。基因 C 变为 -1，因为它不包含任何 NA（改变强度值并不重要）。
我希望这很清楚，我也知道我的其他问题更容易一些，所以我希望这个特定的问题不是那么简单，我应该做更多的研究来自己找到答案。
我在这里先向您的帮助表示感谢，
乔
sql-server-2000 - 更改 ID 号以消除表中的重复项
我遇到了我正在尝试解决的问题：每天我都会将新记录导入具有 ID 号的表中。
它们中的大多数是新的（以前从未在系统中看到过），但有些会再次出现。我需要做的是如果在存档中找到编号，则在 ID 编号的末尾附加一个字母，但前提是该行中的数据与存档中的数据不同，并且这需要按顺序完成, IE，如果第二次看到 12345 的数据不同，我将其更改为 12345A，如果再次看到 12345，并且再次不同，我需要将其更改为 12345B，等等。
最初我尝试使用一个where循环，它将所有“再次看到”的记录放在一个临时表中，然后第一次分配 A，然后删除那些，将 B 分配给剩下的，删除那些等等，直到临时表是空的，但这还没有解决。
或者，我一直在考虑尝试子查询，如：
有什么建议么？
duplicate-data - 识别多个数据库中的重复记录？
我正在研究印度选举部的数据库。我被要求根据选民姓名、监护人姓名和年龄查找一个数据库相对于一个州其他数据库的重复记录。在一个州内分为集会选区和集会选区为投票站。所以我的州数据库有 68 个数据库，与没有选区一样。数据库名称为 AC_001、AC_002 等直到 AC_068，每个数据库不包含表，具体取决于名为 AC001PART001、AC001PART002 的选区中的投票站的数量，以此类推......在第一个数据库 AC_001 中。一个表大致包含以下相同的字段 -
- ccode（自动增量字段）
- 选民姓名
- Relation_type(父亲或丈夫)
- Relation_name（监护人姓名）
- 议会选区编号
- 投票站没有组装
- 序列号（在投票亭中给选民的唯一编号）
- 年龄
- 选举人的形象
现在我想要一个查询，它可以根据名称、关系名称和年龄生成一个数据库相对于其他数据库的重复记录。我还想要记录重复或重复的次数。最后我想要一个列表，其中包含- - 选民姓名
- 关系类型
- 关系名称
- 议会选区编号
- 泳池摊位号
- 序列号
- 年龄
- 两个数据库中重复记录的次数
- 选举人的形象
我已经创建了一个查询，但需要很长时间才能返回结果。因此，请建议可以快速生成所需记录的查询概述。