问题标签 [duplicate-content]

我有一个关于重复内容问题的问题。我有文章的页面，一页=一篇文章。文章下方是讨论区/评论框。

这些文章有时有非常相似的主题。因此，通常会发生用户评论/询问相同的事情，这已经在类似的旧文章中讨论过。但那是因为用户不知道旧文章。

因此，对于同一主题的某些文章，我将一个评论框用于多篇文章。

所有文章都是我的原创内容，但是页面的第二部分会故意重复内容，因为在这种情况下 - 这对用户有好处（这就是谷歌所说的网站管理员应该做的 - 对用户有好处）。

所以我的问题是——我是否应该担心这会被搜索引擎视为重复内容？如果是，我应该采取哪些步骤来保留此功能而不是受到谷歌和其他人的惩罚？

我们有一个网站提供相同的内容，但在特定国家/地区的域上 - 因此可能存在重复内容问题。

在做了一些研究之后，我们接受了 Google 的建议，即使用特定国家的域而不是 www.domain.com/country-directory/

但是，当您从另一个国家/地区搜索时，不会出现正确的域。我们在澳大利亚有一个人，每次他们搜索谷歌时，.com.au 域都不会出现。

我们在 Google 的网站管理员工具中设置了两个国家/地区域，并且都具有特定于国家/地区的 sitemap.xml 文件，网站管理员工具可以毫无问题地查看这些文件 - 事实上，就网站管理员工具而言，没有任何类型的错误（抓取错误等） .

有谁知道我们可能做错了什么？

我有一个网站可以打开和关闭 JS。页面上的所有链接都是表单的常规格式，<a href="/pagename">但如果访问者使用可用的 JS 访问它，它们将被修改为<a href="#/pagename">并使用 hahshchange 事件进行处理。

这导致 2 个可能的 URL 指向相同的内容 (www.site.com/pagename和www.site.com/#/pagename)。

注意：如果您www.site.com/pagename使用 JS 到达，您将被自动重定向到www.site.com/#/pagename

现在我想知道我是否应该实现 hashbang 格式（www.site.com/#!/pagename），因为我不知道这是否会在被机器人抓取时导致重复的内容？谷歌的常见问题解答对这个特定主题没有太大帮助。

我对谷歌抓取的页面数量有一个“双重”问题，这可能与可能的重复内容（或不重复）有关，并且对 SEO 的影响。

关于我的网页数和 Google 抓取的网页数的事实

我在两个月前推出了一个新网站。今天，它有近 150 页（每天都在增加）。无论如何，这是我的站点地图中的页数。

如果我查看谷歌网站管理员的“抓取统计”，我可以看到谷歌每天抓取的页面数量要大得多（见下图）。

我不确定它实际上是否好，因为它不仅使我的服务器更加繁忙（一天 903 页的下载量为 5.6 MB），而且我害怕它也会产生一些重复的内容。

我在 Google (site:mysite.com) 上进行了检查，它给了我 1290 个页面（但只有 191 个显示，除非我点击“重复搜索并包含省略的结果”。假设 191 个是我的站点地图中的那些（我认为我有大约 40 页重复内容的问题，但我只是为此更新了网站）。

关于我的 robots.txt 的事实

我使用 robots.txt 文件来禁止所有抓取引擎访问带有参数的页面（请参阅下面的机器人）以及“标签”。

最重要的是标签。它们在我的网址中如下：

它被 robots.txt 阻止（我已经与谷歌网站管理员核实）但它仍然存在于谷歌搜索中（但您需要点击“重复搜索并包含省略的结果。”）

我不希望这些页面被抓取，因为它是重复的内容（这是对关键字的一种搜索），这就是我将它们放在 robots.txt 中的原因

最后，我的问题是：

为什么 Google 会抓取我在 robots.txt 中屏蔽的网页？

为什么 Google 会将我屏蔽的页面编入索引？这些页面是否被 Google 视为重复内容？如果是，我想这对 SEO 不利。

编辑：我不是在问如何删除在 Google 中编入索引的页面（我已经知道答案了）。

我即将添加来自 schema.org 的代码，用于评论和本地企业。我的问题是：如果我有一个浏览部分，我是否也应该向其中添加架构代码，这意味着我将在每个企业的网站上有两个实例？还是我应该只对规范内容做一个模式？

谢谢！

我最近在我的一个站点上安装了 SSL 证书。我注意到谷歌现在已经索引了每个页面的 http 和 https 版本。到目前为止，我还没有真正注意到任何排名明智的问题，但我意识到重复内容可能会出现问题。

我该如何克服呢？我只有少数页面会使用 https，网站上的大多数页面最好只使用 http，事实上，如果有必要，我可以暂时不使用 https 页面。

我遇到的一些想法是：301 重定向，使用 .htaccess 将所有 https 重定向到 http。

用于 ssl 页面的 Robots.txt，再次使用 .htaccess。这里的问题是 https 页面已经被索引，我希望它们被取消索引。我不确定 robots.txt 是否足够，因为据我所知 robots.txt 只会告诉机器人不要抓取页面，但它已经被索引了。

还有其他建议吗？

我有大量具有相似但不相同内容的页面。示例：site.com/dream_dictionary_flying 和 site.com/dream_interpretation_flying。

问题在于，尽管它们并不相同，但它们有时处于重复内容的边缘。通过 htaccess 中的重定向 301 的解决方案很简单，可以在一分钟内完成，但是，将整个站点上的所有现有链接从“/something”更改为“/something_else”将需要很长时间，这将是数千次手动更改需要 x数百小时。

我的问题是这个；对 SEO 来说，有被重定向的内部链接是不是很糟糕，或者更确切地说，它有多糟糕？对于人类用户来说，这根本不重要，但根据我的经验，搜索引擎不喜欢它。这里有什么经验法则吗？请回来谈谈您对此的想法和经验。

感谢您的回答！但正如我上面提到的，我的经验是它可能会受到惩罚：当我错误地在 htaccess 中创建了一条规则，导致导航中的一个或多个链接被重定向时——来自搜索引擎的流量急剧下降（大约 - 10-15%）在几小时内。当我说它在导航中时，我的意思是它是整个网站上每个页面上的重定向。

如果上面的观察是正确的，这可能意味着两件事之一

1. 是的，当然，如果你那么鲁莽和愚蠢，整个网站都会受到惩罚！

2. 不，受到惩罚的不是整个站点——而是每个单独的页面都有一个被轻微惩罚的重定向。仅在仅 0.01% 的页面上进行重定向时，您不会注意到它，但当它出现在所有页面上时，它会变得很明显。

这是否正确，每个具有内部重定向链接的页面都会受到如此轻微的惩罚？

我有重复内容的问题...

我的链接是这样的：

• 原文：www.example.ro/men-shoes/
• 重复：www.example.ro/men-shoes/pagina-1/
• 原创www.example.ro/women-shoes/
• 重复：www.example.ro/women-shoes/pagina-1/

和其他以 /pagina-1/ 结尾的类似页面

我不擅长 mod rewrite.. 但我尝试了这段代码

它不起作用......我很乐意解决这个问题！

谢谢！

我有一个客户，他提出了以下情况：

一家母公司与其产品的两个分销商合作。两个分销商都希望开发一个新网站。他们都销售相同的产品，因此希望共享内容和基本页面布局。例如，两个站点的产品列表将相同，它们提供的产品的副本也将相同。

我在这里担心的是搜索引擎优化和重复内容。Google 将重复内容定义为：

重复内容通常是指在域内或跨域的实质性内容块，它们要么完全匹配其他内容，要么明显相似。

在这种情况下，两个分销商销售相同的产品，每个分销商都有一个复制内容的网站，似乎是合法的。但是，我有一种感觉，任何一个网站都可能受到惩罚。因此，也许拥有两个站点会造成太大的破坏。

对此的任何想法都非常感谢。

谢谢

我想出售一些也在另一个网上商店上架的产品。他们提供了一个包含有关产品的所有信息的数据源，他们没有反对我在我的网上商店发布信息。

问题是我应该担心重复的内容吗？产品数量太多，不值得重写它们的描述。谷歌会认为我偷了内容吗？