0

这就是问题所在：在 .ascx 控件上，有一个简短的 Javascript 块。除其他外，该脚本引用控件中的一种方法，并为网站上的不同页面生成 DoP 元标记。

问题是，Google 爬虫读取页面中的 Javascript 并认为每个 DoP 元标记都是某种 url。这可能是因为标签中有一个正斜杠（？）。最终，谷歌对网站上大量不存在的网址进行了索引，并赋予它们 404 状态。有没有解决的办法？例如，是否可以将 nofollow 标签直接放入 Javascript？

<script language="javascript" type="text/javascript">
   <!-- DoP tag -->
   var v = {};
   v["sample"] = '/Product_A_';
</script>

谷歌爬虫似乎从上面的脚本中索引了一个网址“http://www.my web site.com/Product_A_”。

4

1 回答 1

0

设置站点地图和 robots.txt 怎么样？

http://en.wikipedia.org/wiki/Sitemaps

这样，搜索引擎只会抓取站点地图中指定的内容并将其编入索引，您可以使用 robots.txt 排除无关内容，特别是如果它们都遵循特定模式。

或者在这些页面上使用元标记“nofollow”，这意味着搜索引擎不会跟随任何额外的链接：

http://www.robotstxt.org/meta.html

于 2012-04-05T09:49:24.757 回答