所以我在一个 ColdFusion 网站上工作,今天早上我们发现 Google 正在抓取我们的网站并跟踪 cfc 并收到 500 错误。我们将 cfc 与 ajax 调用一起使用,因此不应抓取它们。我们如何解决这个问题?
问问题
164 次
1 回答
5
我能想到 Google 会索引您的 cfc 的唯一原因是它会在您的页面中找到指向它们的链接。请记住,Google 机器人还可以在您的 JavaScript 代码中找到这些链接。您应该能够创建/修改您的 robots.txt 文件,以告诉搜索引擎从其索引中排除包含您的 cfc 的目录。
示例 robots.txt 条目:
User-Agent: *
Disallow: /cfc-directory/
Google bot(但不是所有搜索引擎)甚至可以支持一些模式匹配(参考)。所以你可以告诉谷歌机器人不要索引任何以结尾.cfc
的文件:
User-agent: Googlebot
Disallow: /*.cfc$
快速搜索出现了这个类似的问题。其中@nosilleg 提到 ColdFusion 生成的 javascript 代码cfajaxproxy
包含指向 cfc 的链接(特别是/baseCFC/Statement.cfc
.所以如果您在任何页面中使用它,它也将包含指向 cfc 的链接。
于 2013-08-13T11:59:32.233 回答