1

所以我在一个 ColdFusion 网站上工作,今天早上我们发现 Google 正在抓取我们的网站并跟踪 cfc 并收到 500 错误。我们将 cfc 与 ajax 调用一起使用,因此不应抓取它们。我们如何解决这个问题?

4

1 回答 1

5

我能想到 Google 会索引您的 cfc 的唯一原因是它会在您的页面中找到指向它们的链接。请记住,Google 机器人还可以在您的 JavaScript 代码中找到这些链接。您应该能够创建/修改您的 robots.txt 文件,以告诉搜索引擎从其索引中排除包含您的 cfc 的目录。

示例 robots.txt 条目:

User-Agent: *
Disallow: /cfc-directory/

Google bot(但不是所有搜索引擎)甚至可以支持一些模式匹配(参考)。所以你可以告诉谷歌机器人不要索引任何以结尾.cfc的文件:

User-agent: Googlebot 
Disallow: /*.cfc$

快速搜索出现了这个类似的问题。其中@nosilleg 提到 ColdFusion 生成的 javascript 代码cfajaxproxy包含指向 cfc 的链接(特别是/baseCFC/Statement.cfc.所以如果您在任何页面中使用它,它也将包含指向 cfc 的链接。

于 2013-08-13T11:59:32.233 回答