所以我在一个 ColdFusion 网站上工作，今天早上我们发现 Google 正在抓取我们的网站并跟踪 cfc 并收到 500 错误。我们将 cfc 与 ajax 调用一起使用，因此不应抓取它们。我们如何解决这个问题？
问问题
164 次
1 回答
5
我能想到 Google 会索引您的 cfc 的唯一原因是它会在您的页面中找到指向它们的链接。请记住，Google 机器人还可以在您的 JavaScript 代码中找到这些链接。您应该能够创建/修改您的 robots.txt 文件，以告诉搜索引擎从其索引中排除包含您的 cfc 的目录。
示例 robots.txt 条目：
User-Agent: *
Disallow: /cfc-directory/
Google bot（但不是所有搜索引擎）甚至可以支持一些模式匹配（参考）。所以你可以告诉谷歌机器人不要索引任何以结尾.cfc的文件：
User-agent: Googlebot
Disallow: /*.cfc$
快速搜索出现了这个类似的问题。其中@nosilleg 提到 ColdFusion 生成的 javascript 代码cfajaxproxy包含指向 cfc 的链接（特别是/baseCFC/Statement.cfc.所以如果您在任何页面中使用它，它也将包含指向 cfc 的链接。
于 2013-08-13T11:59:32.233 回答