ajax - googlebot 抓取网络服务

Question

有什么方法可以让 googlebot 不抓取用于网络服务的链接？当我尝试在 url 上访问我的 web 服务时，如果没有传递参数，它会返回 500 错误。或者当我尝试在没有参数的情况下访问我的 url 中的 web 服务时，是否还有一些方法可以防止 http 500 错误？

谢谢。

Answer 1

您可以查看此处以创建 robots.txt。