如何让机器人抓取我的网站并为所有访问者关闭它？当访问者从谷歌访问任何网址时，他应该会看到注册表，而谷歌机器人应该会看到所有内容。我可以这样做吗？
我找到了这个插件：http ://wordpress.org/plugins/registered-users-only/
我现在可以通过 robots.txt 允许 google bot 吗？如何？
问问题
187 次
1 回答
0
这违反了 Google 的 TOS，但您可以要求用户在访问您网站的第二页时进行注册。
您可以在此处阅读更多关于First Click Free的信息。
但是如果你真的想阻止人们并允许机器人，你将需要一个插件或一个定制的脚本来过滤用户代理。
于 2013-11-23T19:12:53.977 回答