1

我需要向所有蜘蛛机器人隐藏我的所有网站页面，除了应该从机器人解析的主页（www.site.com）。

有谁知道我该怎么做？

4

1 回答 1

2

添加到您不想索引标签的所有页面<meta name="robots" content="noindex" />

或者你可以robots.txt在你的文档根目录中创建并放上类似的东西：

User-agent: *
Allow: /$
Disallow: /*
于 2012-10-09T20:18:52.173 回答