最近，我的网站遇到了很多来自自动生成的菜单链接返回未找到页面的软 404 错误。但它最终会超时填充内容，所以我想暂时禁止搜索引擎抓取这些页面。
（例如 PSP > Kingdom Hearts > Cheats。它会返回带有“抱歉没有可用的秘籍”消息的页面。）
大家觉得这样行吗？
编辑：我已经从网站上删除了这些链接，但搜索引擎已经被抓取并返回软 404 错误。
问问题
2125 次
2 回答
5
...从自动生成的菜单链接返回未找到的页面。但它最终会随着时间的推移而充满内容
我不会显示导致不存在页面的链接。这些页面“最终会随着时间的推移而充满内容”并不重要。
除了搜索引擎优化之外，这也是可怕的用户体验：想象浏览一个网页，每点击三个链接就会返回一个 404 页面，说“内容最终会稍后填写”。如果您没有内容，请不要显示指向它的链接。
于 2013-09-03T06:57:03.450 回答
1
这不是最佳做法，但您可能希望使用重定向到 302 重定向：
HTTP 响应状态码 302 Found 是执行重定向的常用方法。带有此状态代码的 HTTP 响应将在 Location 标头字段中另外提供一个 URL
如果它是永久性的并且您不需要动态解决方案，请使用：
您可以使用robots.txt并禁止搜索引擎进入这些网址，直到您向它们添加内容，然后在页面准备好时打开它。
在根目录 /robots.text 中创建 robots.txt 并用以下内容填充它
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
于 2013-09-03T06:32:26.090 回答