0

这个 robots.txt 文件是否只允许 googlebot 为我网站的 index.php 文件编制索引？CAVEAT，我有一个 htaccess 重定向，输入的人

http://www.example.com/index.php

被简单地重定向到

http://www.example.com/

所以，这是我的 robots.txt 文件内容...

User-agent: Googlebot
Allow: /index.php
Disallow: /

User-agent: *
Disallow: /

提前致谢！

4

3 回答 3

0

It's risky. To be sure that Google does index your homepage make this:

User-agent: *
Allow: /index.php
Disallow: /a
Disallow: /b
...
Disallow: /z
Disallow: /0
...
Disallow: /9

So your root "/" will not match disallow rules.

Also if you have AdSense don't forget to add

User-agent: Mediapartners-Google
Allow: /
于 2010-09-28T08:42:24.407 回答
0

并不真地。

好机器人
只有“好”的机器人才会遵循robots.txt说明（并非所有机器人和蜘蛛都会费心阅读/遵循robots.txt）。这甚至可能不包括所有主要搜索引擎的机器人，但这绝对意味着一些网络爬虫会完全忽略你的请求（如果你真的想阻止机器人/爬虫看到部分内容，你应该考虑使用 .htaccess 或密码保护）您的网站）。

第二次检查
Google 多次访问您的网站，包括以浏览用户的身份出现。第二次访问将忽略该robots.txt文件。第二次访问可能实际上并没有索引（如果您担心的话），但它会检查以确保您没有试图欺骗索引机器人（对于 SEO 等）。

话虽这么说，你的语法是正确的......如果这就是你所要求的，那么是的，它会起作用，只是没有你希望的那么好。

于 2010-09-27T16:36:28.123 回答
0

如果没有重定向，Googlebot 将看不到您的网站，除了 index.php。

使用重定向，这取决于机器人如何处理重定向以及您的 htaccess 如何进行重定向。如果您返回 302，则 Googlebot 将看到http://www.example.com/，检查 robots.txt，但看不到主站点。即使您执行内部重定向并告诉 Googlebot 响应页面是http://www.example.com/，它也会看到该页面但可能不会将其编入索引。

于 2010-09-27T16:40:48.573 回答