编辑：用 robots.txt 做这个对我来说还不够好。
此代码阻止谷歌的整个网站。我不知道如何保持此代码正常运行，但允许 google 访问网站上的一个文件夹。
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]
RewriteRule ^(.*)$ - [F,L]
如果我有两个条件，这是否有效？
Options +FollowSymLinks -MultiViews
# Turn mod_rewrite on
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]
RewriteCond %{HTTP_USER_AGENT} yahoo [OR]
RewriteCond %{REQUEST_URI} !^/allowed-folder/ [NC]
RewriteRule ^ - [F,L]
正如评论中所建议的那样，robots.txt在 DOCUMENT_ROOT 下创建一个包含以下内容的文件：
User-Agent: googlebot
Disallow: /
Allow: /allowed-folder/
如果你真的想通过 mod_rewrite 来处理这个，那么启用 mod_rewrite 和 .htaccess httpd.conf，然后把这段代码放在你.htaccess的DOCUMENT_ROOT目录下：
Options +FollowSymLinks -MultiViews
# Turn mod_rewrite on
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} Googlebot [NC]
RewriteCond %{REQUEST_URI} !^/allowed-folder/ [NC]
RewriteRule ^ - [F,L]
创建名为 robots.txt 的文件
插入
User-agent: *
Disallow: /folder you dont wont google inside in/
Disallow: /other folder you dont wont google inside in/