0


我会使用托管进行实时测试，但我想保护访问并防止搜索引擎索引。例如（服务器目录结构）在 public_html 中：

_private
_bin
_cnf
_log
_ ...（更多默认目录托管）
testpublic
css
图像
index.html


我希望index.html 对所有人可见，所有其他目录（“testpublic”除外）都是隐藏，受保护的访问和搜索引擎不索引。

目录“testpublic”我希望它是公开的，但可能不会在搜索引擎中被索引，不确定这是否可能。

要了解我需要 2 个文件 .htaccess。
“public_html”中的一位通用和“testpublic”中的其他特定。

.htaccess general (public_html) 我认为它应该是这样的：

AuthUserFile /home/folder../.htpasswd
AuthName "test!"
AuthType Basic
需要用户 admin123

< FilesMatch "index.html">
满足任何
</ FilesMatch>


谁能帮我创建具有适当属性的文件？谢谢！

4

1 回答 1

1

您可以使用根文件夹中的 robots.txt 文件。所有遵守标准的机器人都将遵守此文件，并且不会为您的文件和文件夹编制索引。

示例 Robots.txt 告诉所有 (*) 爬虫继续前进并且不编制任何索引。

User-agent: *
Disallow: /

您可以使用 .htaccess 文件来微调您的服务器（假设是 Apache）提供的服务以及可见的目录索引。在这种情况下，您将添加

IndexIgnore *

到您的 .htaccess 文件以禁止索引。

更新（归功于https://stackoverflow.com/users/1714715/samuel-cook）：

如果您想专门停止机器人/爬虫并知道其 USER AGENT 字符串，您可以在您的.htaccess

<IfModule mod_rewrite.c>
  RewriteEngine on
  RewriteCond %{HTTP_USER_AGENT} Googlebot
  RewriteRule ^.* - [F,L]
</IfModule>

希望这可以帮助。

于 2013-01-05T03:55:34.897 回答