问题标签 [robots.txt]

我在我的站点中使用 htaccess，这样对我站点的所有请求都将被重定向到我的根目录中的索引页面。无法访问我站点中的其他文件，因为我的 htaccess 会限制它。我的疑问是，当我使用 robots.txt 文件时，搜索引擎是否能够访问我域中的 robots.txt 文件？或者我必须修改我的 htaccess 文件以允许搜索引擎读取 robots.txt 文件。如果是这样，请帮助我找到 htaccess 的特定代码。

我有一个 MediaWiki，我认为我不希望 Google 将任何页面的历史编入索引。如何在查询字符串中robots.txt禁止 URL ？action=history

我有一个站点，其中包含大量旧链接，现在需要将其映射到新链接。

我们需要更新搜索引擎结果，以便旧的结果消失并被替换。

由于 CMS，我们无法以编程方式执行此操作，但我想知道是否可以在 robots.txt 文件中设置 301 重定向，这至少会更新搜索引擎结果。

我在网上看到了相互矛盾的信息，所以希望有一个明确的是或否。

谢谢邓肯

我正在为网站创建一个论坛，并计划实施“报告此内容”功能。

老实说，我不确定该功能有多有用（必要），因为发布需要一个用户帐户（由管理员创建），但该解决方案让我感兴趣。

简而言之，这就是场景：

对于所有用户，论坛上的所有（非限制）内容都将具有只读访问权限。对于身份不明的用户，将有一个回复按钮并报告此内容按钮。前者将继续要求登录，而我曾计划后者不需要，这样任何人都可以标记可疑或令人反感的内容。

因此，我面临的问题基本上是“机器人点击”，或者更确切地说是如何实现系统，以免被“机器人点击”愚弄。

想到了几个方法：

1）用户代理
2）在以任何方式做出反应之前需要几个标志（在预定义的时间跨度内？）
3）robots.txt
4）要求以第二种形式进行人工输入（验证码或“指定原因”）

我对他们的看法：

1）不可靠（作为唯一的解决方案）
2）这需要大量用户，这可能导致事件永远不会被触发
3）这可能是“正确”的方式，但只适用于那些尊重它的人
4）嗯，我讨厌验证码，并且要求一个理由可能会提高标准以保持功能有用

（高度开明的）社区必须与我分享哪些方法？

阻止 * 并且只允许主要搜索引擎仅索引站点的索引页面的最短方法是什么？

这行得通吗？

那我应该怎么做

用户代理： *

不允许： /

就这么简单吗？还是不会抓取根目录中的文件？

基本上这就是我所追求的 - 抓取根目录中的所有文件/页面，但根本没有任何文件夹，或者我必须明确指定每个文件夹..即

禁止：/管理员

禁止：/this

.. ETC

谢谢

纳特

我最近开始学习 PHP，但我对 C++ 有广泛的了解。我一直想知道如何制作一个网络机器人，现在，我非常想制作一个。我不会使用这个机器人来发送垃圾邮件或任何东西，只是为了测试 PHP/C++ 可以在网上做什么。我想知道如何才能做到这一点，以及您是否有任何有用的文章/教程。

谢谢，约翰

您好先生，防止谷歌在搜索引擎中显示文件夹的最佳方法是什么？例如 www.example.com/support，如果我希望支持文件夹在谷歌中消失，我该怎么办？我做的第一件事是放置一个“robots.txt”文件并包含此代码

但结果是一场彻底的灾难，除非我删除 robots.txt ，否则我无法再使用支持页面了 最好的办法是什么？

想知道以下是否适用于 robots.txt 中的谷歌

禁止：/*.action

我需要排除所有以 .action 结尾的网址。

它是否正确？

我最近使用 wordpress 插件在我的站点中编辑了 robots.txt 文件。然而，因为我这样做了，谷歌似乎已经从他们的搜索页面中删除了我的网站。如果我能就为什么会这样以及可能的解决方案获得专家意见，我将不胜感激。我最初这样做是为了通过限制谷歌访问的页面来提高我的搜索排名。

这是我在 wordpress 中的 robots.txt 文件：