问题标签 [bots]

我们正在使用 Drupal 开发一家啤酒厂的网站。由于未满 18 岁的未成年人不得浏览本网站，因此访问的任何页面都会通过一个模块（法律），如果用户单击“继续”以确认其年龄超过 18 岁，则该网站将显示给用户将法定年龄保存为真实。

问题是当搜索引擎机器人访问这些页面时，它们也会被重定向到法定年龄验证页面。我尝试了以下脚本来确定 PHP 中的机器人或浏览器：

$agent = $_SERVER['HTTP_USER_AGENT'];
if(( eregi("bot", $agent) || eregi("slurp", $agent) )) {

}

但它似乎不起作用。如果有人可以建议我如何处理这个问题，以便浏览器/人类必须通过年龄要求继续事情并且机器人可以直接访问内容。先感谢您。

6 个多月前，我更改了我网站的 URL 结构。我检测到旧 URL 的使用并使用 301 状态代码重定向到新 URL。我用 flidder 验证了状态码是根据请求正确返回的。但机器人（yahoo slurps、googlebot 等）仍在访问旧 URL。有什么我想念的吗？

我只是想创建一个可以（最好）在网络服务器上运行的自动脚本，并且只需“点击”网页的对象。我是 Python 或任何可以使用的语言的新手，所以我想我会去这里问从哪里开始！这看起来像是我希望脚本欺骗广告或做一些非法的事情，但它只是为了与另一个网站进行交互。

我有一个网站，有 2 个版本，1 个是 righular，另一个是移动版，它工作得很好，但是当 google bot 研究我的网站时，我的网站在 google 上显示为 amobile 版本。我认为 google bot 通过了这条线：

你知道一种防止谷歌引用移动网站的方法

谢谢

我有一个想法，对于那些使用 gtalk 的人来说，尤其是对于开发人员，如何编写一个机器人来接收一位开发人员的问题并根据他们的编程技能向其他在线开发人员寻求帮助？

1. 用户添加到gtalk的机器人，用户将在第一时间给出他/她的技能

2. 然后如果有人问一个问题，应用程序会搜索具有相似技能的在线用户来提问

好吧，我正在制作一个 irc 机器人，我想知道有几种方法可以创建一个连接类，这样我就可以连接到多个网络，我让它连接到一个服务器，我只是不知道如何把它变成一个连接多个的方式。

基本上我的问题是：我怎样才能使用我编写的当前机器人，重写它，使用可以重用的连接类来建立多个连接。

在我的 IRC Bot 中，有一些命令我希望只能由我使用，并且我想检查以确保使用我的名字的任何人都被识别为 nickserv (idented)。但是，我无法找到一种简单的方法来确定这一点，这就是我在这里的原因。

如果重要的话，Freenode和Rizon是主要的目标网络。

编辑：我实际上知道识别用户的各种用户模式（尽管我没有足够注意意识到它们不同！）；很抱歉之前没有提到这一点。但是，我从用户那里得到的原始响应不包括他们的用户模式；它看起来像这样：

那么，我想我正在尝试找到一种方法（使用各种 ircd，grr）来获取这些标志。如果正如有人提到的那样，Rizon 返回是否有人在 WHOIS 查询中被识别，那么这就是我正在寻找的东西。

我正在尝试获取 Web 服务器上某些文件的准确下载编号。我查看了用户代理，其中一些显然是机器人或网络爬虫，但对于很多人我不确定，它们可能是也可能不是网络爬虫，它们会导致大量下载，所以了解这些对我来说很重要。

是否有一些已知的网络爬虫列表以及一些文档，如用户代理、IP、行为等？

我对官方的不感兴趣，比如谷歌的、雅虎的或微软的。这些人通常表现良好且自我认同。

我有一个回复用户的机器人。但有时当我的机器人发送回复时，用户或他们的电子邮件提供商会自动回复（假期消息、退回消息、来自 mailer-daemon 的错误等）。然后是来自用户的新消息（所以我的机器人认为）它又会回复。邮件循环！

我希望我的机器人只回复来自真实人类的真实电子邮件。我目前正在过滤掉承认为批量优先或来自邮件列表或自动提交的标头等于“自动回复”或“自动生成”的电子邮件（请参阅下面的代码）。但我想有一种更全面或更标准的方法来处理这个问题。（我很高兴看到 Perl 之外的其他语言的解决方案。）

注意：记得让你自己的机器人声明它是自动回复的！包括

在您的机器人电子邮件的标题中。

下面是我避免邮件循环的原始代码。仅当 realmail 返回 true 时才回复。

（主题检查肯定是不必要的；我只是在出现问题时一次添加这些检查，而上面的方法现在似乎有效，所以我不想碰它，除非有明确的更好的东西。）

我将编写一个 XMPP (Jabber) 机器人，我需要决定我应该用哪种语言编写它。目前我正在考虑使用 Python、Java 和 PHP。

由于我希望机器人大部分时间都在运行（即 23.5/7），是否有一些具体的论据支持或反对使用其中一种语言？（例如，不是“$x 很烂”，而是“$y 有很好的守护程序库”或“$z 泄漏内存”）

该机器人的目的主要是响应用户输入。

如果这些语言都不适合您，您会推荐什么？