问题标签 [robot]

我需要索引很多网页，有什么好的网络爬虫工具？我更喜欢 .NET 可以与之交谈的东西，但这不是一个引人注目的东西。

我真正需要的是可以提供网站网址的东西，它会跟随每个链接并存储用于索引的内容。

我有机器人，想通过互联网使用无线电波控制它。但我仍然不知道最好的语言来做到这一点。需要建立安全站点以确保没有任何人可以使用它。我期望使用 c# 的站点 asp，但是我需要它来控制从发送设备到接收机器人的语言是什么。还需要从机器人摄像机将实时视频传输到现场............打扰了......我知道这可能是错的，但我是初学者

感谢所有阅读或尝试帮助我的人

我在根目录中有一个包含以下 robots.txt 的站点：

Googlebots 全天都在扫描此站点中的页面。我的文件或 Google 有问题吗？

我有一个 PHP IRC 机器人，我在我的频道中使用它，我需要它来对脚本中的特定用户进行 OP。无论如何，我希望机器人检查用户是否登录到 NickServ 以防止任何形式的欺诈或任何事情。

无论如何，这是我的连接和做事代码，下面是我真正需要帮助的内容。感谢所有帮助。:) 在 Freenode 上，输入 /NS ACC [user] 将返回 [user] 是否使用数值登录，他们决定 3 将登录。而 0-2 表示某种未登录。

所以这就是机器人如何登录到我的 IRC 频道...（随时在 freenode 上加入#tyreus，询问 BwaddArr（或他的电子邮件））

这就是我真正需要所有帮助的地方！:)

是否有用于开发基于 Web/HTTP 的机器人的现有平台/框架？其实我对玩一些网页游戏很感兴趣，可以在其中建造他的城市，选择和训练他的英雄和士兵等等..（例如Travian）但是在游戏中，这些动作需要时间来完成（我讨厌等待..）我尝试编写一个自动工具来处理它们。因此，我尝试通过以下方式找到一个可以减轻开发进度的平台/框架：

• 提供http/https客户端（最好支持Keep-Alive）
• 轻松解析网页，josn 数据[重要]
• 支持工作/任务计划
• 启用脚本，例如 javascript、python..
• 事件驱动（我认为这是此类平台/框架的最佳方式）

我做了一个研究，发现Twisted似乎是最合适的一个，但仍然想知道是否还有另一个最合适的。

是的，我知道并熟悉那些 QA 工具，但我真的很喜欢在 HTTP 级别上运行的控制台应用程序，脚本会告诉它如何处理游戏事件，因此它可以称为机器人......所以我需要一个框架。 ..

我需要为我正在运行的网站设置一个维护页面，例如在我执行站点维护（计划停机时间）时显示，或者如果确实出现问题并且我需要建立一个保留页面。

我需要做些什么特别的事情来确保搜索引擎爬虫不会将其编入索引并认为它是我的网站。或者我应该做一个 404，添加一个临时 robots.txt 文件还是什么？我基本上不希望他们将它作为我的站点进行索引，但我也不希望他们认为我的站点已经死了并且不会回来。

编辑：这是我在 Apache 中所做的：ErrorDocument 503 /.server-maintenance.html RewriteEngine On RewriteRule !^.server-maintenance.html /server-maintenance Redirect 503 /server-maintenance strong text

我有一个使用光学鼠标作为位置跟踪的机器人。基本上，随着机器人的移动，它能够使用鼠标跟踪 X 和 Y 方向的变化。鼠标还跟踪您正在移动的方向 - 即负 X 或正 X。这些值被汇总到单独的 X 和 Y 寄存器中。

现在，机器人在原地旋转并仅向前移动。因此，理想情况下，机器人的运动是在特定角度以直线运动（尽管如果您偏离方向，鼠标跟踪可以拾取偏差）。机器人的一组特定运动如下：
A：旋转 45 度，移动 3 英寸
B：旋转 90 度，移动 10 英寸
C：旋转 -110 度，移动 5 英寸
D：旋转 10 度，移动 1 英寸
但是每次鼠标 X 和鼠标 Y 寄存器都会给出您在每个方向上移动的实际距离。

现在，如果我只想重复从 A 到 D 的运动集，我该如何使用我已经收集的信息来做到这一点。我知道我基本上可以总结我已经输入的所有角度和距离，但是如果每个移动命令中存在很大的错误，这将被证明是不准确的。如何使用鼠标中的原始信息？一位朋友提供了一个想法，即我可以连续地对鼠标值进行正弦和余弦运算并计算最终向量，但我不确定这将如何工作。

问题是鼠标只给出相对读数，因此旋转或向后移动，您可能会擦除信息。所以，是的，我想知道的是如何实现该算法，以便它可以持续跟踪变化，如果您最初以之字形移动到达那里，它可以为您提供最短路径。

许多年前，当我刚开始编程时，我遇到了一些 CRobots 风格的编程游戏（我认为它实际上不是 CRobots，而是某种克隆），玩起来非常酷。

最近我有了一种“编程是工作，而不是游戏”的感觉，我宁愿摆脱这种感觉，所以我想有什么比挑战我的同事来比谁能做最好的机器人更好。

然而，由于有许多不同层次的经验，以及对编程语言的许多不同偏好，我宁愿不将竞争与单一语言联系起来。我在谷歌搜索深夜后发现的那些似乎与单一语言相关联，即使是基于 Java 的那些（如 Robocode）似乎在尝试使用 Jython 或其他基于 JVM 的语言时也存在问题（理论上应该管用）。

有没有这种类型的游戏不限于单一语言？

具体来说，有没有不使用套接字的库？我将在不允许使用套接字的 Google App Engine 中运行此代码。

Google 应用引擎确实允许使用 urllib2 来发出网络请求。

我一直试图让机械化工作，因为我以前使用过，但如果有更简单的东西，我宁愿这样做。

谢谢，马克

我有一个用户填写的网络表单，信息发送到服务器并存储在数据库中。我担心机器人可能只是填写表格，我最终会得到一个充满无用记录的数据库。如何防止机器人填写我的表格？我在想可能类似于 Stackoverflow 的机器人检测，如果它认为你是机器人，它会要求你验证你不是。Perl、Java 或 PHP 中是否有服务器端 API？