1

我正在寻找一种使用 Mozilla 框架编写非 GUI 机器人的方法。该机器人应该能够像普通浏览器一样工作(自动下载相关的 JS 文件、生成 XMLHTTPRequests、运行 JS 操作、修改 DOM),除了不需要 GUI。

我想知道是否可以在没有 X、GTK/KDE(没有任何 GUI 依赖项)的情况下构建 XULRunner,因为我将在 FreeBSD 服务器 6.4 上运行机器人。

听起来可能有点奇怪,但我需要一个能够像浏览器一样操作、运行 JS、修改 DOM、提交在非 GUI 环境中运行的表单的机器人。

我研究了其他浏览器,例如 Lynx、Links、Hulahop、Chrome V8 引擎、WebKit JavascriptCore,但还没有找到理想的输出。

这是学校项目的一部分,论文。我们将用来观察廉价航空公司的价格变化,经过一年的数据收集,我们需要推断定价策略和客户行为。这是一个严肃的最后一年项目。

非常感谢任何提示或帮助!先感谢您!

问候。

4

2 回答 2

3

您应该能够使用selenium取得进展。它是一个记录/测试/播放工具,但其核心是操纵 DOM。

Grundlefleck的评论更新:至于启动实际测试,有selenium remote-control,它允许您用 Java、Ruby、纯 HTML 和其他可能的驱动程序编写测试。

于 2009-06-24T08:33:08.300 回答
1
  1. 是的,这是可能的(但很可能需要大量代码更改)。

  2. 不,我不知道任何细节。

  3. 我不会出于您的目的推荐这种方法。从您的评论中,听起来您正在尝试抓取网页。如果你真的需要使用 JavaScript,你可以使用一个独立的 JavaScript 引擎(Mozilla's is available here)。否则,我会使用Beautiful Soup with Python 或Twill。您可能还想阅读这个问题

于 2009-06-24T08:16:24.900 回答