问题标签 [mechanize]

我正在寻找一个类似于 perl、ruby 机械化的库。

基本上，我可以.click()，它会点击表单按钮，或导航到链接等。

我对 python mechanize 的代理支持有疑问。我正在制作一些网络客户端脚本，我想在我的脚本中插入代理支持功能。

例如，如果我有：

如何将代理支持添加到我的机械化脚本中？每当我打开这个www.example.com网站时，我都希望它通过代理。

这是一个相关的问题，但我不知道如何将答案应用于 mechanize/urllib2: how to force python httplib library to use only A requests

基本上，给出这个简单的代码：

这导致wireshark说以下内容：

那是5秒的延迟！

我的系统中的任何地方都没有启用 IPv6（gentoo 用 编译USE=-ipv6）所以我认为 python 没有任何理由尝试 IPv6 查找。

上面引用的问题建议明确设置AF_INET听起来不错的套接字类型。我不知道如何强制 urllib 或 mechanize 使用我创建的任何套接字。

编辑：我知道 AAAA 查询是问题，因为其他应用程序也有延迟，一旦我在禁用 ipv6 的情况下重新编译，问题就消失了……除了在 python 中仍然执行 AAAA 请求。

我正在尝试在独立脚本中使用 Webrat 来自动化一些网页浏览。如何让 assert_contain 方法工作？

我收到这个错误

/usr/lib/ruby/gems/1.8/gems/webrat-0.6.0/lib/webrat/core/matchers/have_content.rb:57:in 'assert_contain': undefined method assert' for #<Object:0xb7e01958> (NoMethodError)

有没有人在需要 SSL 的网站上使用过 Mechanize gem？

当我尝试访问这样的网站时，Mechanize 尝试使用标准 HTTP，这会导致 http:// 和 https:// 之间无休止的重定向。

我正在尝试从该站点解析信息（html 表）：http ://www.511virginia.org/RoadConditions.aspx?j=All&r=1

目前我正在使用 BeautifulSoup，我的代码看起来像这样

问题在于开始列和结束列。他们只是被打印为“无”

输出：

我知道它们被存储在列列表中，但似乎额外的链接标记正在混淆原始 html 的解析，如下所示：

所以应该打印的是：

任何建议或帮助表示赞赏，并提前感谢您。

我的朋友有一个论坛，里面到处都是包含信息的帖子。有时她想查看论坛中的帖子并得出结论。目前，她通过点击她的论坛来查看帖子，并生成不一定准确的数据图片（在她的大脑中），她从中得出结论。我今天的想法是，我可能会编写一个快速的 Ruby 脚本来解析必要的 HTML，让她真正了解数据在说什么。

今天第一次使用Ruby的net/http库，遇到了一个问题。虽然我的浏览器在查看我朋友的论坛时没有问题，但 Net::HTTP.new("forumname.net") 方法似乎产生了以下错误：

由于目标机器主动拒绝，无法建立连接。- 连接（2）

谷歌搜索该错误，我了解到它与 MySQL（或类似的东西）有关，不希望像我这样爱管闲事的人远程在那里闲逛：出于安全原因。这对我来说是有道理的，但它让我想知道：我的浏览器怎么会在我朋友的论坛上四处游荡，而我的小 Ruby 脚本却没有任何权限。我的脚本有什么方法可以告诉服务器它不是威胁吗？我只想要阅读权而不是写作权？

多谢你们，

z。

我安装了 Ruby 和 Mechanize。在我看来，在 Nokogiri 可以做我想做的事，但我不知道该怎么做。

这个table呢？它只是 vBulletin 论坛站点的 HTML 的一部分。我试图保留 HTML 结构，但删除了一些文本和标签属性。我想获取每个线程的一些详细信息，例如：标题、作者、日期、时间、回复和视图。

请注意，HTML 文档中的表格很少？我在一张带有tbody,的特定桌子之后<tbody id="threadbits_forum_251">。名称将始终相同（我希望）。我可以在代码中使用tbody和吗？name

我正在尝试从网站上抓取一些数据。我正在尝试编写的脚本应该获取页面的内容：

应该模拟用户通过附加排名和日期的每个选项并模拟点击 Go 然后在获取数据后应该使用返回功能。

目前，我一直在尝试为附加声望选择此选项：

这是我尝试这样做的（糟糕的）尝试：

然而，它只是在应该选择第一个表单的 select_form(nr=0) 上失败。

这是 Python 返回的日志：

我无法在 mechanize 主页中找到所有功能的正确解释。谁能指出我使用表格和机械化的正确教程或在这个特定问题上帮助我？

安东尼

如果我需要访问/单击的页面超过 1 个，使用ruby​​/mechanize/nokogiri访问/单击所有页面的最佳方法是什么？例如这里 第 1 页，共 34页 我应该单击页码还是下一步？或者有没有更好的解决方案？