问题标签 [mechanize]

我正在玩 Win32::IE:Mechanize 以尝试自动访问一些需要身份验证的站点。到目前为止，我已经取得了一定程度的成功，例如，我可以自动登录到我的雅虎邮箱。但是我发现很多网站都在使用某种图像验证机制，这可能被称为 CAPTCHA。我对他们无能为力。但我试图自动访问的网站之一是使用纯文本验证码。它由四位数字组成，可选择和复制。但它们不在可以使用获取的源文件中

我通过Temporary Internet Files中的所有文件搜索了出现在网页上但不在源文件中的关键字，但仍然找不到。

知道发生了什么吗？我怀疑验证码以某种方式隐藏在某个 cookie 文件中，但我似乎找不到它:(

以下是完成除验证码以外的所有字段要求的代码：

像往常一样，任何建议/评论将不胜感激:)

更新

我想出了一个不太聪明的方法来解决这个问题。请评论我自己在下面发布的答案。一如既往地感谢:)

如何使用 Nokogiri 根据选择标签的内容（即选项包装的文本）获取选择标签的“值”属性的内容？

例如，给定以下 HTML：

我希望能够指定一个字符串（例如'First Option'）并返回'value'属性的内容（例如'1'）。

我已经能够实现与此相反的操作（根据选择标签的“值”属性获取选择标签的内容），但这并不是我需要做的。

我正在使用 mechanize 并在使用脚本/控制台在 Rails 环境中进行测试时遇到继承问题。

当我这样写时：

一切正常。但是当我尝试像这样创建 WWW::Mechanize 的子类时：

我收到以下错误：

NoMethodError：当你没有预料到它时，你有一个 nil 对象！从 /Library/Ruby/Gems/1.8/gems/mechanize-0.9.3/lib/www/mechanize/page.rb:77:in `parser' 评估 nil.parse 时发生错误

我错过了什么吗？

提前致谢

我正在尝试创建一个自动“喜欢”Facebook 帖子的机器人。使用 Mechanize 我可以登录 facebook，但不幸的是，Mechanize 不理解指向“like”按钮的链接——它们似乎被 JS 混淆了。我看到的唯一链接是基础知识，例如：

任何人都知道如何让 Mechanize 看到“喜欢”链接？

谢谢

好的，所以我需要使用 Python 下载一些网页并快速调查我的选项。

包含在 Python 中：

urllib - 在我看来，我应该使用 urllib2 来代替。urllib 不支持 cookie，仅支持 HTTP/FTP/本地文件（无 SSL）

urllib2 - 完整的 HTTP/FTP 客户端，支持最需要的东西，比如 cookie，不支持所有 HTTP 动词（只有 GET 和 POST，没有 TRACE 等）

全功能：

mechanize - 可以使用/保存 Firefox/IE cookie，采取跟随第二个链接等操作，积极维护（2011 年 3 月发布的 0.2.5）

PycURL - 支持 curl 所做的一切（FTP、FTPS、HTTP、HTTPS、GOPHER、TELNET、DICT、FILE 和 LDAP），坏消息：自 2008 年 9 月 9 日 (7.19.0) 以来未更新

新的可能性：

urllib3 - 支持连接重用/池和文件发布

已弃用（又名使用 urllib/urllib2 代替）：

httplib - 仅 HTTP/HTTPS（无 FTP）

httplib2 - 仅 HTTP/HTTPS（无 FTP）

让我印象深刻的第一件事是 urllib/urllib2/PycURL/mechanize 都是非常成熟且运行良好的解决方案。mechanize 和 PycURL 附带许多 Linux 发行版（例如 Fedora 13）和 BSD，因此安装通常不是问题（这很好）。

urllib2 看起来不错，但我想知道为什么 PycURL 和 mechanize 看起来都非常受欢迎，我是否缺少一些东西（即，如果我使用 urllib2，我会在某个时候把自己画到一个角落吗？）。我真的很想得到一些关于这些东西的利弊的反馈，这样我就可以为自己做出最好的选择。

编辑：在 urllib2 中添加了关于动词支持的注释

我有一个网络抓取脚本，每分钟获取一次新数据，但在几天的时间里，该脚本最终使用了 200mb 或更多的内存，我发现这是因为 mechanize 为.back() 函数使用。

我查看了文档字符串，发现了浏览器类的 clear_history() 函数，每次刷新时我都会调用它，但每次页面刷新时我仍然会获得 2-3mb 的更高内存使用量。 编辑：嗯，好像在我调用 clear_history 之后它一直在做同样的事情，直到我达到大约 30mb 的内存使用量，然后它又清除到 10mb 左右（这是我的程序启动的基本内存量与）...有什么方法可以更频繁地强制这种行为？

如何防止机械化存储所有这些信息？我不需要保留任何东西。我想将我的 python 脚本的内存使用量保持在 15mb 以下。

得到了我的小机械化代码：

输出：

我究竟做错了什么？

只是为了好玩，我写了一个非常小的 Rails 博客（只是一个 hello world）。现在我想使用 mechanize 创建一个帖子。所以我创建了一个 Ruby Prog 并开始编码。

这是我的问题：Rails 创建了包含所有输入的表单元素。在 HTML 中，我的输入如下所示：

或者

嗯......这是我使用 Mechanize 的 Ruby Prog：

我知道我的错误在哪里，但我不知道如何解决它。在 target_form.post[title] = "test" 它崩溃，原因

我认为（请纠正我），这是因为输入名称，因为它是 post[title] 而不是仅 post 对吗？我该如何解决？

我正在使用http://pypi.python.org/pypi/mechanize/0.1.11进行程序化网页浏览，我希望能够像浏览器一样将文件上传到服务器（通过将内容作为 multipart/form 发送-data，在 RFC2388 中定义）

机械化可以做到这一点，你能给我举个例子吗？

谢谢！