问题标签 [mechanize-python]

我正在尝试使用 python mechanize 登录并逐步浏览一个网站，该网站的初始页面有一个警告，必须单击并确认才能继续登录页面。单击该链接会激活一个 javascript 函数，该函数会设置一个 cookie 并将您发送到登录页面。

警告的 html 是

设置 cookie 的 javascript 如下：

从示意图上看，我的 python 代码如下所示：

我应该如何设置 cookie 以使我看起来已经阅读并单击了警告？

我正在使用 Python Mechanize 模块来遍历表单并查看控件、内容等。该文档不完整，因此任何人都可以分享所有方法的详细信息吗？

此外，我无法区分表单上的 submit() 和 click() 方法。请也对此发表评论。

我试图解析 Google 图片搜索结果的 HTML 并获取图片的原始链接。

到目前为止，我使用 Python 的 Mechanize 和 BeautifulSoup 成功地编写了一个 Python 代码来获取 Google 搜索的 HTML。

查看 Google 的搜索结果 HTML 源代码，我发现 Google 将原始图像 URL 的双重编码存储在带有 class 的 div 中rg_meta，但我从 Mechanize 收到的 HTML 不包含任何此类。事实上，整个新网页都是通过 Mechanize 返回的。

我知道 Google 的图像搜索 API，但我需要以这种方式解析 HTML。我究竟做错了什么？我可以将 Mechanize 屏蔽为 Chrome 或其他浏览器吗？

这是我正在尝试的一个片段。它什么也没返回：

嗨，我正在使用 python mechanize 从网页中获取数据。我正在尝试从谷歌图片搜索网页获取 imgurl 以下载搜索结果图片。

这是我的代码，我将搜索表单填写为“狗”并提交。（搜索“狗”）

当我从 chrome 浏览器看到页面源时，页面源中有“imgurl”。但是当我从 python mechanize 读取数据时，没有这样的事情。此外，1.html（我用python编写）的大小比从chrome下载的html文件小得多。如何使用 python 获得与网络浏览器完全相同的 html 数据？

我是否必须设置与网络浏览器相同的请求标头？谢谢

我正在使用python-mechanize来抓取一些网站，这些网站有时根本不响应请求并且这些请求保持打开的时间过长，所以我需要限制这些请求的超时时间。

使用urlopen方法时，可以使用timeout参数设置超时，但我还没有找到简单的方法来使用高级 API，例如submit或click方法。理想情况下，超时将为整个浏览器类设置一次，并且所有调用都会尊重这一点。

可能可以通过将自定义传递request_class给每个click和submit调用来自定义它，但这只会污染代码，所以我正在寻找更好的解决方案来为 mechanize 的浏览器类设置超时（不，我不想改变默认套接字超时使用socket.setdefaulttimeout)。

如何检查提交是否成功。当我提供正确的用户名时，它不会显示任何内容。但即使我提交了错误的用户名，它也不会抛出任何错误。如何捕获错误或检查成功结果。任何帮助将不胜感激。谢谢你。

代码：

我想知道当 url 指向https://站点但这个不支持 SSL 加密时，以下 Python 代码是否容易受到端到端窃听攻击。

为什么我有疑问？因为Mechanize内部使用 urllib2 但HTTPS 请求不会对 urllib2 中的服务器证书进行任何验证

另外，我不知道如何验证我们是否真的在使用带有 Urllib2/Mechanize的https或http连接。AFAIK Mechanize 表现为浏览器，所以我不知道当服务器不支持 SSL 时它是否回退到http，或者它是否执行不安全的https实现。

如何检查我是否在未加密的情况下退出 Tor 电路？

编码：

我一直在尝试为 yelp 编写爬虫。我想获取该页面上提供的供应商的链接，我知道它是在 href=" 中给出的，但是数组返回总是空的，请帮助！提前谢谢你:)

将 Arduino Yun (Yún) 的 WiFi 登录自动化到“Captive Portal”认证登录方法的最简单途径是什么？如果那是最合适的，我想留在 python 中。

所以我考虑过：

• 卷曲
• wget（Stackoverflow 讨论）
• 机械化——
• 刮擦

我想要最简单、开销最小的方法。

这是在Arduino Yun上运行，每隔一段时间上传一些环境数据。但可公开访问的 WiFi 每次都需要登录名/密码。

使用 Python3.3 在 MacOS 10.7 上成功安装 mechanize。

但是当我尝试它时，我会失败。

下面是环境：

任何建议表示赞赏。