问题标签 [mechanize]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
2770 浏览

python - Python mechanize 不点击按钮

检查以下脚本:

也就是说,它不添加提交按钮的名称=值对(注册=注册)。为什么会这样?ClientForm 在其他页面上正常工作,但在这个页面上却不是。我尝试将提交控件的禁用和只读属性设置为 True,但并没有解决问题。

0 投票
1 回答
2241 浏览

python - How to set an nonexistent field in Python ClientForm?

I'm using mechanize (which uses clientform) for some web crawling in python and since it doesn't support JS, I want to set a value of an unexistent input in a form (the input is generated by JS). How can I do this?

The error is similar to the one you get if you try to execute

0 投票
1 回答
782 浏览

ruby - Ruby - 使用 Mechanize::File 响应而不保存到磁盘

我正在做我的第一个 ORM 项目并且正在使用 Mechanize。情况如下:

我正在将一个 zip 文件从我的网站下载到一个 Mechanize::File 对象中。zip 里面是一个隐藏在三个文件夹深处的文件(folder_1/folder_2/file.txt)。我想从 zip 文件中提取 file.txt 并返回它而不是 zip 文件本身。

我的第一个想法是使用 zip/zipfilesystem。如果我先将文件保存到磁盘并使用 Zip::ZipFile.open(src),我可以做到这一点,但谁能告诉我如何/是否可以直接从 Mechanize::File.body 发送它。

我的直觉说这必须是可能的,我只是缺少一些基本的东西。我试过...

...但据我所知,Zip::ZipFile 仅设置为从文件系统中查找源。

任何方向将不胜感激,如果有任何问题,请告诉我

提前谢谢罗

0 投票
5 回答
1958 浏览

python - 我应该使用什么纯 Python 库来抓取网站?

我目前有一些用于抓取一些网站的 Ruby 代码。我使用 Ruby 是因为当时我在一个站点上使用 Ruby on Rails,这很有意义。

现在我正在尝试将其移植到 Google App Engine,并一直卡住。

我已经移植了 Python Mechanize 以与 Google App Engine 一起使用,但它不支持使用 XPATH 进行 DOM 检查。

我已经尝试过内置的 ElementTree,但是当它遇到“&mdash”时,它被我给它的第一个 HTML blob 卡住了。

我是继续尝试破解 ElementTree,还是尝试使用其他东西?

谢谢,马克

0 投票
3 回答
3803 浏览

python - 机械化 follow_link() 和 back() 的问题

我遇到了机械化以下链接的问题。这是我打算做的一个片段:

根据机械化示例,这应该可以正常工作。然而事实并非如此。尽管调用了 .back(),循环结束,即使有更多的链接要访问。如果我注释掉 mech.follow_link(link) 和 mech.back(),用 print link.text 替换它们,它将打印出所有 50 个左右的链接。但是...一旦我取消注释 mech.follow_link,循环在第一个 follow_link 之后立即终止。back() 正在工作,如果我打印 mech.title(),然后调用 mech.back() 并再次打印 mech.title(),它会清楚地显示第一个标题,然后是“返回”页面的标题。我真的很困惑,这就是文档中的做法。不知道发生了什么。

0 投票
2 回答
3547 浏览

ruby - Ruby Nokogiri 解析 HTML 表

我正在使用 mechanize/nokogiri 并且需要解析出以下 HTML 字符串。任何人都可以帮助我使用 xpath 语法来执行此操作或任何其他可行的方法吗?

我想要这个作为输出

0 投票
1 回答
2133 浏览

python - 机械化无法登录python

我正在使用 mechanize python 制作自动登录脚本。

在我使用机械化之前没有问题,但www.gmarket.co.kr在这个网站上我无法做到。

每当我尝试登录时,即使 gmarket id 正确,也会返回登录页面,通过,我无法登录,我看到了一些可疑消息

我认为这与我的问题有关,但不知道如何处理。这是示例 id 并通过登录测试

编号:tgi177 通行证:tk1047

如果有人可以帮助我,非常感谢提前感谢

代码:

0 投票
3 回答
3339 浏览

python - 是否可以将更强大的 HTML 解析器连接到 Python 机械化?

我正在尝试使用 mechanize 在网站上解析和提交表单,但似乎内置表单解析器无法检测到表单及其元素。我怀疑它对格式不正确的 HTML 感到窒息,我想尝试使用更好地设计用于处理错误 HTML(例如 lxml 或 BeautifulSoup)的解析器对其进行预解析,然后将经过美化、清理的输出提供给表单解析器。我不仅需要机械化提交表单,还需要维护会话(我在登录会话中处理此表单。)

如果确实可能的话,我不知道该怎么做。我对HTTP协议的各种细节,如何使各个部分协同工作等不太熟悉。任何指针?

0 投票
1 回答
24977 浏览

python - 机械化 python 点击​​一个按钮

我有一个带有<input type="button" name="submit" />按钮的表单,希望能够单击它。

我已经尝试过mech.form.click("submit"),但这给出了以下错误:

ControlNotFoundError: no control matching kind 'clickable', id 'submit'

mech.submit()也不起作用,因为它的类型是按钮而不是提交。

有任何想法吗?谢谢。

0 投票
1 回答
3892 浏览

python - TypeError:ListControl,必须设置一个序列(python错误)

我正在使用 Python Mechanize 打开网站、填写表格并提交该表格。其实很简单。它一直有效,直到我遇到单选按钮和“选择”输入框。

为什么我会收到此错误?为什么我不能像文本框一样设置E ?(E 是单选按钮)

编辑:根据 Web Developer 的说法,这是表单。