问题标签 [robobrowser]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
709 浏览

python - RoboBrowser 提交表单响应状态 500

我正在尝试使用 robobrowser 登录 Quora,我编写了这个脚本

我能够获取登录表单并插入值(电子邮件和传递)。一旦我使用 提交表单browser.submit_form,它不会引发任何错误/异常,但是当我打印状态代码时它会显示 500。我无法理解我在哪里犯了错误。

0 投票
0 回答
53 浏览

html - Robobrowser 在第一个结束标记处停止

我正在尝试使用 robobrowser 解析网页,其中一些 html 如下:

但是,当我尝试使用find_all(class_="lineScore mlbBoxScore postEvent") 它时,它会返回:

它在第一个</table>标签处停止。我该如何防止这种情况。beatifulsoup 和其他人也会出现这种情况吗?任何帮助表示赞赏。

编辑:

我现在的代码如下:

网址是 www.cbssports.com/mlb/scoreboard

0 投票
1 回答
3803 浏览

python-3.x - AttributeError: 'module' 对象没有属性'open' Python 3.4 with robobrowser

因此,作为 mechanize 的替代品,因为 Visual Studio“需要”python 3.4,并且 mechanize 与 3.4 不兼容,我发现“robobrowser”作为替代品,但我无法弄清楚为什么 browser.open 返回“ AttributeError:“模块”对象没有属性“打开””

有什么建议或替代品吗?

编辑:文档可以在这里找到,“open”是有效的。 https://robobrowser.readthedocs.org/en/latest/api.html#module-robobrowser.browser

0 投票
1 回答
86 浏览

python - 在不正确的网页上抓取表单

我正在尝试使用带有 python 3.4 的 robobrowser 抓取 html 表单。我使用默认的 html 解析器:

它适用于正确的网页,但现在我必须解析错误书写的页面。这是html片段:

结束strong标签不正确。此错误会阻止解析器读取此错误标记后的所有输入:

有什么建议么?

0 投票
1 回答
857 浏览

python - 使用 Python 单击网站按钮

我想自动化一个在我的服务器上使用 Python 在搜索栏中搜索关键字的过程。但是,搜索首先会返回免责声明,一旦被接受,结果就会实际显示出来。免责声明网站如下:

http://emma.msrb.org/Disclaimer.aspx

我已经检查了该网站,这是我的初步代码:

然后我执行以下操作:

但正文仍然不包含数据。我也尝试过机械化,结果相同。有没有办法在没有 Selenium 的情况下做到这一点,只使用 mechanize 或 RoboBrowser?如果是这样,我在我的脚本中缺少什么?

PS:“接受”按钮的html脚本:

0 投票
3 回答
2175 浏览

python-3.x - RoboBrowser BadRequestKeyError(key)

我正在尝试使用 RoboBrowser 登录网站,但遇到错误消息。

我的代码:

错误信息:

0 投票
1 回答
1144 浏览

python - 如何在使用 python 3.5 抓取的同时登录网站

我正在尝试从网站上抓取数据www.vestiairecollective.com而抓取时我只能访问它的几个主页。例如,我的脚本无法抓取 url 的数据http://www.vestiairecollective.com/women-bags/handbags/#_=catalog&id_brand%5B%5D=50&material%5B%5D=3&step=180

我已经提到了许多关于堆栈溢出的问题,这些问题展示了如何做到这一点。当我在 Windows 上使用 python 3.5 时,“mechanize”和“cookielib”不起作用。我还看到一些问题指出像“robobrowser”这样的库可以完成这项工作。我也试过了,结果卡在了中间。

然后我尝试使用会话,当我使用 request.Sessions() 键入时,它说请求没有称为会话的属性。

当我使用上述 URL 时,请使用 robobrowser 或任何其他方式帮助我处理此特定网站的代码。

这是我在参考答案后尝试过的:-

这里应该从“crl”页面进行抓取,但从主页本身进行。

0 投票
0 回答
416 浏览

python - 通过python获取facebook用户访问令牌

我实际上想以编程方式通过 python 获取 facebook 用户访问令牌。我使用以下代码:

我成功登录。如何获取用户访问令牌

0 投票
2 回答
1594 浏览

python-3.x - 无法使用 robobrowser 提交表单。无效提交错误

这是我的代码:从 robobrowser 导入浏览器

我可以登录网站,所以 form1 可以工作,但是当我尝试在这种情况下留下评论(向上)时,form2 不起作用。我不断收到 InvalidSubmit 错误或 Bad Request 错误。form1 的代码和 form2 的代码似乎相同,但一个有效,另一个无效。我正在使用 python3.5 和 robobrowser,如果有帮助的话,我正在使用 Mac OS。先感谢您。这是我的回溯:

0 投票
1 回答
382 浏览

python - 网站提交按钮和python,没有action属性

我正在用 Python 构建一个与在线商店交互的程序。到目前为止,我能够找到所需的项目并使用 BeautifulSoup 导航到该页面,但我在单击“添加到购物车”按钮时遇到问题。我在网上找到的大多数使用 robobrowser 和类似的解决方案都可以工作,只是它们处理的是具有方法属性的标签。我正在处理的网站上的 for 看起来像这样:

我将如何去“点击”这个按钮?我需要什么库。顺便说一句,我正在使用 python 3,所以我不能使用机械化。在此先感谢您的帮助。