2

我正在尝试使用 MechanicalSoup 在 Windows 上用 Python 构建一个简单的 webbot。不幸的是，我坐在（公司强制执行的）代理后面。我找不到为 MechanicalSoup 提供代理的方法。有这样的选择吗？如果没有，我的替代方案是什么？

编辑：按照 Eytan 的提示，我将proxies和添加verify到我的代码中，这让我更进一步，但我仍然无法提交表单：

import mechanicalsoup

proxies = {
    'https': 'my.https.proxy:8080',
    'http':  'my.http.proxy:8080'
}
url = 'https://stackoverflow.com/'
browser = mechanicalsoup.StatefulBrowser()
front_page = browser.open(url, proxies=proxies, verify=False)
form = browser.select_form('form[action="/search"]')
form.print_summary()
form["q"] = "MechanicalSoup"
form.print_summary()
browser.submit(form, url=url)

代码挂在最后一行，submit不接受proxies作为参数。

4

2 回答 2

3

似乎必须在会话级别指定代理。然后他们不需要browser.open并且提交表单也可以：

import mechanicalsoup

proxies = {
    'https': 'my.https.proxy:8080',
    'http':  'my.http.proxy:8080'
}
url = 'https://stackoverflow.com/'
browser = mechanicalsoup.StatefulBrowser()
browser.session.proxies = proxies   # THIS IS THE SOLUTION!
front_page = browser.open(url, verify=False)
form = browser.select_form('form[action="/search"]')
form["q"] = "MechanicalSoup"
result = browser.submit(form, url=url)
result.status_code

返回 200（即“OK”）。

于 2017-12-20T14:30:27.437 回答
1

根据他们的文档，这应该有效：

browser.get(url, proxies=proxy)

尝试将“代理”参数传递给您的请求。

于 2017-12-19T14:25:28.313 回答