python - 通过代理进行程序化 Web 浏览

Question

我目前正在编写一个 Python 脚本，它基本上访问不同的网站并从这些网站读取一些数据。但是，它有一个复杂性。我位于 A 国，但该网站上的数据仅在 B 国可用。这意味着我需要一个脚本来连接到 B 国的代理服务器，然后才开始以编程方式浏览。

到目前为止，我已经编写了使用 mechanize 模块进行浏览的脚本。但是，我完全不确定如何让它通过代理运行。

编辑：与代理的连接有用户名和密码。

有谁知道如何做到这一点？

Answer 1

在机械化做这样的事情：

browser = mechanize.Browser()
browser.set_proxies({"http": "111.11.11.11"})
response = browser.open("http://google.com")

然后将其设置为您希望浏览器也连接的代理

或者您可以像这样更改某个请求的代理：

req = mechanize.Request("http://www.google.com")
req.set_proxy("localhost:8888","http")
mechanize.urlopen(req)

使用带密码的代理：

# Proxy and user/password
br.set_proxies({"http": "joe:password@myproxy.example.com:3128"})

# Proxy
br.set_proxies({"http": "myproxy.example.com:3128"})
# Proxy password
br.add_proxy_password("joe", "password")