9

我有一个我想继续使用的脚本，但看起来我要么必须为 Python 3 中的错误找到一些解决方法，要么降级回 2.6，因此也不得不降级其他脚本......

希望这里有人已经设法找到解决方法。

问题在于，由于 Python 3.0 中有关字节和字符串的新变化，显然并非所有库代码都经过了测试。

我有一个从 Web 服务器下载页面的脚本。该脚本在 python 2.6 中将用户名和密码作为 url 的一部分传递，但在 Python 3.0 中，这不再起作用。

例如，这个：

import urllib.request;
url = "http://username:password@server/file";
urllib.request.urlretrieve(url, "temp.dat");

失败并出现此异常：

Traceback (most recent call last):
  File "C:\Temp\test.py", line 5, in <module>
    urllib.request.urlretrieve(url, "test.html");
  File "C:\Python30\lib\urllib\request.py", line 134, in urlretrieve
    return _urlopener.retrieve(url, filename, reporthook, data)
  File "C:\Python30\lib\urllib\request.py", line 1476, in retrieve
    fp = self.open(url, data)
  File "C:\Python30\lib\urllib\request.py", line 1444, in open
    return getattr(self, name)(url)
  File "C:\Python30\lib\urllib\request.py", line 1618, in open_http
    return self._open_generic_http(http.client.HTTPConnection, url, data)
  File "C:\Python30\lib\urllib\request.py", line 1576, in _open_generic_http
    auth = base64.b64encode(user_passwd).strip()
  File "C:\Python30\lib\base64.py", line 56, in b64encode
    raise TypeError("expected bytes, not %s" % s.__class__.__name__)
TypeError: expected bytes, not str

显然，base64 编码现在需要输入字节并输出一个字符串，因此 urlretrieve（或其中的一些代码）构建一个用户名：密码字符串，并尝试对其进行 base64 编码以进行简单授权，但失败了。

如果我改为尝试使用 urlopen，如下所示：

import urllib.request;
url = "http://username:password@server/file";
f = urllib.request.urlopen(url);
contents = f.read();

然后它失败并出现以下异常：

Traceback (most recent call last):
  File "C:\Temp\test.py", line 5, in <module>
    f = urllib.request.urlopen(url);
  File "C:\Python30\lib\urllib\request.py", line 122, in urlopen
    return _opener.open(url, data, timeout)
  File "C:\Python30\lib\urllib\request.py", line 359, in open
    response = self._open(req, data)
  File "C:\Python30\lib\urllib\request.py", line 377, in _open
    '_open', req)
  File "C:\Python30\lib\urllib\request.py", line 337, in _call_chain
    result = func(*args)
  File "C:\Python30\lib\urllib\request.py", line 1082, in http_open
    return self.do_open(http.client.HTTPConnection, req)
  File "C:\Python30\lib\urllib\request.py", line 1051, in do_open
    h = http_class(host, timeout=req.timeout) # will parse host:port
  File "C:\Python30\lib\http\client.py", line 620, in __init__
    self._set_hostport(host, port)
  File "C:\Python30\lib\http\client.py", line 632, in _set_hostport
    raise InvalidURL("nonnumeric port: '%s'" % host[i+1:])
http.client.InvalidURL: nonnumeric port: 'password@server'

显然，这个“下一代 url 检索库”中的 url 解析不知道如何处理 url 中的用户名和密码。

我还有什么其他选择？

4

3 回答 3

22

直接来自 Py3k 文档：http ://docs.python.org/dev/py3k/library/urllib.request.html#examples

import urllib.request
# Create an OpenerDirector with support for Basic HTTP Authentication...
auth_handler = urllib.request.HTTPBasicAuthHandler()
auth_handler.add_password(realm='PDQ Application',
                          uri='https://mahler:8092/site-updates.py',
                          user='klem',
                          passwd='kadidd!ehopper')
opener = urllib.request.build_opener(auth_handler)
# ...and install it globally so it can be used with urlopen.
urllib.request.install_opener(opener)
urllib.request.urlopen('http://www.example.com/login.html')
于 2008-12-27T22:04:53.013 回答
0

我的建议是将您的 2.* 分支保持为您的生产分支，直到您可以对 3.0 内容进行排序。

在转到 Python 3.0 之前，我将等待一段时间。似乎有很多人很着急，但我只想把一切都整理好，并选择一些不错的第三方库。这可能需要一年，可能需要18个月，但“升级”的压力对我来说真的很低。

于 2008-12-28T01:21:20.337 回答
0

您可以使用 requests.get 下载文件。试试示例代码：

import requests
from requests.auth import HTTPBasicAuth

def download_file(user_name, user_pwd, url, file_path):
    file_name = url.rsplit('/', 1)[-1]
    with requests.get(url, stream = True, auth = HTTPBasicAuth(user_name, user_pwd)) as response:
        with open(file_path + "/" + file_name, 'wb') as f:
            for chunk in response.iter_content(chunk_size = 8192):
                f.write(chunk)

# You will download the login.html file to /home/dan/
download_file("dan", "password", "http://www.example.com/login.html", "/home/dan/")

好好享受！！

同：https ://stackoverflow.com/a/66796358/9265663

于 2021-03-25T09:51:46.573 回答