1

我必须加载一些带有西里尔符号的网址。我的脚本应该适用于此:

http://wincode.org/%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0 %BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5/

如果我在浏览器中使用它,它将替换为普通符号,但 urllib 代码失败并出现 404 错误。如何正确解码此网址?


当我直接在代码中使用该 url 时,例如 address = 'that address',它可以完美运行。但我使用解析页面来获取这个 url。我有一个包含西里尔字母的网址列表。也许他们的编码不正确?这是更多代码:

requestData = urllib2.Request( %SOME_ADDRESS%, None,  {"User-Agent": user_agent})
requestHandler = pageHandler.open(requestData)

pageData = requestHandler.read().decode('utf-8')
soupHandler = BeautifulSoup(pageData)

topicLinks = []
for postBlock in soupHandler.findAll('a', href=re.compile('%SOME_REGEXP%')):
    topicLinks.append(postBlock['href'])

postAddress = choice(topicLinks)

postRequestData = urllib2.Request(postAddress, None,  {"User-Agent": user_agent})
postHandler = pageHandler.open(postRequestData)
postData = postHandler.read()

  File "/usr/lib/python2.6/urllib2.py", line 518, in http_error_default
    raise HTTPError(req.get_full_url(), code, msg, hdrs, fp)
urllib2.HTTPError: HTTP Error 404: Not Found
4

2 回答 2

5

我有一个包含西里尔字母的网址列表。

好的,如果它包含与示例不同的原始(不是 % 编码的)西里尔字符,实际上它根本不是 URL。

其中包含非 ASCII 字符的地址称为IRI。IRI 不应该在 HTML 链接中使用,但浏览器倾向于修复这些错误。

要将 IRI 转换为 URI,然后您可以使用 打开urllib,您必须:

  1. 使用 Punycode (IDNA) 对主机名部分中的非 ASCII 字符进行编码。

  2. 将 IRI 其余部分中的非 ASCII 字符编码为 UTF-8 字节并对它们进行 URL 编码(结果%D0%BF...类似于示例 URL)。

一个示例实现

于 2010-05-14T17:35:10.070 回答
1

您可以尝试使用 urllib.unquote 方法。

>>> import urllib
>>> string = urllib.unquote("http://wincode.org/%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5/")
>>> print string.decode("utf-8")
http://wincode.org/программирование/
于 2010-05-14T15:38:57.773 回答