116

我在这里要做的是获取给定 URL 的标头，以便确定 MIME 类型。例如，我希望能够查看是否http://somedomain/foo/会返回 HTML 文档或 JPEG 图像。因此，我需要弄清楚如何发送 HEAD 请求，以便无需下载内容即可读取 MIME 类型。有谁知道这样做的简单方法？

4

11 回答 11

109

urllib2可用于执行 HEAD 请求。这比使用 httplib 好一点，因为 urllib2 会为您解析 URL，而不是要求您将 URL 拆分为主机名和路径。

>>> import urllib2
>>> class HeadRequest(urllib2.Request):
...     def get_method(self):
...         return "HEAD"
... 
>>> response = urllib2.urlopen(HeadRequest("http://google.com/index.html"))

像以前一样，可以通过 response.info() 获得标头。有趣的是，您可以找到被重定向到的 URL：

>>> print response.geturl()
http://www.google.com.au/index.html
于 2010-01-15T10:50:52.677 回答
104

编辑：这个答案有效，但现在你应该只使用下面其他答案提到的请求库。

使用httplib。

>>> import httplib
>>> conn = httplib.HTTPConnection("www.google.com")
>>> conn.request("HEAD", "/index.html")
>>> res = conn.getresponse()
>>> print res.status, res.reason
200 OK
>>> print res.getheaders()
[('content-length', '0'), ('expires', '-1'), ('server', 'gws'), ('cache-control', 'private, max-age=0'), ('date', 'Sat, 20 Sep 2008 06:43:36 GMT'), ('content-type', 'text/html; charset=ISO-8859-1')]

还有一个getheader(name)获取特定标题的方法。

于 2008-09-20T06:45:45.010 回答
73

强制Requests方式：

import requests

resp = requests.head("http://www.google.com")
print resp.status_code, resp.text, resp.headers
于 2012-10-21T11:00:49.547 回答
37

我相信Requests库也应该被提及。

于 2011-09-12T12:02:47.290 回答
17

只是：

import urllib2
request = urllib2.Request('http://localhost:8080')
request.get_method = lambda : 'HEAD'

response = urllib2.urlopen(request)
response.info().gettype()

编辑：我刚刚意识到有 httplib2 ：D

import httplib2
h = httplib2.Http()
resp = h.request("http://www.google.com", 'HEAD')
assert resp[0]['status'] == 200
assert resp[0]['content-type'] == 'text/html'
...

链接文本

于 2010-12-12T12:45:54.757 回答
11

为了获得与使用httplib接受的答案等效的 Python3 答案的完整性。

它基本上是相同的代码，只是该库不再称为httplib而是http.client

from http.client import HTTPConnection

conn = HTTPConnection('www.google.com')
conn.request('HEAD', '/index.html')
res = conn.getresponse()

print(res.status, res.reason)
于 2013-03-14T21:38:44.830 回答
2 
import httplib
import urlparse

def unshorten_url(url):
    parsed = urlparse.urlparse(url)
    h = httplib.HTTPConnection(parsed.netloc)
    h.request('HEAD', parsed.path)
    response = h.getresponse()
    if response.status/100 == 3 and response.getheader('Location'):
        return response.getheader('Location')
    else:
        return url
于 2012-02-10T12:39:59.143 回答
1

顺便说一句，在使用 httplib 时（至少在 2.5.2 上），尝试读取 HEAD 请求的响应将阻塞（在 readline 上）并随后失败。如果您没有发出 read 响应，则无法在连接上发送另一个请求，您将需要打开一个新请求。或者接受请求之间的长时间延迟。

于 2009-04-23T01:39:05.743 回答
1

我发现 httplib 比 urllib2 稍微快一点。我为两个程序计时——一个使用 httplib，另一个使用 urllib2——向 10,000 个 URL 发送 HEAD 请求。httplib 的速度快了几分钟。 httplib的总统计数据为：real 6m21.334s user 0m2.124s sys 0m16.372s

而urllib2的总统计数据是：real 9m1.380s user 0m16.666s sys 0m28.565s

还有其他人对此有意见吗？

于 2010-04-13T15:10:00.393 回答
0

还有另一种方法（类似于 Pawel 的回答）：

import urllib2
import types

request = urllib2.Request('http://localhost:8080')
request.get_method = types.MethodType(lambda self: 'HEAD', request, request.__class__)

只是为了避免在实例级别有无限的方法。

于 2013-06-06T10:55:31.970 回答
-4

可能更简单：使用 urllib 或 urllib2。

>>> import urllib
>>> f = urllib.urlopen('http://google.com')
>>> f.info().gettype()
'text/html'

f.info() 是一个类字典对象，所以你可以做 f.info()['content-type'] 等。

http://docs.python.org/library/urllib.html
http://docs.python.org/library/urllib2.html
http://docs.python.org/library/httplib.html

文档指出 httplib 通常不直接使用。

于 2008-12-11T00:11:48.057 回答