27

我有一段代码我不知道如何进行单元测试！该模块使用 urllib2 从外部 XML 提要（twitter、flickr、youtube 等）中提取内容。这是它的一些伪代码：

params = (url, urlencode(data),) if data else (url,)
req = Request(*params)
response = urlopen(req)
#check headers, content-length, etc...
#parse the response XML with lxml...

我的第一个想法是腌制响应并加载它进行测试，但显然 urllib 的响应对象是不可序列化的（它会引发异常）。

仅从响应正文中保存 XML 并不理想，因为我的代码也使用了标头信息。它旨在作用于响应对象。

当然，在单元测试中依赖外部数据源是一个可怕的想法。

那么我该如何为此编写单元测试呢？

4

7 回答 7

25

urllib2 有一个调用的函数build_opener()，install_opener()你应该用它来模拟urlopen()

import urllib2
from StringIO import StringIO

def mock_response(req):
    if req.get_full_url() == "http://example.com":
        resp = urllib2.addinfourl(StringIO("mock file"), "mock message", req.get_full_url())
        resp.code = 200
        resp.msg = "OK"
        return resp

class MyHTTPHandler(urllib2.HTTPHandler):
    def http_open(self, req):
        print "mock opener"
        return mock_response(req)

my_opener = urllib2.build_opener(MyHTTPHandler)
urllib2.install_opener(my_opener)

response=urllib2.urlopen("http://example.com")
print response.read()
print response.code
print response.msg
于 2010-02-16T22:30:06.127 回答
9

如果您可以编写一个模拟 urlopen（可能还有 Request），它提供了与 urllib2 版本类似的行为所需的最低接口，那将是最好的。然后，您需要让使用它的函数/方法能够以某种方式接受这个模拟 urlopen，并以urllib2.urlopen其他方式使用。

这是相当多的工作，但很值得。请记住，python 对ducktyping 非常友好，因此您只需要提供一些响应对象的属性来模拟它。

例如：

class MockResponse(object):
    def __init__(self, resp_data, code=200, msg='OK'):
        self.resp_data = resp_data
        self.code = code
        self.msg = msg
        self.headers = {'content-type': 'text/xml; charset=utf-8'}

    def read(self):
        return self.resp_data

    def getcode(self):
        return self.code

    # Define other members and properties you want

def mock_urlopen(request):
    return MockResponse(r'<xml document>')

当然，其中一些很难模拟，因为例如我相信普通的“标头”是一个 HTTPMessage，它实现了一些有趣的东西，例如不区分大小写的标头名称。但是，您也许可以简单地用您的响应数据构造一个 HTTPMessage。

于 2010-02-16T22:08:52.643 回答
6

构建一个单独的类或模块，负责与您的外部提要进行通信。

使这个类能够成为一个测试替身。你正在使用 python，所以你在那里很漂亮；如果您使用的是 C#，我建议使用接口或虚拟方法。

在您的单元测试中，插入外部提要类的测试替身。测试您的代码是否正确使用该类，假设该类正确地与您的外部资源进行通信。让您的测试双重返回假数据而不是真实数据；测试数据的各种组合，当然还有 urllib2 可能抛出的异常。

嗯……就是这样。

您无法有效地自动化依赖外部资源的单元测试，因此最好不要这样做。偶尔在您的通信模块上运行集成测试，但不要将这些测试作为自动化测试的一部分。

编辑：

请注意我的答案和@Crast 的答案之间的区别。两者本质上都是正确的，但它们涉及不同的方法。在 Crast 的方法中，您在库本身上使用了一个测试替身。在我的方法中，您将库的使用抽象为一个单独的模块并测试该模块的两倍。

您使用哪种方法完全是主观的；那里没有“正确”的答案。我更喜欢我的方法，因为它允许我构建更模块化、更灵活的代码，这是我看重的。但它需要编写额外的代码，这在许多敏捷情况下可能不被重视。

于 2010-02-16T22:09:20.100 回答
5

您可以使用pymox来模拟​​ urllib2 （或任何其他）包中的任何事物的行为。现在是 2010 年，您不应该编写自己的模拟课程。

于 2010-02-16T22:38:02.707 回答
1

我认为最简单的做法是在单元测试中实际创建一个简单的 Web 服务器。当您开始测试时，创建一个新线程来侦听某个任意端口，当客户端连接时只返回一组已知的标头和 XML，然后终止。

如果您需要更多信息，我可以详细说明。

这是一些代码：

import threading, SocketServer, time

# a request handler
class SimpleRequestHandler(SocketServer.BaseRequestHandler):
    def handle(self):
        data = self.request.recv(102400) # token receive
        senddata = file(self.server.datafile).read() # read data from unit test file
        self.request.send(senddata)
        time.sleep(0.1) # make sure it finishes receiving request before closing
        self.request.close()

def serve_data(datafile):
    server = SocketServer.TCPServer(('127.0.0.1', 12345), SimpleRequestHandler)
    server.datafile = datafile
    http_server_thread = threading.Thread(target=server.handle_request())

要运行您的单元测试，请调用serve_data()然后调用您的代码，该代码请求的 URL 类似于http://localhost:12345/anythingyouwant.

于 2010-02-16T22:24:32.700 回答
0

为什么不只是模拟一个返回您期望的响应的网站呢？然后在设置中的线程中启动服务器并在拆卸中将其终止。我最终这样做是为了测试通过模拟 smtp 服务器发送电子邮件的代码，它工作得很好。当然可以为 http 做一些更琐碎的事情......

from smtpd import SMTPServer
from time import sleep
import asyncore
SMTP_PORT = 6544

class MockSMTPServer(SMTPServer):
    def __init__(self, localaddr, remoteaddr, cb = None):
        self.cb = cb
        SMTPServer.__init__(self, localaddr, remoteaddr)

    def process_message(self, peer, mailfrom, rcpttos, data):
        print (peer, mailfrom, rcpttos, data)
        if self.cb:
            self.cb(peer, mailfrom, rcpttos, data)
        self.close()

def start_smtp(cb, port=SMTP_PORT):

    def smtp_thread():
        _smtp = MockSMTPServer(("127.0.0.1", port), (None, 0), cb)
        asyncore.loop()
        return Thread(None, smtp_thread)


def test_stuff():
        #.......snip noise
        email_result = None

        def email_back(*args):
            email_result = args

        t = start_smtp(email_back)
        t.start()
        sleep(1)

        res.form["email"]= self.admin_email
        res = res.form.submit()
        assert res.status_int == 302,"should've redirected"


        sleep(1)
        assert email_result is not None, "didn't get an email"
于 2010-02-16T22:33:46.377 回答
0

试图改进@john-la-rooy 的答案，我做了一个小班，允许对单元测试进行简单的模拟

应该与 python 2 和 3 一起使用

try:
    import urllib.request as urllib
except ImportError:
    import urllib2 as urllib

from io import BytesIO


class MockHTTPHandler(urllib.HTTPHandler):

    def mock_response(self, req):
        url = req.get_full_url()

        print("incomming request:", url)

        if url.endswith('.json'):
            resdata = b'[{"hello": "world"}]'
            headers = {'Content-Type': 'application/json'}

            resp = urllib.addinfourl(BytesIO(resdata), header, url, 200)
            resp.msg = "OK"

            return resp
        raise RuntimeError('Unhandled URL', url)
    http_open = mock_response


    @classmethod
    def install(cls):
        previous = urllib._opener
        urllib.install_opener(urllib.build_opener(cls))
        return previous

    @classmethod
    def remove(cls, previous=None):
        urllib.install_opener(previous)

像这样使用：

class TestOther(unittest.TestCase):

    def setUp(self):
        previous = MockHTTPHandler.install()
        self.addCleanup(MockHTTPHandler.remove, previous)
于 2016-12-31T15:33:30.600 回答