0

我正在使用的 Scrapy Splash 在我的本地机器上工作得很好，但是当我在我的 Ubuntu 服务器上使用它时它会返回这个错误。这是为什么？是内存不足造成的吗？

  File "/usr/local/lib64/python2.7/site-packages/twisted/internet/defer.py", line 1299, in _inlineCallbacks
    result = g.send(result)
  File "/usr/local/lib/python2.7/site-packages/scrapy/core/downloader/middleware.py", line 53, in process_response
    spider=spider)
  File "/usr/local/lib/python2.7/site-packages/scrapy_splash/middleware.py", line 387, in process_response
    response = self._change_response_class(request, response)
  File "/usr/local/lib/python2.7/site-packages/scrapy_splash/middleware.py", line 402, in _change_response_class
    response = response.replace(cls=respcls, request=request)
  File "/usr/local/lib/python2.7/site-packages/scrapy/http/response/text.py", line 50, in replace
    return Response.replace(self, *args, **kwargs)
  File "/usr/local/lib/python2.7/site-packages/scrapy/http/response/__init__.py", line 79, in replace
    return cls(*args, **kwargs)
  File "/usr/local/lib/python2.7/site-packages/scrapy_splash/response.py", line 33, in __init__
    super(_SplashResponseMixin, self).__init__(url, *args, **kwargs)
TypeError: __init__() got an unexpected keyword argument 'encoding'

更新

仅在使用 localhost 作为SPLASH_URL

4

2 回答 2

0

我通过使用确切的 URL 来解决它：

SPLASH_URL = 'http://therealip:8050'

任何 localhost 解决方案都不起作用。我认为这是 Scrapy Splash 中的一个错误。

更新

事实证明，如果我关闭 Crawlera，错误也会消失。但随后它重现了另一个错误。最好不要在配置中使用 localhost。

于 2017-03-12T06:56:21.853 回答
0

TypeError: init () got an unexpected keyword argument 'encoding'

似乎您在某个地方向类 init（可能创建实例）传递了一个额外的参数“编码”。试着调查一下。

于 2017-03-26T21:35:38.630 回答