3

当我通过使用 splash 渲染整个目标页面爬取整个网站时出现问题。某些页面不是随机成功的，所以我错误地获取了支持在渲染工作完成时出现的信息。这意味着我只是得到了一部分来自渲染结果的信息虽然我可以从其他渲染结果中获取全部信息。

这是我的代码：

yield SplashRequest(url,self.splash_parse,args = {"wait": 3,},endpoint="render.html")

settings：
SPLASH_URL = 'XXX'  
DOWNLOADER_MIDDLEWARES = {
'scrapy_splash.SplashCookiesMiddleware': 723,
'scrapy_splash.SplashMiddleware': 725,
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
}

# Enable SplashDeduplicateArgsMiddleware:
SPIDER_MIDDLEWARES = {
'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
}

# Set a custom DUPEFILTER_CLASS:
DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter

# a custom cache storage backend:
HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'
4

1 回答 1

4

我这么晚才回复，因为这个问题没有答案，而且它在谷歌搜索中可见。

我遇到了类似的问题，我找到的唯一解决方案（除了增加wait参数，这可能会或可能不会起作用，但不可靠）是使用execute端点和自定义 lua 脚本来等待元素。如果这听起来不必要地复杂，那么在我看来，Scrapy 和 Splash 的设计并不好，但我还没有找到更好的方法来满足我的需求。

我的 Lua 脚本如下所示：

lua_base = '''
function main(splash)
  splash:init_cookies(splash.args.cookies)
  splash:go(splash.args.url)

  while not splash:select("{}") do
    splash:wait(0.1)
  end
  splash:wait(0.1)
  return {{
  cookies = splash:get_cookies(),
  html=splash:html()
  }}
end
'''
css = 'table > tr > td.mydata'
lua_script = lua_base.format(css)

我生成这样的请求：

        yield SplashRequest(link, self.parse, endpoint='execute',
                            args={
                                    'wait': 0.1,
                                    'images': 0,
                                    'lua_source': lua_script,
                                })

这是非常丑陋的，但它的工作原理。

于 2017-05-12T06:37:48.613 回答