15

我正在尝试在 python 中使用 Splash for Scrapy 抓取一些动态网站。但是，我看到 Splash 在某些情况下无法等待完整页面加载。解决此问题的一种蛮力方法是添加大量wait时间（例如，以下代码段中的 5 秒）。但是，这样做效率极低，并且仍然无法加载某些数据（有时加载内容需要超过 5 秒）。是否有某种等待元素条件可以通过这些请求？

yield SplashRequest(
          url, 
          self.parse, 
          args={'wait': 5},
          'User-Agent':"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36",
          }
)
4

3 回答 3

17

是的，你可以编写一个 Lua 脚本来做到这一点。像这样的东西：

function main(splash)
  splash:set_user_agent(splash.args.ua)
  assert(splash:go(splash.args.url))

  -- requires Splash 2.3  
  while not splash:select('.my-element') do
    splash:wait(0.1)
  end
  return {html=splash:html()}
end

在 Splash 2.3 之前，您可以splash:evaljs('!document.querySelector(".my-element")')使用not splash:select('.my-element').

将此脚本保存到变量 ( lua_script = """ ... """)。然后你可以发送这样的请求：

yield SplashRequest(
    url, 
    self.parse, 
    endpoint='execute',
    args={
        'lua_source': lua_script,
        'ua': "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36"
    }
}

有关如何编写 Splash Lua 脚本的更多详细信息，请参阅脚本教程和参考。

于 2016-12-12T10:08:57.233 回答
3

我有类似的要求，有超时。我的解决方案是对上面的轻微修改：

function wait_css(splash, css, maxwait)
    if maxwait == nil then
        maxwait = 10     --default maxwait if not given
    end

    local i=0
    while not splash:select(css) do
       if i==maxwait then
           break     --times out at maxwait secs
       end
       i=i+1
       splash:wait(1)      --each loop has duration 1sec
    end
end
于 2018-03-10T13:12:17.867 回答
0

您可以将 lua 脚本与 javascript 和splash:wait_for_resume（文档）一起使用。

function main(splash, args)
  splash.resource_timeout = 60

  assert(splash:go(splash.args.url))

  assert(splash:wait(1))
  splash.scroll_position = {y=500}

  result, error = splash:wait_for_resume([[
    function main(splash) {
      var checkExist = setInterval(function() {
        if (document.querySelector(".css-selector").innerText) {
          clearInterval(checkExist);
          splash.resume();
        }
      }, 1000);
    }
  ]], 30)

  assert(splash:wait(0.5))
  return splash:html()
end

如果你不使用scrapy-splash插件，注意splash.args.url在splash:go，会有所不同。

于 2019-07-18T19:32:34.980 回答