python - 如果返回列表，如何从启动中检索？

Question

按照此处初始源中提供的示例：https ://github.com/scrapinghub/splash/blob/master/splash/examples/render-multiple.lua

在那个 lua 脚本中，返回的是一个 lua 表而不是一个 json 对象。

使用scrapy-splash时，如何使用lua脚本返回和检索数组/列表而不是表/字典？

Answer 1

如果您使用的是 scrapy-splash，则解码结果可用作 response.data（请参阅https://github.com/scrapy-plugins/scrapy-splash#responses）。您应该执行以下操作来访问 google.com 的 PNG 数据：

import base64
# ...
     def parse_result(self, response):
         img = base64.b64decode(response.data["www.google.com"])
         # ...

链接脚本返回一个{"<url>": "<base64 png data>"}映射，而不是一个数组。

如果要返回数组，请修改脚本以使用整数键和 Treat.as_array：

treat = require('treat')
function main(splash, args)
  splash.set_viewport_size(800, 600)
  splash.set_user_agent('Splash bot')
  local example_urls = {"www.google.com", "www.bbc.co.uk", "scrapinghub.com"}
  local urls = args.urls or example_urls
  local results = {}
  for i, url in ipairs(urls) do
    local ok, reason = splash:go("http://" .. url)
    if ok then
      splash:wait(0.2)
      results[i] = splash:png()
    end
  end
  return treat.as_array(results)
end

然后你可以访问这样的数据：

import base64
# ...
     def parse_result(self, response):
         img = base64.b64decode(response.data[0])
         # ...