scrapy - 在完成 Lua 脚本之前飞溅获取 html

Question

我的网页具有强大的 ajax 分页（仅用于下一页的按钮）。对于转到第 5 页等，脚本应按Next按钮5 次。但在脚本点击后 - 当前页面的数据将丢失。

有可能将 Lua 脚本中的 html 内容返回到scrapy，然后继续运行脚本？

现在我用不好的方式。我在 Lua 脚本中合并每个页面的 html 代码，并在最后一页之后返回它。但我觉得不太好。