我正在抓取一个使用 javascript 显示无限滚动结果的网站。
我只能得到第一页显示的 10 个结果。当您实际浏览该站点时，当到达第 10 个结果的底部时，会自动加载更多结果。
我只使用python的requests_html库并尝试使用r.render()它呈现javascript，它RunTime error在Spyder Ide中提供然后我尝试在控制台中的cmd中运行，我收到了这个错误：
“pyppeteer.errors.PageError：协议错误：连接已关闭。很可能页面已关闭。”
我尝试寻找 ajax 数据以获取链接并找到，但生成和提供 json 数据很复杂，我想快速抓取结果。
请帮助我，请不要建议 Selenium。我希望一些教程也可以在另一个网站上工作，该网站登录指向一个更复杂的完整 Javascipt 网页，然后如何使用 requests_html 或一些 JavaScript 运行库（如果可用）来处理它。
实际上我想获取结果，因为我想要 20,50 或 100，但由于 jvascript 无限滚动，我只得到 10