python - 使用 LazyLoader 和 Python BeautifulSoup 抓取页面

Question

我在玩 BeautifulSoup，到目前为止我很喜欢。

问题是我要废弃的网站有一个lazyloader......而且它只废弃了网站的一部分。

我可以提示如何进行吗？我必须看看lazyloader是如何实现的并参数化其他任何东西吗？

Answer 1

原来问题本身不是 BeautifulSoup，而是页面本身的动态。对于这种特定情况。

页面返回页面的一部分，因此需要对 headers 进行分析并相应地发送到服务器。这本身不是 BeautifulSoup 问题。

因此，了解数据在特定站点上的加载方式非常重要。它并不总是“加载整个页面，处理整个页面”的范例。在某些情况下，您需要加载页面的一部分并向服务器发送特定参数，以便继续加载页面的其余部分。