python - 如何抓取无限自动滚动的页面？

Question

我想在具有自动下一页滚动功能的页面中抓取用户名（向下滚动时，它会显示更多结果）。假设我想获取此页面上的所有用户名。知道怎么做吗？

Answer 1

当您滚动到该页面的末尾时，会向以下网址发出 ajax 请求：

http://tch578489.tch.quora.com/up/chan3-8882/updates?min_seq=27815516&channel=main-w-dep16-2927332319247211033

您需要弄清楚它是如何生成该 url 并在那里提出您的请求，然后解析它。