0

I need to crawl a website, but the problem is, there is no linked pagination at the bottom. Data appends if you scroll to the bottom. Now how can I make this happen with my crawler? Are there any ideas?

4

2 回答 2

1

尝试检查向下滚动时执行以附加数据的脚本。它必须以某种方式检索额外的数据——只要看看它在做什么，然后让你的爬虫做同样的事情。

于 2013-02-05T08:09:29.470 回答
0

使用像 Selenium 这样的机器人可以工作，您可以在真实导航器中模拟真实用户。我曾经用 facebook 做的一件事是在 C++/Qt 中使用 JavaScript 解释器，然后通过它发送请求。比 Selenium 快很多。

我敢肯定谷歌比你有更多的处理能力，并且网站管理员会尽其所能被他们解析。

于 2014-02-16T14:53:23.530 回答