我正在寻找一个爬虫应用程序，它扫描页面的 javascript 以查找 AJAX 请求并查找执行 AJAX 调用的函数，从而从头到尾获取整个内容。
我会自己写一些东西，但我现在真的很忙，我想也许有人已经做了一个这样的爬虫。
在那儿？
问问题
607 次
1 回答
1
没有您所要求的东西，因为它对于一个特定站点来说太具体了 - 爬虫没有通用的方法来显示 ajax 生成的内容。
如果网站愿意合作，Google 已经实现了一些让 ajax 生成的页面可抓取的约定。您可以在此处阅读它们：http: //support.google.com/webmasters/bin/answer.py ?hl=en&answer=174992
于 2013-05-31T08:42:53.703 回答