我已经编写了代码来使用 pycurl 在谷歌上搜索一些东西。我希望能够使用 pycurl 来做到这一点,但非常感谢所有帮助。我正在寻找使用 pycurl 搜索一个术语然后“单击下一页按钮”或“单击底部的索引号”的功能,这样我可以获得的不仅仅是前 10 个网络结果。
提前致谢。
我已经编写了代码来使用 pycurl 在谷歌上搜索一些东西。我希望能够使用 pycurl 来做到这一点,但非常感谢所有帮助。我正在寻找使用 pycurl 搜索一个术语然后“单击下一页按钮”或“单击底部的索引号”的功能,这样我可以获得的不仅仅是前 10 个网络结果。
提前致谢。
有多种方法可以做到这一点。
如果您的基本网址是http://www.google.co.uk/search?hl=en&q=YOUR_QUERY_STRING
您可以将 &num=100 添加到 url 的末尾以获得前 100 个结果。
或者如果您可以添加 &start=N,其中 N 是 10 的倍数,然后重新发送 webrequest 以获取下一页
或者你只是使用XPATH来解析网页并在搜索结果中获取下一页的 url。