0

我需要从网上下载几个网页。我正在使用 wget(URL) 下载它们，但我发现在下载一定数量（少于 100 秒）后它不会下载并给出错误。

谁能告诉我下载许多网页的最佳方式，这些网页的网址在一个文件中。

Query1='"http://scholar.google.com/scholar?q=%22'+a+'%22&btnG=&hl=en&as_sdt=0%2C24"'
        URL1='wget --user-agent Chrome '+Query1+' -O '+file1
        os.system(URL1)

这是我正在使用的代码

谢谢

4

0 回答 0