我试图模糊一些工具，但我需要大量的 .zip 或 .jpg 文件。我已经尝试过像 webripper 这样的爬虫，但它不是很有效（或者我做错了）。有没有更好的方法来获取大量不同的文件？
问问题
33 次
1 回答
0
好的，因为其他人可能需要这样的东西：
最后，我使用了 Webripper，而不是使用“filetype”参数生成指向 google/bing 结果的链接，我只是将一些上传/免费软件页面作为具有最大链接深度的目标 rip 作业。
Webbripper 有时可能会崩溃，这需要相当长的时间，但它工作得很好。
一个可能更好的解决方案可能是使用 google API（例如c#SearchAPI）。然后从结果中提取干净的链接并为它们调用异步下载。使用直接结果链接很可能不起作用，因为谷歌会在某些文件“异常数据传输”后阻止它。
于 2014-12-12T13:06:27.847 回答