问题标签 [wget]

我正在编写一个脚本来下载一堆文件，我希望它在某个特定文件不存在时发出通知。

但它在执行时出现以下错误：

./file: line 2: [: -ne: unary operator expected

怎么了？

我学会了如何下载单个谷歌文档。但我正在尝试制作一个脚本，以文本格式下载我的所有数据，然后将它们合并到 1 个文本文件中。所以，我想知道如何实现下载部分，以便 1 可以像使用网络浏览器一样获取包含我所有文件的 zip 文件。这是我获取单个文件的 newb 脚本。希望您能提出一些调整，使其更有效。

如您所见，在这里我指定了单个resourceId 。我应该只是在下载链接中推送许多resourceId -s 以获取它们还是有更好的方法？

我正在构建需要通过 HTTP 和 FTP 进行大量文件传输的软件。通常，我使用 axel 或带有 pget 的 lftp 等多连接下载加速器获得更快的 HTTP 下载。在某些情况下，我发现文件传输速度提高了 2 到 3 倍，例如：

或者

与仅使用 wget 相比：

但其他时候，wget 比 lftp 快得多。奇怪的是，即使我使用 get 进行 lftp 也是如此，如下所示：

我知道通过多个连接下载文件并不总是会导致加速，具体取决于带宽的限制方式。但是：为什么会慢？尤其是在使用 -n 1 调用 lftp/pget 时？

为什么会这样：

这失败了：

有没有一种方法可以使用 wget、curl 或其他一些库在单行中做到这一点？

我正在尝试使用 Python 检索一个 500mb 的文件，并且我有一个使用urllib.urlretrieve(). 我和下载站点之间似乎存在一些网络问题，因为此调用始终挂起并且无法完成。但是，wget用于检索文件往往没有问题。urlretrieve()和有什么区别wget可能导致这种差异？

我想从 ftp 服务器下载一个 50-100MB 的大文件。在每一点，我都希望能够设置“起始”点和我想要的块的长度。我不会在本地保存“以前的”块（即我不能要求程序“恢复”下载）。

最好的方法是什么？我wget主要使用，但其他东西会更好吗？

我真的对预建/内置功能感兴趣，而不是为此目的使用库......因为wget/ ftp（我认为也是）允许恢复下载，我不知道这是否会成为问题。 ..（虽然我无法从所有选项中弄清楚！）

我不想将整个大文件保留在我的末尾，只需将其分块处理...仅供参考-我正在查看重新连接后继续 FTP 下载，这似乎很有趣..

我想部分下载一个 ftp 文件。我只需要下载让我们说 10MB，但在跳过 100MB 之后（例如）。

在php中，http ://php.net/manual/en/function.ftp-fget.php这个函数允许arbitay起点：

但是它不允许我设置我要下载的“多少字节”。

我正在寻找一种伪蜘蛛网站的方法。关键是我实际上并不想要内容，而是一个简单的 URI 列表。使用Wget选项，我可以相当接近这个想法--spider，但是当通过 a 管道输出时grep，我似乎找不到合适的魔法来使它工作：

过滤器grep似乎对wget输出完全没有影响。我是不是出了什么问题，还是我应该尝试另一种更适合提供这种有限结果集的工具？

更新

所以我刚刚发现离线时，默认情况下会wget写入stderr。我在手册页中错过了它（事实上，如果它在那里，我仍然没有找到它）。一旦我将返回值通过管道传输到标准输出，我就更接近了我需要的东西：

如果有的话，我仍然会对做这种事情的其他/更好的方法感兴趣。

The url: http://www.teamliquid.net/replay/download.php?replay=1830 is a download link to a .rep file.

My question is: how to download this content in java knowing the name of the original rep file in order to save it with a defined prefix, like path/_.rep

//I was trying to run wget from java but I don't see how to get the original file's name.

Can I use wget to populate some forms in a web app if the web app requires a user to login? I'm trying to use wget in a script to send some data to a web app, but it appears the web app rejects the attempts because I am not logged in.