问题标签 [wget]

wget 总是将系统值回显到控制台，即使我在命令行上指定 -q （安静），例如：

如何让噪音停止？

我正在使用 wget 自动下载 Eclipse 的 ShellEd 扩展，但收到错误消息：

我之前已经成功使用过几次，所以我认为是因为 SourceForge 使用了镜像。我查看了 wget 的手册页，重点关注referer 和 http_proxy，但仍然不成功。这是我的脚本：

谢谢！

有什么方法可以限制 CURL 获取的数据量吗？我正在从 50kb 的页面上抓取数据，但是我需要的数据位于页面的顶部 1/4，所以我真的只需要检索页面的前 10kb。

我之所以问，是因为我需要监控大量数据，这导致我每月传输近 60GB 的数据，而只有大约 5GB 的带宽是相关的。

我正在使用 PHP 来处理数据，但是我的数据检索方法很灵活，我可以使用 CURL、WGET、fopen 等。

我正在考虑的一种方法是

以上是否意味着我只会从 www.website.com 传输 6kb，或者 fopen 会将 www.website.com 加载到内存中意味着我仍将传输完整的 50kb？

我正在尝试从网页下载多个 pdf 文件（我使用的是 Mac OS X 10.6.1）。这是我得到的一个例子（www.website.org 只是一个例子）：

如何克服这个 403 错误？我应该改用 curl 吗？

我想使用 wget 下载 Google Trends csv 数据，但我不熟悉使用 wget。一个示例 URL 是：

http://www.google.com/insights/search/overviewReport?cat=71&geo=US&q=apple&date&cmpt=q&content=1&export=1

用网络浏览器打开它，我检索到预期的文件。要使用 wget 执行此操作，我尝试了以下命令：

结果如下：

我的第一个猜测是，wget它无法通过适当的身份验证访问 cookie。

有人吗？

我正在尝试使用 wget 从 Web 文件夹下载图像 (.jpg)。我只想下载文件名中有特定句子的图像。这工作正常

但我喜欢包含一个句子，例如。“约翰”。我试过

没有成功。任何想法如何进行？这可以在 shell 脚本（bash shell）中实现吗？我正在使用 Mac OSX 10.6.1。

我正在构建一个小工具，它将使用 wget 下载文件，从不同文件中读取 url。相同的 url 可能存在于不同的文件中；该 url 甚至可能多次出现在一个文件中。多次下载一个页面（每次在列表中找到它的 url）是低效的。

因此，简单的方法是保存下载的文件，并指示 wget 如果它已经存在，则不要再次下载它。

那将非常简单；但是 url 很长（许多 GET 参数），因此不能用于文件名（wget 给出错误“无法写入... [] 文件名太长”）。

所以，我需要重命名下载的文件。但是要使缓存机制起作用，重命名方案需要实现“一个 url <=> 一个名称”：如果给定的 url 可以有多个名称，则缓存不起作用（即，如果我只是按顺序对文件进行编号他们找到了，我不会让 wget 识别哪些 url 已经下载）。

最简单的重命名方案是计算文件名的 md5 哈希值（而不是文件本身的哈希值，这就是 md5sum 所做的）；这将确保文件名是唯一的，并且给定的 url 会导致始终相同的名称。

可以在 Perl 等中执行此操作，但可以直接在 bash 中或使用系统实用程序 (RedHat) 完成吗？

我正在寻找一种安全的替代方法来做这样的事情，

它是通过 cron 执行的。

其中的“--mirror”开关对我很重要。

由于各种原因，我创建了一个简单的 HTTP 服务器，并通过 OpenSSL 添加了 SSL 支持。我正在使用自签名证书。只要我将 CA 添加到受信任的根 CA，IE、Firefox 和 Chrome 就会愉快地加载内容。

但是， wget （即使使用--no-check-certificate标志）报告：

如果我使用以下命令对我的服务器运行 OpenSSL 客户端：

我回来了：验证错误：num = 19：证书链中的自签名证书验证返回：0，然后

wget 和 OpenSSL 客户端根本不能使用自签名证书吗？

更新：

对于以后出现的任何人，添加此代码有助于 OpenSSL 客户端和 Firefox：

我正在尝试找到一种解决方案，每天使用 wget 从网站自动下载 .flv 链接，并将所有链接存储到数据库中以将它们流式传输到我的网站中。（全部在 php 中）怎么做？我不需要将文件仅存储到数据库中。

最好的祝福，