问题标签 [wget]

下一句在 Wget 的手册中引起了我的注意

我发现以下与 wget 中的蜘蛛选项相关的代码行。

我想看看代码的差异，而不是抽象的。我喜欢代码示例。

网络蜘蛛在代码中与 Wget 的蜘蛛有何不同？

所以我想从 rapidshare 下载多个文件。这是我目前拥有的。我通过运行创建了一个 cookie-

现在我有一个运行的 shell 脚本，看起来像这样-

我想要两件事-

1. shell 脚本需要读取文件以从文件中下载。
2. shell 脚本应该一次下载 2 到 8 个文件。

谢谢！

我希望能够使用 Python 下载页面及其所有相关资源（图像、样式表、脚本文件等）。我（有点）熟悉 urllib2 并且知道如何下载单个 url，但在我开始在 BeautifulSoup + urllib2 上进行黑客攻击之前，我想确保没有与“wget --page-requisites http ”等效的 Python ://www.google.com ”。

具体来说，我有兴趣收集有关下载整个网页（包括所有资源）所需时间的统计信息。

谢谢马克

我有一个通过 wget 运行 5 个 php 脚本的 bash-sctipt。每个 php 文件都被调用，但是在最后一个脚本上，我收到了这个警告：

mysql_query()：提供的参数不是 xyz.php 中有效的 MySQL-Link 资源，位于 ABC 行

真正奇怪的是，如果我通过浏览器运行相同的脚本，脚本运行良好，没有任何警告。

这是我在 ABC 线附近的代码：

我的 SQL 是完全有效的（如果我运行在“die”语句中输出的查询，它将完美运行），DBConn 已连接到数据库，并且所有其他脚本都运行良好，除了这个。

我真的不知道是什么导致了这个警告。欢迎任何帮助。

谢谢

我需要在后台运行的 wget 上运行特定的 mysql 查询，完成下载文件。例如...

wget http://domain/file.zip

然后运行：

更新table集status= 'live' WHERE id= '1234'

我该怎么做呢？

相关：看这里

我有这个命令：

上面的命令可以正常工作，但是 PHP 会等待视频完成下载，然后再进行下一次下载。然而，下一行将下载发送到后台，这是我试图从上一行中实现的。

如何更改上面的第一行以将下载发送到后台？

我正在尝试使用 wget 下载 wiki 的静态镜像。我只想要每篇文章的最新版本（而不是完整的历史或版本之间的差异）。下载整个内容并稍后删除不必要的页面很容易，但这样做会花费太多时间并给服务器带来不必要的压力。

有许多页面我显然不需要，例如：

WhoIsDoingWhat?action=diff&date=1184177979

有没有办法告诉 wget 不要下载和递归包含 'action=diff' 的 URL？或者以其他方式排除与某些正则表达式匹配的 URL？

我的任务是从网站下载 Gbs 的数据。数据采用 .gz 文件的形式，每个文件大小为 45mb。

获取文件的简单方法是使用“wget -r -np -A files url”。这将以递归格式下载数据并镜像网站。下载速率非常高 4mb/sec。

但是，只是为了玩耍，我还使用 python 来构建我的 urlparser。

通过 Python 的 urlretrieve 下载速度非常慢，可能是 wget 的 4 倍。下载速率为 500kb/秒。我使用 HTMLParser 来解析 href 标签。

我不确定为什么会这样。有没有这方面的设置。

谢谢

当我通过终端使用“lynx”时，我相信它使用的是符号链接，但我的 Google 搜索未能告诉我如何确定符号路径值。

也就是说，我想确定“lynx”的符号链接值，以及其他一些值，例如 wget 等。

感谢您的任何见解和建议。

PS我在Mac机器上使用终端。

我正在为我们的软件编写基于 WiX 的安装程序。我需要下载一些重要的依赖项（如 Sql Server Express 2008），然后安装它们。

我可以只使用 wget，但是打开控制台以显示进度对于非技术人员来说可能会非常混乱。相反，我一直在寻找一个像 wget 一样工作的程序，但在一个非常简单的窗口中显示它的进度，其中包含文件名和进度。

如果我能显示一个很棒的小消息，但只有 GUI 进度才是主要的。

我什至会对一个几乎可以做到这一点的现有程序感兴趣，我可以重新编译它以添加我需要的任何东西。由于这是在安装程序中，它不能依赖于 .Net 或其他任何需要安装才能工作的东西。

有人知道这样的程序吗？