问题标签 [wget]

它有什么作用？我读到它从 Stdin 下载东西，但你在哪里真正需要它？

结论

wget 从 some_program 获取作为标准输入的 url。输入将导致 wget 生成到 ./目录的输出。

上面的命令从 ./file 获取 url，并生成输出到当前目录。关键区别在于上述命令缺少 - 符号。

我需要将文件下载到 /tmp/cron_test/。我的 wget 代码是

那么是否有一些参数来指定目录？

我在 python 中使用 curl、php 和 httplib2 来获取 URL。

但是，有些页面在加载页面后使用 JavaScript (AJAX) 检索数据，然后它们只是覆盖页面的特定部分。

那么，是否有任何可以处理 JavaScript 的命令行实用程序？

要知道我的意思，请访问：monster.com 并尝试寻找工作。

您将看到 Ajax 正在获取作业列表。所以，如果我想根据我的关键字搜索来获取工作，我会得到没有工作的页面。

但是通过浏览器它可以工作。

我知道这很简单..我只是错过了一些东西..我放弃了！

我使用了不同的代理服务器..无济于事..我得到了一些默认页面..在 /etc/wgetrc use_proxy = on

实际上我正在尝试将此设置（http_proxy）与python的urllib2一起使用。它也访问一些默认页面..

strace - 对代理服务器进行 dns 查找 GET http://slashdot.org/ HTTP/1.0\r\nUser-Agent: Wget/1.11.4\r\nAccept: / \r\nHost: slashdot.org\r \n\r\n

任何指针？

我的主机允许有限访问 SSH 和 Linux 命令。但是，我不能使用Wget信不信由你。

我希望能从另一台服务器下载文件（.flv）。我可以尝试另一个命令吗？

如果没有，我可能会使用 Python、Perl 或 PHP（最喜欢的）来实现文件下载。可能吗？

尝试镜像本地 Intranet 站点并使用“wget”找到以前的问题。它适用于匿名站点，但我无法将它用于需要用户名\密码（具有集成 Windows 身份验证的 IIS）的站点。

这是我传入的内容：

wget -c --http-user='domain\user' --http-password=pwd http://local/site -dv

这是调试输出（注意我显然用虚拟值替换了一些）：

当出现 404 之类的错误时，是否可以阻止 Wget 生成输出文件。

当我跑

wget -O my.html http://sdfsdfdsf.sdfds

http://sdfsdfdsf.sdfds不存在，但 Wget 仍然创建 my.html

我正在制作一个 bash 脚本，并希望确保它在 wget 无法获取有效文件时停止。

我正在尝试使用 curl 下载以下格式的一系列文件：

http://example.com/001.jpg

..

http://example.com/999.jpg

所以我使用了这个命令：

时间卷曲 " http://example.com/[0-9][0-9][0-9].jpg " -o "#1#2#3.gif"

但是有些文件不存在，该命令将在我端创建文件，但实际上它只会包含错误页面。

我需要一种方法让 curl 在下载之前检查它是否存在于远程服务器上。

我知道 wget 可以做到，但 wget 似乎需要大约 5 倍的时间才能运行。我在 wget 中尝试过的命令是这样的：

时间 wget http://example.com/ {0..9}{0..9}{0..9}.jpg

我在我的应用程序中需要老的 egrep 和 wget 给我的羽毛，但我不能将它们作为单独的进程执行我需要它们作为我的应用程序中的嵌入式函数有什么办法吗？跨平台和 C++

我正在寻找一种解决方案来自动从 stockcharts.com 下载图表。

如果您单击以下 URL，股票图表将自动生成一个图像文件 (sc.png)。请注意，唯一不同的是末尾的股票代码。

我想每天将这些图表下载到我电脑上的文件夹中。

http://stockcharts.com/h-sc/ui?p=D&b=5&g=0&id=p96079191618&a=173667279&s=ELR.TO http://stockcharts.com/h-sc/ui?p=D&b=5&g=0&id =p96079191618&a=173667279&s=GOOG http://stockcharts.com/h-sc/ui?p=D&b=5&g=0&id=p96079191618&a=173667279&s=AAPL http://stockcharts.com/h-sc/ui?p=D&b =5&g=0&id=p96079191618&a=173667279&s=KFN

我猜可能使用 wget、curl 或 perl。

提前致谢