问题标签 [wget]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
10 回答
10620 浏览

php - 如何在 php 中创建站点并让它生成静态版本?

对于我拥有的特定项目,不允许使用服务器端代码。如何在 php 中创建网站(带有包含、条件等),然后将其转换为可以提供给客户的静态 html 网站?

更新:感谢所有建议 wget 的人。这就是我用的。我应该指定我在 PC 上,所以我从这里获取了 Windows 版本:http: //gnuwin32.sourceforge.net/packages/wget.htm

0 投票
7 回答
31355 浏览

scripting - 是否有一个 curl/wget 选项可以防止在 http 错误的情况下保存文件?

我想在脚本中下载很多 url,但我不想保存导致 HTTP 错误的那些。

据我从手册页中可以看出,既不提供curl也不wget提供此类功能。有人知道另一个下载者吗?

0 投票
5 回答
12405 浏览

wget - 连接到 https 页面时 wget 速度慢

我正在使用 wget 连接到这样的安全站点:

wget -nc -i inputFile

其中 inputeFile 由如下 URL 组成:

https://clientWebsite.com/TheirPageName.asp?orderValue=1.00&merchantID=36&programmeID=92&ref=foo&Ofaz=0

此页面返回一个小 gif 文件。出于某种原因,这大约需要 2.5 分钟。当我将相同的 URL 粘贴到浏览器中时,我会在几秒钟内得到响应。

有谁知道是什么原因造成的?

顺便说一下,wget的版本是“GNU Wget 1.9+cvs-stable(Red Hat修改)”

0 投票
3 回答
5438 浏览

html - 抓取多框架网站

我正在审核我们现有的 Web 应用程序,它大量使用HTML 框架。我想下载每一帧中的所有 HTML,有没有一种方法可以用wget或一些脚本来做到这一点?

0 投票
1 回答
3724 浏览

http - 如何让 Wget 处理 HTTP 100-Continue 响应?

我正在尝试使用Wget将 HTML(包含在文件中)发布到 URL,如下所示:

HTML 发布到的 URL 是使用 ASP.NET 实现的 Web 应用程序端点。服务器回复100(继续)响应,Wget 只是停止在其轨道上,而不是继续接下来应该遵循的真正响应。

是否可以以某种方式告诉 Wget 处理 100(继续)响应,或者这是该工具的一些众所周知的限制?

笔记:

  • 我注意到 Wget 从不发送Expect: 100-Continue标头,因此从技术上讲,服务器不应发出 100(继续)响应。

    更新: 根据 RFC 2616(超文本传输​​协议 -- HTTP/1.1)的第 8.2.3 节,看起来这是可能的:

    如果请求消息不包含具有“100-继续”期望的 Expect 请求头字段,则源服务器不应发送 100(继续)响应,并且如果此类请求来自HTTP/1.0(或更早版本)客户端。此规则有一个例外:为了与 RFC 2068 兼容,服务器可以发送 100(继续)状态以响应 HTTP/1.1 PUT 或 POST 请求,该请求不包含带有“100-继续”的期待。此异常的目的是最大限度地减少与未声明的等待 100(继续)状态相关的任何客户端处理延迟,仅适用于 HTTP/1.1 请求,不适用于具有任何其他 HTTP 版本值的请求。

  • cURL对这样的事务没有任何问题。它发送一个Expect: 100-Continue标头并继续对真实的 100(继续)响应。

有关更多信息,以下是来自上面显示的调用的事务的完整调试跟踪:

0 投票
16 回答
865031 浏览

shell - 使用 wget 递归获取包含任意文件的目录

我有一个 Web 目录,用于存储一些配置文件。我想使用 wget 将这些文件拉下来并保持它们当前的结构。例如,远程目录如下所示:

.vim 包含多个文件和目录。我想使用 wget 在客户端上复制它。似乎无法找到正确的 wget 标志组合来完成这项工作。有任何想法吗?

0 投票
5 回答
33142 浏览

http - 从 wget 解析 http 响应头

我试图从 wget 的结果中提取一行,但遇到了麻烦。这是我的 wget 调用:

输出:

如果我这样做:

它不会返回包含字符串的行。我只想检查站点或站点管理员是否已启动。

0 投票
4 回答
519 浏览

linux - 以编程方式登录论坛,然后截屏

我想登录到社区服务器的论坛部分(例如http://forums.timesnapper.com/login.aspx?ReturnUrl=/forums/default.aspx),然后下载特定页面并执行正则表达式(查看是否有任何帖子等待审核)。如果有,我想发一封电子邮件。

我想从 Linux 服务器执行此操作。

目前我知道如何下载一个页面(例如使用 wget),但在登录时遇到问题。有什么好主意吗?

0 投票
1 回答
8405 浏览

wget - “wget --domains”没有帮助..我做错了什么?

我正在尝试使用 wget 递归地仅从特定网站获取 .jpg 文件,以期为自己创建一个有趣的屏幕保护程序。真的没有那么远大的目标。

问题是图片托管在其他地方(mfrost.typepad.com),而不是网站的主域(www.cuteoverload.com)。

我曾尝试使用“-D”来指定允许的域,但遗憾的是没有可爱的 jpgs 即将出现。我怎样才能改变下面的行来完成这项工作?

谢谢。

0 投票
7 回答
576 浏览

ssh - 通过 wget 从 ssh 上的 bash 文件下载超过 100,000 个文件有多可靠?

我有一个 bash 文件,其中包含 wget 命令来下载超过 100,000 个文件,总计大约 20gb 的数据。

bash 文件类似于:

wget http://something.com/path/to/file.data

wget http://something.com/path/to/file2.data

wget http://something.com/path/to/file3.data

wget http://something.com/path/to/file4.data

这正好有 114,770 行。SSH 进入我有帐户的服务器并运行它有多可靠?我的 ssh 会话最终会超时吗?我是否必须一直被 ssh'ed?如果我的本地计算机崩溃/关闭怎么办?

另外,有人知道这需要多少资源吗?我想在共享服务器上这样做是不是很疯狂?

我知道这是一个奇怪的问题,只是想知道是否有人有任何想法。谢谢!