问题标签 [wget]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
php - 如何在 php 中创建站点并让它生成静态版本?
对于我拥有的特定项目,不允许使用服务器端代码。如何在 php 中创建网站(带有包含、条件等),然后将其转换为可以提供给客户的静态 html 网站?
更新:感谢所有建议 wget 的人。这就是我用的。我应该指定我在 PC 上,所以我从这里获取了 Windows 版本:http: //gnuwin32.sourceforge.net/packages/wget.htm。
scripting - 是否有一个 curl/wget 选项可以防止在 http 错误的情况下保存文件?
我想在脚本中下载很多 url,但我不想保存导致 HTTP 错误的那些。
据我从手册页中可以看出,既不提供curl
也不wget
提供此类功能。有人知道另一个下载者吗?
wget - 连接到 https 页面时 wget 速度慢
我正在使用 wget 连接到这样的安全站点:
wget -nc -i inputFile
其中 inputeFile 由如下 URL 组成:
此页面返回一个小 gif 文件。出于某种原因,这大约需要 2.5 分钟。当我将相同的 URL 粘贴到浏览器中时,我会在几秒钟内得到响应。
有谁知道是什么原因造成的?
顺便说一下,wget的版本是“GNU Wget 1.9+cvs-stable(Red Hat修改)”
http - 如何让 Wget 处理 HTTP 100-Continue 响应?
我正在尝试使用Wget将 HTML(包含在文件中)发布到 URL,如下所示:
HTML 发布到的 URL 是使用 ASP.NET 实现的 Web 应用程序端点。服务器回复100(继续)响应,Wget 只是停止在其轨道上,而不是继续接下来应该遵循的真正响应。
是否可以以某种方式告诉 Wget 处理 100(继续)响应,或者这是该工具的一些众所周知的限制?
笔记:
我注意到 Wget 从不发送
Expect: 100-Continue
标头,因此从技术上讲,服务器不应发出 100(继续)响应。更新: 根据 RFC 2616(超文本传输协议 -- HTTP/1.1)的第 8.2.3 节,看起来这是可能的:
如果请求消息不包含具有“100-继续”期望的 Expect 请求头字段,则源服务器不应发送 100(继续)响应,并且如果此类请求来自HTTP/1.0(或更早版本)客户端。此规则有一个例外:为了与 RFC 2068 兼容,服务器可以发送 100(继续)状态以响应 HTTP/1.1 PUT 或 POST 请求,该请求不包含带有“100-继续”的期待。此异常的目的是最大限度地减少与未声明的等待 100(继续)状态相关的任何客户端处理延迟,仅适用于 HTTP/1.1 请求,不适用于具有任何其他 HTTP 版本值的请求。
cURL对这样的事务没有任何问题。它发送一个
Expect: 100-Continue
标头并继续对真实的 100(继续)响应。
有关更多信息,以下是来自上面显示的调用的事务的完整调试跟踪:
shell - 使用 wget 递归获取包含任意文件的目录
我有一个 Web 目录,用于存储一些配置文件。我想使用 wget 将这些文件拉下来并保持它们当前的结构。例如,远程目录如下所示:
.vim 包含多个文件和目录。我想使用 wget 在客户端上复制它。似乎无法找到正确的 wget 标志组合来完成这项工作。有任何想法吗?
http - 从 wget 解析 http 响应头
我试图从 wget 的结果中提取一行,但遇到了麻烦。这是我的 wget 调用:
输出:
如果我这样做:
它不会返回包含字符串的行。我只想检查站点或站点管理员是否已启动。
linux - 以编程方式登录论坛,然后截屏
我想登录到社区服务器的论坛部分(例如http://forums.timesnapper.com/login.aspx?ReturnUrl=/forums/default.aspx),然后下载特定页面并执行正则表达式(查看是否有任何帖子等待审核)。如果有,我想发一封电子邮件。
我想从 Linux 服务器执行此操作。
目前我知道如何下载一个页面(例如使用 wget),但在登录时遇到问题。有什么好主意吗?
wget - “wget --domains”没有帮助..我做错了什么?
我正在尝试使用 wget 递归地仅从特定网站获取 .jpg 文件,以期为自己创建一个有趣的屏幕保护程序。真的没有那么远大的目标。
问题是图片托管在其他地方(mfrost.typepad.com),而不是网站的主域(www.cuteoverload.com)。
我曾尝试使用“-D”来指定允许的域,但遗憾的是没有可爱的 jpgs 即将出现。我怎样才能改变下面的行来完成这项工作?
谢谢。
ssh - 通过 wget 从 ssh 上的 bash 文件下载超过 100,000 个文件有多可靠?
我有一个 bash 文件,其中包含 wget 命令来下载超过 100,000 个文件,总计大约 20gb 的数据。
bash 文件类似于:
wget http://something.com/path/to/file.data
wget http://something.com/path/to/file2.data
wget http://something.com/path/to/file3.data
wget http://something.com/path/to/file4.data
这正好有 114,770 行。SSH 进入我有帐户的服务器并运行它有多可靠?我的 ssh 会话最终会超时吗?我是否必须一直被 ssh'ed?如果我的本地计算机崩溃/关闭怎么办?
另外,有人知道这需要多少资源吗?我想在共享服务器上这样做是不是很疯狂?
我知道这是一个奇怪的问题,只是想知道是否有人有任何想法。谢谢!