问题标签 [lwp]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
2063 浏览

perl - 在 Perl LWP::UserAgent 中抑制“Day too big”警告

我有一个相当简单的 perl 脚本,它使用 LWP::UserAgent 模块通过重定向跟踪 URL,以找到最终的目标 URL,然后将其存储在我们的 MySQL 数据库中。问题是脚本有时会报告如下所示的警告:

警告没有提供任何其他细节,说明为什么会发生这种情况或哪个模块导致问题,但我很确定它与 LWP::UserAgent 有关。

我正在使用以下代码初始化代理:

我在网上搜索,我发现的唯一结果是以下线程,该线程从未解决http://www.mail-archive.com/libwww@perl.org/msg06515.html。线程作者认为这些警告在某种程度上与 LWP::UserAgent 模块捕获的 cookie 日期有关。

该警告似乎不会影响脚本,但如果能帮助我更好地理解可能导致此问题的原因以及如何解决它或至少抑制警告消息的建议,我将不胜感激。在此先感谢您的帮助!

0 投票
3 回答
4238 浏览

perl - 如何在 LWP 中启用 IPv6 支持?

以下代码...

.. 将失败 ..

.. 如果 $url 中的主机名是仅 IPv6 地址(即:存在AAAA记录,但没有A记录)。

我的问题是:

  • 如何在 LWP 中启用 IPv6 支持?
  • 如何为“prefer-IPv4-over-IPv6”(Avs. AAAA)/“prefer-IPv6-over-IPv4”(AAAAvs. A)配置 LWP 的设置?
0 投票
4 回答
5393 浏览

perl - 为什么 Perl 的 LWP 给我的编码与原始网站不同?

可以说我有这个代码:

错误日志显示类似 "\xd7\x9c\xd7\x94\xd7\x93\xd7\xa4\xd7\xa1\xd7\x94" 我猜它是 utf-16 的内容?

该网站的编码是

那么为什么出现这些字符而不是 windows-1255 字符呢?

而且,另一个奇怪的事情是我有两台服务器:

第一个服务器返回 CP1255 字符,我可以简单地将其转换为 utf8,当前服务器给了我这些字符,我不能用它做任何事情......

apache/perl/module 中是否有任何配置文件弄乱了编码?强迫什么……?

我的网站在第二台服务器上的结果是 perl 文件和标题都是 utf8,所以当我编写不是英文字符的文本时,上面示例中的内容显示正常(即使它是奇怪的 utf 字符)但我自己的静态文本看起来像“×ס'××ר××:”

我测试的另一件事是......

通过 perl:

我得到 utf8 编码。

通过 Bash:

在这里我得到CP1255(Windows-1255)编码......

此外,当我在 bash 中运行脚本时 - 它提供 CP1255,当通过网络运行时 - 然后它又是 utf8 ......

通过将内容从 utf8 更改为应有的内容,然后返回 utf8 来解决问题:

0 投票
2 回答
1501 浏览

perl - 如何在不使用 :content_file 选项的情况下将响应作为文件处理?

示例代码:

我需要将内容作为文件打开,而无需事先将其保存到磁盘。你会怎么做?

0 投票
2 回答
8382 浏览

perl - 如何在不使用 Perl 和 LWP 获取页面的情况下获取最终 URL?

我正在使用 Perl 的 LWP进行一些网络抓取。我需要处理一组 URL,其中一些可能会重定向(1 次或多次)。

如何使用 HEAD 方法获得解决所有重定向的最终 URL?

0 投票
1 回答
852 浏览

perl - 如何使用 Term::ProgressBar 和 LWP::UserAgent 的 post 方法制作进度条?

如何为此脚本创建显示上传的进度条?:content_cb 让我们在图片上传后为响应创建进度条,那么我该如何为上传本身做呢?

0 投票
2 回答
1645 浏览

perl - 为什么我的 REST 请求返回垃圾数据?

我正在尝试使用 LWP::Simple 向 REST 服务发出 GET 请求。这是简单的代码:

在我的本地机器上,运行 Ubuntu 10.4 和 Perl 版本 5.10.1:

farhan@farhan-lnx:~$ perl --version
这是为 x86_64-linux-gnu-thread-multi 构建的 perl, v5.10.1 (*)

我可以得到正确的响应并将其打印在屏幕上。例如:

farhan@farhan-lnx:~$ head -10 output.txt
{
"total": 1000,
"page": 1,
"pagesize": 30,
"questions": [
{
"tags": [
"php",
"arrays ”,
“编码风格”
(......剪断......)

但是在我通过 SSH 连接到的主机上,我会在屏幕上打印出相同代码的垃圾。我假设它与编码有关,但是 REST 服务不会在响应中返回字符集类型,那么如何强制 LWP::Simple 使用正确的编码?有什么想法可能发生在这里吗?

这是我主机上的 Perl 版本:

[dredd]$ perl --version
这是为 x86_64-linux-gnu-thread-multi 构建的 perl,v5.8.8

0 投票
1 回答
17324 浏览

perl - perl Client-SSL-Warning: 对等证书未验证

我在使用 HTTPS 站点的 perl 屏幕截图时遇到问题。在调试中,我运行了以下命令:

在输出中,我有以下行:

有没有办法我可以自动接受这个证书,或者这不是问题吗?

输出:

更新:我添加了

如下所示。我还打开了调试:

这是我的输出:

我试图忽略失败,但问题是这是页面上现在唯一的东西,所以没有登录表单或任何东西。

0 投票
2 回答
327 浏览

html - 用 Perl 阅读 Web 2.0 HTML 源代码

是否可以阅读动态生成的 HTML Web 2.0 源代码?Perl LWP 及其 agent->response 不会拾取任何动态生成的 HTML 代码。

今天的许多网站都在生成动态 html。如果我以最优惠的价格购物,并且价格是动态获取和倾销的,那么我就倒闭了。

我们正在走向一个时代的终结吗?

0 投票
1 回答
706 浏览

perl - Inspecting SSL cert returned via LWP request

I'm requesting a web page using LWP in perl, and I'd like to be able to access the SSL certificate that the web server presents (I'm looking for an expiration date in the cert, among other things). The information I want isn't in the three headers that Crypt::SSLeay adds to the request. Is there a way that I'm overlooking with which I can get an object reference (ideally) for the SSL cert? I've scanned some perl docs and Google, but it's been a long week and I'm probably just not reading the right thing.

If I can avoid it, I don't want to directly fetch the certificate by making a separate raw SSL connection - since there's an authenticated web proxy in the way and LWP just makes that problem transparently dissapear for me. :) And it's silly to make two connections when the data I need is already being transferred to my machine /somewhere/...