问题标签 [lwp-useragent]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
8 回答
30395 浏览

perl - HTTPS 代理和 LWP::UserAgent

我已经阅读了许多网站上的许多主题,但仍然无法完成这项工作。

我有一台运行 perl 5.12.4 的 OpenSSL 0.9.8r 客户端机器(OSX),使用 LWP 6.0.4,更新了 Crypt::SSLeay,Net::SSL 等。我正在尝试连接到 HTTPS 站点(https:// /github.com在示例中)通过我在 Windows VM 上运行的 WinGate 代理。请注意,我的实际应用程序附加到我无法控制的 SSL Web 服务。

从 Firefox,指向代理一切都是 copacci。页面加载成功,我在代理软件活动监视器中看到了连接。如果我可以让它在 Perl 中工作,我会被诅咒的。我从这个堆栈溢出问题的代码开始:如何强制 LWP 使用 Crypt::SSLeay 进行 HTTPS 请求?并添加了一些调试和附加输出。这是我现在的立场:

这是此代码的输出:

如果我然后取消注释$ENV{PERL_LWP_SSL_VERIFY_HOSTNAME} = 0;,我确实在代理上看到了一个到 github.com:443 的连接,然后什么也没有。(请注意,它通过代理在 Web 浏览器中运行良好)。在挂了很多之后,我从脚本中得到以下输出:

如果有人可以在这里提供一些指导,我将不胜感激!

0 投票
1 回答
1437 浏览

perl - 通过 LWP 登录 Way2sms 失败

我正在尝试通过 LWP登录Way2sms 。该页面的源代码说登录表单(在这种情况下,它似乎是正文中所有内容的根节点)有一个 action 属性'',我在其他一些 Stackoverflow 帖子中读到,指向的 URL包含该表单的页面。移动和密码字段的name属性可从源代码中获得,所以我尝试了这个:

使用正确的电话号码和密码,提交应该返回一个个性化页面,其中包含一条消息,例如Welcome, Kaustav Mukherjee。所以很自然,我希望代码打印出 5。但是,虽然打印出Logged表示成功,但没有打印出 5,表明登录失败。怎么做?(请不要建议使用Mechanize!)

0 投票
8 回答
4427 浏览

perl - 在 Perl 中通过 Way2sms 自动发送短信

我正在尝试使用 Perl LWP 通过 Way2sms 发送短信。登录部分成功,之后我将 cookie 保存到本地文件。登录后的欢迎页面显示一个发送短信链接,单击哪个链接将重定向到另一个页面,其中包含手机号码和短信文本的两个输入以及一个用于提交和发送短信的按钮。Firebug 显示了如图所示的页面结构。根据 Iframe url 和表单的action属性,我构造了表单操作的绝对 URL,并相应地提交表单,并将 cookie 存储在文件中。但是,没有发送短信。我在这里做错了什么?代码如下。(name两个文本输入的属性是正确的,通过观察 Firebug 中的源代码得到,虽然那'

在此处输入图像描述

0 投票
4 回答
1935 浏览

perl - Perl LWP::UserAgent 针对给定服务器随机挂起 120 秒

我注意到使用给定的 https 网站处理response_dataresponse_done事件之间大约有 120 秒的延迟。WWW::Mechanize我使用普通的网络浏览器进行了检查,并没有遇到这种缓慢的情况,所以我怀疑我必须做错什么。

这是我为追踪事件所做的(由于某种原因use LWP::Debug qw(+)没有做任何事情):

这是跟踪的摘录(URL 和 cookie 被混淆了):

在“Got response data chunk”和“BEGIN HTTP RESPONSE”消息期间,您可以看到 121.5 秒的间隔。LWP::UserAgent我有一种在收到全部数据后有时会挂起两分钟的感觉。

你有什么线索可以从哪里来吗?

编辑这里是 Wireshark 中的屏幕截图:我在 120 秒后收到 FIN/ACK 消息……</p>

Wireshark 摘录

谢谢

0 投票
3 回答
2664 浏览

perl - LWP::UserAgent 设置请求 url 的 ip,因此 LWP 不必进行 dns 查找

我正在使用LWP::UserAgent请求大量页面内容。我已经知道我请求的 url 的 ip,所以我希望能够指定托管我请求的 url 的 ip 地址,这样 LWP 就不必花时间进行 dns 查找。我浏览了文档,但没有找到任何解决方案。有谁知道这样做的方法?谢谢!

0 投票
3 回答
17067 浏览

perl - 将 LWP 与 SSL 和客户端证书一起使用

我正在将应用程序从 PHP/cURL 移植到 Perl 和 LWP::UserAgent。我需要向 Web 服务器发出 POST 请求并提供客户端证书和密钥文件。我试图复制的 PHP 代码是这样的:

这是我的 Perl 代码:

PHP 代码成功连接到服务器,但 Perl 代码失败:

SSL 读取错误错误:14094410:SSL 例程:SSL3_READ_BYTES:sslv3 警报握手失败

我无法弄清楚我错过了什么。

0 投票
4 回答
1622 浏览

perl - LWP::UserAgent 是否进行任何缓存

我正在尝试在 Perl 中编写一个监视脚本,它应该检查 URL 列表。我正在使用LWP::UserAgent,HTTP::ResponseTime::HiRes模块。

这是我的代码:

在没有 while 循环的情况下手动运行脚本,我平均得到大约 70 毫秒的响应时间,但是有了 while 循环,我得到了大约 5 毫秒的响应时间,这是不真实的。

是否LWP::UserAgent进行任何缓存?如果是,是否可以禁用它以及如何禁用它?如果不是我做错了什么?

0 投票
2 回答
1622 浏览

perl - 使用 LWP::UserAgent 检索 ISO-8859-1 编码网站的正确方法?

我正在使用带有以下代码的“LWP::UserAgent”检索“ISO-8859-1”编码的网站。

问题是特殊字符显示不正确,尤其是“€”符号显示错误。

内容编码被识别为“ISO-8859-1”,这是正确的。

为了显示检索到的文本,我将它保存到一个文件中并使用 Notepag++ 打开它。

问题:如何以正确的方式检索“ISO-8859-1”编码的特殊字符?

0 投票
1 回答
202 浏览

perl - 如何配置 LWPx::ParanoidAgent 以使用 /etc/hosts

最近我从使用 LWP::UserAgent 切换到 LWPx::ParanoidAgent 来获取第 3 方提供的 URL。

一切都很好,除了有时需要在 /etc/hosts 中查找来解析域。LWP::UserAgent 会自动执行此操作,但 LWPx::ParanoidAgent 只查询真实的 DNS 服务器。

如何配置 LWPx::ParanoidAgent 来搜索 /etc/hosts 呢?

更新:该模块让我设置一个 DNS 解析器(Net::DNS::Resolver)。有没有办法让 DNS 解析器也可以查看 /etc/hosts ?

0 投票
1 回答
1714 浏览

php - php curl url ip地址绑定

我正在使用 LWP::UserAgent::DNS::Hosts 将一些 perl 代码转换为 php。

perl 代码所做的是针对负载平衡池中的多个单独的服务器进行页面加载时间测量。由于服务器使用基于名称的虚拟主机,perl 代码使用这一行将 url/hostname 更改为 ip 绑定:

我知道我可以使用原始套接字操作来做到这一点,但我希望我可以使用 cURL 或 PHP 中的其他类库来做到这一点。perl 代码实际上在一个循环中重复了这一点,其中有几个不同的 IP 用于相同的 url(每个 ip 是一个特定的服务器),以单独测试服务器。

谢谢-