问题标签 [lwp]

我正在用 Perl/LWP 构建一个网络爬虫。网络爬虫如何跟踪 ASP.NET 网格中的链接，如下所示：

我想编写一个脚本来登录 Web 应用程序，然后移动到应用程序的其他部分：

当我尝试此代码时，我无法登录应用程序。返回的 HTTP 状态码是 302，已找到，但没有数据。

如果我使用所有必需的内容发布用户名/密码，那么它应该返回应用程序的主页并保持连接活动以移动应用程序的其他部分。

我正在使用 Perl 在 Web 上获取一些页面，LWP::UserAgent并希望尽可能有礼貌。默认情况下，LWP::UserAgent不会通过 gzip 无缝处理压缩内容。有没有一种简单的方法可以做到这一点，为每个人节省一些带宽？

我正在使用WWW::Mechanize进行一些标准的网站遍历，但有一次我必须构建一个特殊的 POST 请求并将其发送出去。所有这些都需要会话 cookie。

在我发出的 POST 请求中，空格被编码为 + 符号，但我需要将它们编码为 %20。

我不知道如何改变这种行为。我意识到它们是等价的，但出于我无法控制的原因，这是我必须做的。

谢谢你的帮助。

I need to perform a large number of HTTP post requests, and ignore the response. I am currently doing this using LWP::UserAgent. It seems to run somewhat slow though I am not sure if it is waiting for a response or what, is there anyway to speed it up and possibly just ignore the responses?

使用 perl 模块LWP::Simple时，是否有一种简单的方法来确定单个 getstore() 调用下载的速度和数量？这对于观察大文件下载的状态很有用。

在我的脑海中，一种方法是：

1. 存储当前时间（time0）
2. 在新进程中运行 getstore
3. 轮询已知的目标文件
   • 下载量将是当前文件大小（大小）
   • 下载速度将（大小/ current_time - time0）

我想知道是否有更简单的方法。

欢迎提供替代建议（也许我应该使用不同的模块？）

我正在尝试访问受保护的文件。服务器正在使用摘要式身份验证 - 我可以从打印出的响应中看到。这是示例代码：

当我尝试从浏览器访问该资源时，我从弹出窗口中获得的领域名称。相同的用户名和密码在浏览器中工作得非常好，我可以看到内容，但是当我运行上面的脚本时，它总是说401 Authorization required。

LWP 是如何工作的？

我是否需要要求 LWP 发送用户名和密码的 MD5 哈希（摘要），或者它是否像内部一样检查要使用的身份验证并发送相应的（基本/摘要）发送凭据的方式。我的问题是

1. 如何设置 LWP 以便它发送用户名和密码的摘要？
2. 如果服务器使用 Windows NTLM 身份验证协议怎么办？遇到这种情况我该怎么办？

任何快速帮助都非常感谢！

我发现来自的返回LWP::UserAgent->request()包含 HTTP 响应的标头和正文。我只需要响应的主体来做一些解析，那我该怎么做呢？

这是我在 SO 上的第一篇文章，所以要温柔。我什至不确定这是否属于这里，但这里是。

我想访问我的一个个人帐户的一些信息。该网站写得不好，需要我手动输入我想要的信息的日期。这真是一种痛苦。我一直在寻找学习更多 Perl 的借口，所以我认为这将是一个很好的机会。我的计划是编写一个 Perl 脚本来登录我的帐户并为我查询信息。但是，我很快就陷入了困境。

生成的网页基本上说我的网络浏览器不受支持。我尝试了许多不同的值

但似乎没什么用。Google-ing around 建议了这种方法，但它也说 perl 是出于恶意原因在网站上使用的。网站会阻止这种方法吗？我想要做的甚至可能吗？有没有更合适的语言？我正在尝试做的事情是合法的还是一个好主意？也许我应该放弃我的努力。

请注意，为防止泄露任何私人信息，我在这里编写的代码并不是我使用的确切代码。不过，我希望这很明显。

编辑：在 FireFox 中，我禁用了 JavaScript 和 CSS。我登录得很好，没有“不兼容的浏览器”错误。这似乎不是 JavaScript 问题。

我已经使用 LWP 功能来处理此处描述的 gzip 编码内容，但在某些情况下，至少对于我测试过的一个网站，我随机得到了意想不到的结果：$response->decoded_content可能变得未定义，但$response->content仍返回原始 gzip 编码响应。即使没有内部字符集解码 ( decoded_content(charset => 'none')) 也尝试过，结果相同。