问题标签 [lwp-useragent]

我查找了有关使用 LWP 的文章，但我仍然迷路了！在这个网站上，我们找到了许多学校的名单；查看概述页面并点击一些链接并获得一些结果页面：

我想使用 LWP::UserAgent 解析站点并进行解析：想要使用 HTML::TreeBuilder::XPath 或 HTML::TokeParser

目前我正在考虑选择正确的获取请求！我对 LWP::Useragent 有一些问题。可以通过直接链接访问概览的子站点。但是-注意：每个站点都有内容。例如，上述结果页面的以下 URL。

作为新手，我无法通过发布完整 URL 向您展示不同结尾的结尾，但在这里您可以看到结尾：

URL 末尾有许多不同的 URL。问题是：我如何运行 LWP::UserAgent？我想要获取和解析 & ** 所有 - 1000 个站点。**

问题; LWP 会自动完成这项工作吗！？还是我必须设置 LWP :: UserAgent 它会自动查找不同的 URL...

解决方案：也许我们必须从零数到 10000

extern_eid=709 -（从零计数到 100000）这里

www-db.sn.schule.de/index.php?id=21&extern_eid=709

顺便说一句：这里是 LWP 用户代理的数据；

请求方法 本节中描述的方法用于通过用户代理发送请求。提供以下请求方法：

$ua->get( $url ) $ua->get( $url , $field_name => $value, ... )

此方法将在给定的 $url 上发送一个 GET 请求。可以提供更多参数来初始化请求的标头。这些以单独的名称/值对的形式给出。返回值是一个响应对象。有关它提供的接口的描述，请参阅 HTTP::Response。当 LWP 无法连接到 URL 中指定的服务器或协议处理程序发生其他故障时，仍然会返回一个响应对象。

问题是：如何以正确的方式在上述站点上使用 LWP::UserAgent - 有效！？

我期待着任何和所有的帮助！

我有一个正在运行的 LWP::UserAgent 应该应用于以下 URL：

这与许多类似的目标一起运行，看到以下结局：

我想通过使用 LWP::UserAgent 来做到这一点：

无论如何，使用这样的循环来完成这种工作是一种方法。我猜 LWP 的 API 并不是要取代核心 Perl 的功能，我可以使用 Perl 循环来查询多个 URL。

由于必须应用循环而无法运行的代码：

10 月 25 日星期日更新：我已经应用了 OmnipotentEntity 的建议。

我想遍历结果，因此我尝试应用相应的 URL，但出现了一堆错误：

现在是调试部分。我要改变什么？如何以正确的方式应用 URL？

当我使用严格时，我不允许在声明变量之前使用它。通常的解决方法是在它的第一次出现时添加my, 例如my $urland my $pagecontent。

这里需要在循环中构建的代码 - 使 USER-Agent 迭代一堆目标。

这是迭代的正确方法吗？我喜欢收到您的来信……以获得一个起点……

我们有 10,000 个博客，我们希望每天多次查看新帖子。我喜欢一些关于使用 Perl 最有效的方法的示例代码的想法。

目前，我们只是使用LWP::UserAgent下载每个 RSS 提要，然后将生成的提要中的每个 URL 与已找到的 URL 的 MySQL 数据库表逐个检查一个。不用说，这不能很好地扩展并且效率非常低。

提前感谢您的帮助和建议！

我可以很好地抓取第一张图片，但是内容似乎在其内部循环。不知道我做错了什么。

我希望在 Perl 问题上得到一些帮助。

我需要下载一个作为查询结果的 XML 文件，解析结果，从 XML 文件中获取下一个链接，下载并重复。

我已经能够很好地下载和解析第一个结果集。

我抓住了下一个 URL，但似乎返回的结果永远不会改变。即：第二次通过循环，$res->content和第一次一样。$url因此，第一次下载后 的值永远不会改变。

我怀疑这是一个范围问题，但我似乎无法解决这个问题。

我在通过 Perl 从表单中获取结果时遇到了一些困难。我相信我已经成功找到表单并将我想要的值提交到相应的字段，但不确定如何将响应对象变成有用的东西（如果我打印出来，它会显示如下）。

HTTP::Request=HASH(0x895b8ac)

这是相关代码（假设 $url 是正确的）

我该怎么做才能使 $ro 有用？

谢谢！

要从某个网站获得响应，我必须给出一个确切的请求字符串 HTTP/1.1。我尝试了那个telnet，它给了我想要的响应（重定向，但我需要它）。

但是，当我尝试向 提供相同的请求字符串时HTTP::Request->parse()，我只会收到消息400 URL must be absolute。

我不确定是网站还是LWP给了我，因为正如我所说，响应与telnet.

这是代码：

任何人都可以在这里帮助我吗？

我有一个关于在LWP::UserAgent. 在继续脚本的其余部分之前，它是否等待文件完成下载？（所以如果我有一个 for 循环，比如 10 个 url，它会尝试一次下载所有 10 个吗？还是会下载第一个，然后等到完成，然后下载下一个等？）我问是因为我我正在下载许多文件，我不想让服务器超载，我很好奇我是否应该暂停一下。

如果它不等待，是否有一种快速的方法来确定文件是否已完成下载，而​​不是选择任意时间长度sleep？

提前致谢。

我想动态构建一组表单参数以在 HTTP POST 中使用，但我不确定如何访问/构建 LWP::UserAgent 动态使用的数据结构。

典型示例代码将此结构作为请求传递。

我有一组存储在散列中的参数名称和值，我想从我的散列数据中构建方括号中的结构。那是什么结构，我怎样才能做我想做的事？（如您所知，我不是 perl 专家！）