3

在我可以访问的某些网站中,有一些输入字段。在第六个字段中,我需要从 10000 个字符串列表中输入一些输入字符串,然后出现一个新页面,我只需要计算行数。最后,我想获得一个包含两列的表格,例如输入字符串和结果行数。由于我必须手动输入所有不同的 10000 个字符串的信息,因此我想知道将字符串输入通用公式字段并获取结果文本的最佳方法是什么。我听说过 curl 但我不确定这是否是最简单的。

PS交互方式示例:我在谷歌搜索中输入一些字符串o单词,然后我得到一个带有搜索结果的新页面。之前我已经介绍了我的 google 用户名和密码,所以结果可能会根据我的个人资料进行过滤。

非交互方式示例:脚本以某种方式介绍我的用户信息、搜索查询并将搜索结果保存到某个文本文件中。想象一下同样的想法,但对于这样一个更复杂的网站

4

2 回答 2

2

您要做的是发送带有特定数据的 HTTP POST。这可以使用任何适当的 HTTP 客户端代码来完成,其中之一就是libcurl(或pycurl绑定,甚至使用curl命令行工具)。在帖子的响应中,您可能会得到一个重定向,然后是结果,或者您需要对结果进行单独的请求,然后您就完成了并返回执行下一个 POST。重复直到所有 POST 完成。

您可能需要考虑的是,您可能必须处理 cookie 并可能遵循来自 POST 的重定向。一个好的方法是像使用浏览器一样记录“手动会话”(使用 firebug 或 LiveHTTPHeaders 等),然后使用该记录来帮助您使用 HTTP 客户端重复相同的操作。

可以在此处找到有关此类工作的一些启动细节的体面教程:http: //curl.haxx.se/docs/httpscripting.html

于 2011-06-27T17:54:11.817 回答
0

您还可以使用JMeter运行所有帖子。您可以使用 CSV 输入来设置 10000 个字符串。然后将结果保存为 xml 并提取必要的数据。

于 2011-07-01T17:24:22.113 回答