python - 有没有办法捕获网站使用 python 进行的网络调用？

Question

我查看了 urllib(2)、mechanize 和 Beautiful Soup，希望能找到一些可以捕获网络调用的东西，例如页面中的像素/信标触发。不幸的是，我对其中任何一个都不是很熟悉，也不太清楚如何进行搜索。

我想使用 python 来运行一系列网络 url，并捕获每个网络调用，也就是像素火灾。有人知道我可以从什么方法或图书馆开始来完成这个吗？

调查了 webscrapping，但我不想要 html，相反我相信我正在寻找网站发出的 GET 请求。

Answer 1

如果我了解您想要什么，您想记录浏览器在显示页面时针对许多页面发出的请求。

您的选择是使用 python 编写浏览器脚本（请参阅：http ://wiki.python.org/moin/WebBrowserProgramming ），或使用 javascript 编写浏览器脚本，并以某种方式输出您的结果（我建议 JSON，通过请求或到一个文件），并在 python 中分析它们。

老实说，您可能会发现用 javascript 编写脚本更容易。

Answer 2

如果您可以访问 Firefox 网络浏览器，另一种可能性是安装Firebug，这是一个强大的调试工具，可让您选择在浏览器控制台中显示来自网页的所有网络流量。为了将控制台的输出传输到文件，您需要为 Firebug 安装ConsoleExport插件。

您现在将能够将所有流量从网页捕获到一个文件，然后您可以使用 Python 解析该文件。