我想使用 urllib 库从特定网页中检索数据。问题是为了打开这个页面，一些数据应该先发送到服务器。如果我使用 IE 执行此操作，我需要先更新一些复选框，然后按“显示数据”按钮，这会打开所需的页面。查看源代码，我看到按下“显示数据”会提交某种形式 - 那里没有特定的 url 地址。我无法通过查看代码来弄清楚哪些参数被发送到服务器......我认为可能更简单的方法是在按下“显示数据”按钮后分析 IE 和网络服务器之间的通信。如果我能清楚地看到 IE 做了什么，我可以用 urllib 来模仿它。
最简单的方法是什么？
HTML 调试代理将是在这种情况下使用的最佳工具。当您使用 IE 时，我推荐Fiddler，因为它由 Microsoft 开发并通过插件自动与 Internet Explorer 集成。我个人一直在使用 Fiddler，它是一个非常有用的工具，因为我正在构建一个模仿用户浏览网站会话的应用程序。Fiddler 对请求参数、响应的调试非常好，甚至可以解码加密的数据包。
您可以使用Web 调试代理（例如Fiddler、Charles）或浏览器插件（例如HttpFox、TamperData）或数据包嗅探器（例如Wireshark）。