parsing - 捕获和分析流量

Question

有几个网站对我来说有重要数据，但没有 API 函数来检索这些数据。我想获得这些信息，而且我想创建自己的 API。

第一个问题是这些网站将数据存储在其登录页面后面，因此我必须先进入那里才能检索这些数据。

值得一提的是，网站使用 JS 来检索数据并发送回查询，并且还有 SSL 协议，因此所有流量都是加密的。

我的想法是

1. 使用 Wireshark 捕获流量。
2. 破译它。
3. 仔细看包装。
4. 这是问题所在。有没有可以重建TCP会话的工具？

最后。我是否可以创建某种 API 来伪造 TCP 会话，并且 Web 服务器会将此会话识别为与真实浏览器的会话，或者这是不可能的？我读过硒，但它需要太多的系统资源。

Answer 1

从浏览器开发人员工具中读取数据更容易。它们允许您查看完整的请求数据和响应。

那么，要模拟一个浏览器，你只需要发送一个类似的请求，使用相同的cookies和用户代理，和真正的浏览器没有区别。

在现代浏览器（例如 Firefox 或 Chrome）中，您可以转到开发人员工具上的网络选项卡并将请求导出为curl命令，以便稍后从命令行发送相同的请求。