17

当我最近发现这篇论文描述了iOS使用 Apple 的NEPacketTunnelProvider扩展的嗅探机制时，我很好奇，它让我想从技术角度理解它。由于我通常不在这样的深层网络层工作，因此我无法详细理解它。由于iOS 版Charles Proxy必须在不需要受监督设备的情况下做一些非常类似的事情，我认为作者在 2016 年提出的方法现在可能仍然有效。

作者声称“像 IP 数据包解析、构建 IP 数据包或解析 DNS 响应等一切都必须自己实现。” 因为我想完全理解这一点，所以我尝试自己构建它。我NetworkExtension为. packetFlow_ NEPacketTunnelProvider我能够获取 ip 数据报并尝试解析它们。我为源和目标ip、传输协议和ip版本使用了相应大小的无符号整数，但我不确定如何处理payload。我的解析器使用ptr.load(fromByteOffset: <offset>, as:<DataType>.self)where ptris aUnsafeRawPointer来访问数据包流信息。由于data可能超出 的存储UInt64，我不知道如何以正确的方式访问和存储有效负载。

此外，我认为源 IP 始终是192.168.20.1（设置为我的接口的NEIPv4Settings地址），而我的目标 IP 始终是192.168.2.1（我的虚拟NEDNSSettings服务器）。这引出了我的第一个问题：这些是 DNS 查询吗？数据报包会要求有关实际目标的任何进一步信息吗？这是否意味着我必须以某种方式执行对 DNS 服务器的请求并将数据包重新路由到我将从该 DNS 查询中获得的目标？

下一步将是实现 TCP / UDP 处理，对吧？我目前的解析方法能够区分UDP,TCP和ICMP（尽管我还没有研究过最后一个）。因此，我将遍历数据报并查找它们是否需要UPD会话TCP/连接并传输数据报。我目前从概念的角度看到的问题：我如何知道哪个源/目标端口用于 TCP/UPD 连接/会话？据我所知，这些信息不是 IP 数据包本身的一部分（因为它是我们需要的传输层级别的一些信息，而不是网络层级别的信息）。

此外，我在 github 上找到了一个名为Specht的项目。它使用了一个名为NEKit的自写库，不知何故也使用了这种NEPacketTunnelProvider方法。当我正确理解他们的方法时，他们设法通过编写一些观察者机制来构建本地代理服务器以处理请求，但由于我对网络和 swift 比较陌生，我不确定我是否完全理解正确还是我只是没有找到所有那些 TCP/UDP 和/或 DNS 逻辑。这个项目可以与论文和查尔斯代理的方法相媲美吗？

最后一个问题：Charles 代理在大多数情况下能够显示目标的主机名。我目前只能看到目标 IP 地址（不是真正的目标 IP 地址，而是我的 DNS 服务器的地址）。我如何能够将主机名视为人类可读的文本？查尔斯会以nslookup某种方式进行吗？Charles 是否从数据报中获取这些信息？

我知道我很有野心，因为我在这个主题上缺少很多知识，为了测试原因构建类似的东西，但我仍然有动力去更深入地研究这个主题，并且感觉我已经理解了一些关键点，但是不幸的是，还不足以解决这个难题……也许您可以给我更多提示以更好地理解。如果可能有更简单的方法来存档类似的行为（查看主机名级别的传出连接），我也会对这些感兴趣:-)

4

1 回答 1

2

我已经使用 NEPacketTunnelProvider 和网络扩展发布了一个Beta Proxyman iOS（网站） - 一个网络嗅探器，所以我可能有经验回答你的一些问题。

IP包，IP图，DNS，如何解析？

幸运的是，还有另一种方法可以设置 NEPacketTunnelProvider 来为您提供 HTTP 消息，而不是 IP 包（它太低级了，您必须处理 Parser、DNS ......）

HTTP 消息更容易解析，因为有很多可靠的库（例如来自 nodeJS的 http-parser ）

  1. 如何在 iOS 上构建网络嗅探器？

这是一个复杂的问题，我会把它分成小块：

中间人/代理服务器

首先，您需要一个可以工作的 MitM 代理服务器，它能够代理和拦截 HTTP/HTTPS 流量。您可以使用SwiftNIO或CocoaAsyncSocket来实现它。

它是如何工作的？

通常，数据流可能如下所示：

Internet -> iPhone -> 您的网络扩展 (VPN) -> 转发到您的本地代理服务器（在网络扩展中）-> Mitm/代理服务器开始拦截或监控流量 -> 保存到本地数据库（在共享容器中组）-> 再次转发到目标服务器。

在主应用程序中，您可以通过读取本地数据库来接收数据。

我们需要本地数据库的原因是网络扩展和主应用程序是两个不同的进程，因此它们不能像普通应用程序那样直接通信。

给我看代码？

在 Network 扩展中，让我们在 Host:Port 启动一个代理服务器，然后初始化 NetworkSetting，如示例：

    private func initTunnelSettings(proxyHost: String, proxyPort: Int) -> NEPacketTunnelNetworkSettings {
    let settings: NEPacketTunnelNetworkSettings = NEPacketTunnelNetworkSettings(tunnelRemoteAddress: "127.0.0.1")

    /* proxy settings */
    let proxySettings: NEProxySettings = NEProxySettings()
    proxySettings.httpServer = NEProxyServer(
        address: proxyHost,
        port: proxyPort
    )
    proxySettings.httpsServer = NEProxyServer(
        address: proxyHost,
        port: proxyPort
    )
    proxySettings.autoProxyConfigurationEnabled = false
    proxySettings.httpEnabled = true
    proxySettings.httpsEnabled = true
    proxySettings.excludeSimpleHostnames = true
    proxySettings.exceptionList = [
        "192.168.0.0/16",
        "10.0.0.0/8",
        "172.16.0.0/12",
        "127.0.0.1",
        "localhost",
        "*.local"
    ]
    settings.proxySettings = proxySettings

    /* ipv4 settings */
    let ipv4Settings: NEIPv4Settings = NEIPv4Settings(
        addresses: [settings.tunnelRemoteAddress],
        subnetMasks: ["255.255.255.255"]
    )
    ipv4Settings.includedRoutes = [NEIPv4Route.default()]
    ipv4Settings.excludedRoutes = [
        NEIPv4Route(destinationAddress: "192.168.0.0", subnetMask: "255.255.0.0"),
        NEIPv4Route(destinationAddress: "10.0.0.0", subnetMask: "255.0.0.0"),
        NEIPv4Route(destinationAddress: "172.16.0.0", subnetMask: "255.240.0.0")
    ]
    settings.ipv4Settings = ipv4Settings

    /* MTU */
    settings.mtu = 1500

    return settings
}

然后启动VPN，

let networkSettings = initTunnelSettings(proxyHost: ip, proxyPort: port)

// Start
setTunnelNetworkSettings(networkSettings) { // Handle success }

然后将包转发到您的本地代理服务器：

let endpoint = NWHostEndpoint(hostname: proxyIP, port: proxyPort)
self.connection = self.createTCPConnection(to: endpoint, enableTLS: false, tlsParameters: nil, delegate: nil)

    packetFlow.readPackets {[weak self] (packets, protocols) in
        guard let strongSelf = self else { return }
        for packet in packets {
            strongSelf.connection.write(packet, completionHandler: { (error) in
            })
        }

        // Repeat
        strongSelf.readPackets()
    }

从那里，您的本地服务器可以接收包然后转发到目标服务器。

不要忘记将所有流量日志保存到本地数据库，然后通知主应用重新加载它。

最后一个问题：Charles 代理在大多数情况下能够显示目标的主机名。我目前只能看到目标 IP 地址（不是真正的目标 IP 地址，而是我的 DNS 服务器的地址）。我如何能够将主机名视为人类可读的文本？查尔斯会以某种方式进行 nslookup 吗？Charles 是否从数据报中获取这些信息？

由于我们不处理 IP Package，因此我们不需要实现 DNS Resolver。如果你需要一个 DNS，你可以像下面的代码一样配置：

        let dnsSettings = NEDNSSettings(servers: ["8.8.8.8", "1.1.1.1"])
    settings.dnsSettings = dnsSettings

当我们收到 HTTP 消息包时，您可以免费获取主机名（来自请求的 URL 或主机头）

希望我的回答能帮到你。

于 2021-02-06T04:24:01.140 回答