18

我创建了一个远程桌面控制应用程序。显然,它由客户端和服务器部分组成:

服务器:

  • 从客户端接收鼠标/键盘动作;
  • 将桌面截图发送给客户端。

客户:

  • 从服务器接收截图;
  • 发送鼠标/键盘动作;

考虑发送屏幕截图。当我将家用 PC 用作服务器时,我最终会得到 1920x1080 的屏幕截图尺寸。通过使用JAI Image I/O Tools并将其编码为 PNG,我能够为如此大的图像实现以下统计信息:

  1. 写入时间~0.2 s;(不是进入套接字,而是进入一些“常规”输出流,即编码时间
  2. 读取时间~0.05 s;(不是来自套接字,而是来自一些“常规”输入流,即解码时间
  3. 大小 ~250 KB;
  4. 完美的品质。

因此,根据#1 - 理想的可能 FPS 应该是 ~5。

不幸的是,我什至无法达到 5 FPS,甚至 2 FPS。我搜索了瓶颈,发现向/从套接字 I/O 流写入/读取最多需要约 2 秒(请参阅附录 1 和 2 进行澄清)。这当然是不可接受的。

我对该主题进行了一些研究 - 并在两侧添加了套接字 I/O 流的缓冲(使用BufferedInputStreamand )。BufferedOutputStream我从 64 KB 大小开始。这确实提高了性能。但仍然不能有至少 2 FPS!此外,我已经尝试过Socket#setReceiveBufferSizeandSocket#setSendBufferSize并且速度有一些变化,但我不知道它们的行为如何,因此我不知道要使用哪些值。

看初始化代码:

服务器:

    ServerSocket serverSocket = new ServerSocket();
    serverSocket.setReceiveBufferSize( ? ); // #1
    serverSocket.bind(new InetSocketAddress(...));

    Socket clientSocket = serverSocket.accept();
    clientSocket.setSendBufferSize( ? ); // #2
    clientSocket.setReceiveBufferSize( ? ); // #3

    OutputStream outputStream = new BufferedOutputStream(
            clientSocket.getOutputStream(), ? ); // #4
    InputStream inputStream = new BufferedInputStream(
            clientSocket.getInputStream(), ? ); // #5

客户:

    Socket socket = new Socket(...);
    socket.setSendBufferSize( ? ); // #6
    socket.setReceiveBufferSize( ? ); // #7

    OutputStream outputStream = new BufferedOutputStream(
            socket.getOutputStream(), ? ); // #8
    InputStream inputStream = new BufferedInputStream(
            socket.getInputStream(), ? ); // #9

问题:

  1. 对于所有这些情况,您会推荐哪些值(以提高性能),为什么?
  2. 请澄清Socket#setReceiveBufferSizeSocket#setSendBufferSize行为。
  3. 您可以建议哪些其他方法/技术来提高此类应用程序的性能?
  4. Skype 提供高质量的实时桌面传输——他们是如何做到的?

附录一:添加客户端套接字读取的展开伪代码(@mcfinnigan):

while(true) {
    // objectInputStream is wrapping socket's buffered input stream.
    Object object = objectInputStream.readObject(); // <--- Bottleneck (without setting proper buffer sizes is ~2 s)

    if(object == null)
        continue;

    if(object.getClass() == ImageCapsule.class) {
        ImageCapsule imageCapsule = (ImageCapsule)object;

        screen = imageCapsule.read(); // <--- Decode PNG (~0.05 s)

        SwingUtilities.invokeLater(new Runnable() {
            @Override
            public void run() {
                repaint();
            }
        });
    }
}

附录2:添加服务器套接字写入的展开伪代码(@EJP):

while(true) {
    // objectOutputStream is wrapping socket's buffered output stream.
    BufferedImage screen = ... // obtaining screenshot
    ImageCapsule imageCapsule = new ImageCapsule();

    imageCapsule.write(screen, formatName()); // <--- Encode PNG (~0.2 s)

    try {
        objectOutputStream.writeObject(imageCapsule); // <--- Bottleneck (without setting proper buffer sizes is ~2 s)
    }
    finally {
        objectOutputStream.flush();
        objectOutputStream.reset(); // Reset to free written objects.
    }
}

结论:

感谢您的回答,特别是 EJP - 他让我更清楚了。如果您像我一样寻求有关如何调整套接字性能的答案,您绝对应该检查Java 中的 TCP/IP 套接字,第二版:程序员实用指南,尤其是第 6 章“幕后”,它描述了幕后发生的事情*Socket类,如何管理和使用发送和接收缓冲区(这是性能的主要关键)。

4

5 回答 5

11
  • 写入时间~0.2 s;
  • 读取时间~0.05 s;

如果不考虑中间网络的延迟和带宽,这些目标完全没有意义。

大小 ~250 KB;

题外话。图片大小由您决定,与实际编程无关,这是本站的宗旨。

完美的品质。

“完美的质量”只要求您不丢弃任何位,无论如何您都不会通过 TCP 获得这些位。

  serverSocket.setReceiveBufferSize( ? ); // #1

这将为所有接受的套接字设置接收缓冲区大小。将其设置为尽可能大,如果可能的话,超过 64k。

socket.setSendBufferSize( ? ); // #6

将其设置为尽可能大,如果可能的话,超过 64k。

    socket.setReceiveBufferSize( ? ); // #7

由于这是一个接受的套接字,因此您已经在上面完成了此操作。消除。

    OutputStream outputStream = new BufferedOutputStream(
            socket.getOutputStream(), ? ); // #8
    InputStream inputStream = new BufferedInputStream(
            socket.getInputStream(), ? ); // #9

这些的默认值为 8k;只要您有足够的套接字缓冲区大小就足够了。

对于所有这些情况,您会推荐哪些值(以提高性能),为什么?

往上看。

请澄清Socket#setReceiveBufferSize()Socket#setSendBufferSize()行为。

它们控制 TCP“窗口”的大小。这是一个相当深奥的话题,但其想法是使大小至少等于网络的带宽延迟乘积,即以字节为单位的带宽乘以以秒为单位的延迟> = 以字节为单位的缓冲区大小。

您可以建议哪些其他方法/技术来提高此类应用程序的性能?

不要在发送数据时忙于睡觉和做其他任务。在您可以安排的最紧凑的循环中尽可能快地发送它。

Skype 提供高质量的实时桌面传输——他们是如何做到的?

题外话,可能不可知,除非 Skype 员工碰巧想在这里泄露公司机密。

于 2012-05-16T09:26:32.950 回答
8
  • 如果客户端为每个图像打开新的 TCP 连接,则TCP 慢启动可能会导致缓慢。--> 对所有帧使用相同的 TCP 连接。

  • TCP 有自己的缓冲区,这些缓冲区是 TCP 使用的最佳方式 -->BufferedOutputStream有时会带来好处,有时则不会。

  • 通常只有一小部分屏幕在屏幕截图之间发生变化。--> 只传输改变的部分。

于 2012-05-16T09:53:19.307 回答
2

我认为最大的带宽浪费将在于桌面的完全转移。您应该将其视为电影,并对帧进行差分编码。

缺点是处理比较复杂。也许那里有一些简单的视频编解码器 API/实现?

于 2012-05-16T09:24:26.220 回答
2

问题很清楚。我上面的人建议使用多个 nio 通道,我宁愿使用多个阻塞套接字(nio 并不快)。但是,这并没有改善网络通信,这是并行编程,在您的情况下绝对是一个很好的解决方案。让我建议以下

http://docs.oracle.com/javase/1.4.2/docs/api/java/net/Socket.html#setTcpNoDelay(boolean)

将其设置为 true,您将能够以增加带宽消耗为代价来加快套接字通信速度。

于 2013-02-07T12:09:21.760 回答
0

您可以查看 Java NIO ( http://www.cs.brown.edu/courses/cs161/papers/j-nio-ltr.pdf ),使用多个频道等。

于 2012-05-16T09:16:56.977 回答