11

所以我们在后端使用 Spring websocket STOMP + RabbitMQ，我们在打开文件描述符时遇到了问题。一段时间后，我们达到了服务器的限制，服务器不接受任何连接，包括 websocket 和 API 端点。

2018-09-14 18:04:13.605  INFO 1288 --- [MessageBroker-1] 
o.s.w.s.c.WebSocketMessageBrokerStats    : WebSocketSession[2 current WS(2)- 
HttpStream(0)-HttpPoll(0), 1159 total, 0 closed abnormally (0 connect 
failure, 0 send limit, 63 transport error)], stompSubProtocol[processed 
CONNECT(1014)-CONNECTED(1004)-DISCONNECT(0)], stompBrokerRelay[9 sessions, 
127.0.0.1:61613 (available), processed CONNECT(1015)-CONNECTED(1005)- 
DISCONNECT(1011)], inboundChannel[pool size = 2, active threads = 2, queued 
tasks = 2, completed tasks = 12287], outboundChannelpool size = 0, active 
threads = 0, queued tasks = 0, completed tasks = 4225], sockJsScheduler[pool 
size = 1, active threads = 1, queued tasks = 3, completed tasks = 683]

我们得到以下例外：

2018-09-14 18:04:13.761 ERROR 1288 --- [http-nio-127.0.0.1-8443-Acceptor-0] 
org.apache.tomcat.util.net.NioEndpoint   : Socket accept failed

java.io.IOException: Too many open files
    at sun.nio.ch.ServerSocketChannelImpl.accept0(Native Method)
    at sun.nio.ch.ServerSocketChannelImpl.accept(ServerSocketChannelImpl.java:422)
    at sun.nio.ch.ServerSocketChannelImpl.accept(ServerSocketChannelImpl.java:250)
    at org.apache.tomcat.util.net.NioEndpoint$Acceptor.run(NioEndpoint.java:455)
    at java.lang.Thread.run(Thread.java:748)

linux 的默认文件描述符限制是 1024，即使我们将其增加到 65000 之类的东西，无论如何它都会在某个时候达到限制。

我们想从后端解决这个问题，最好是通过 Spring 而没有任何变通方法。有任何想法吗？

更新

RabbitMQ 和应用程序驻留在不同的服务器上。实际上，RabbitMQ 在 Compose 上工作。我们可以通过不从客户端发送DISCONNECT消息来重现此问题。

更新 2

今天我意识到，无论发生什么，所有的文件描述符和 java 线程总是留在那里。我已经实现了一种解决方法，包括从 Spring 发送DISCONNECT消息并关闭WebSocketSession对象并且不进行任何更改。我通过检查以下链接实现了这些：

作为旁注，服务器端发送这样的消息： simpMessagingTemplate.convertAndSend("/queue/" + sessionId, payload). 这样，我们就保证了每个客户端都得到了相关的消息sessionId.

这是某种错误吗？为什么不关闭文件描述符？以前没有人遇到过这个问题吗？

更新 3

每次关闭套接字时，我都会看到以下异常。无论是通过来自客户端的DISCONNECT消息还是webSocketSession.close()来自服务器的代码，它是如何关闭的都没有关系。

[reactor-tcp-io-66] o.s.m.s.s.StompBrokerRelayMessageHandler : TCP connection failure in session 45r7i9u3: Transport failure: epoll_ctl(..) failed: No such file or directory
io.netty.channel.unix.Errors$NativeIoException: epoll_ctl(..) failed: No such file or directory
at io.netty.channel.unix.Errors.newIOException(Errors.java:122)
at io.netty.channel.epoll.Native.epollCtlMod(Native.java:134)
at io.netty.channel.epoll.EpollEventLoop.modify(EpollEventLoop.java:186)
at io.netty.channel.epoll.AbstractEpollChannel.modifyEvents(AbstractEpollChannel.java:272)
at io.netty.channel.epoll.AbstractEpollChannel.clearFlag(AbstractEpollChannel.java:125)
at io.netty.channel.epoll.AbstractEpollChannel$AbstractEpollUnsafe.clearEpollRdHup(AbstractEpollChannel.java:450)
at io.netty.channel.epoll.AbstractEpollChannel$AbstractEpollUnsafe.epollRdHupReady(AbstractEpollChannel.java:442)
at io.netty.channel.epoll.EpollEventLoop.processReady(EpollEventLoop.java:417)
at io.netty.channel.epoll.EpollEventLoop.run(EpollEventLoop.java:310)
at io.netty.util.concurrent.SingleThreadEventExecutor$5.run(SingleThreadEventExecutor.java:884)
at java.lang.Thread.run(Thread.java:748)

所以我将日志级别更改为TRACE，我看到 websocket 确实被关闭了，但是这些异常立即被抛出。所以在这一点上，我真的很怀疑这个例外。挂起的 java 线程的数量总是与 websocket 的数量齐头并进，即创建 400 个 websocket 总是在主进程中最终导致 ~400 个挂起的线程。并且内存资源永远不会被释放。

谷歌搜索此异常仅得到以下 4 个结果：（其余为其他异常）

将库更新netty到最新版本（4.1.29.Final）也不起作用，所以我相应地更改了问题的标签。我也在考虑针对netty. 我已经尝试了很多东西，并在应用程序级别上进行了多次实验，但似乎没有任何效果。在这一点上，我对任何想法都持开放态度。

4

2 回答 2

0

RabbitMQ Java 客户端库有时会出现管理打开文件描述符的问题。它很少是坏的，但有一些陷阱，例如ChannelManager line 218。

您想尝试几个不同的 Java 客户端库版本，因为这是客户端问题。在一个版本中，由于连接创建错误，我产生了数千个 Java 线程（不确定哪个版本受到影响，我通过使用 FlightRecorder 并转到锁定部分发现了这一点，所有线程都在等待获取 RabbitMQ 连接（？）类锁）。

于 2018-09-24T15:50:56.650 回答
0

如果你总是使用try-with-resource或者在 finally 块中关闭你打开的文件，你可能真的超出了你的文件描述符限制，你需要另一个主机来接受你的请求。为此，您需要扩展您的应用程序并对其进行负载平衡。我建议您在集群中部署rabbitmq，以解决这个问题。

在某些情况下，RabbitMQ 会忽略您的文件描述符限制。

RabbitMQ doc系统限制screengrab

于 2018-09-22T04:17:54.043 回答