在第一条评论之后编辑了问题。
我的问题主要是 java 套接字性能,尤其是从目标服务器读取。
服务器是一个简单的 serversocket.accept() 循环,它为来自 firefox 的每个连接创建一个客户端线程
主要问题是套接字输入流读取会阻塞大量时间。
客户端线程如下:
//Take an httpRequest (hc.apache.org), raw string http request, and the firefox socket outputstream
private void handle(httpRequest req, String raw, Outputstream out)
{
InputStream targetIn =null;
OutputStream targetOut = null;
Socket target = null;
try {
System.out.println("HANDLE HTTP");
String host = req.getHeaders("Host")[0].getValue();
URI uri = new URI(req.getRequestLine().getUri());
int port = uri.getPort() != -1 ? uri.getPort() : 80;
target = new Socket(host, port);
//**I have tried to play around with these but cannot seem to get a difference in performance**
target.setTcpNoDelay(true);
// target.setReceiveBufferSize(1024 *1024);
// target.setSendBufferSize(1024 * 1024);
//Get your plain old in/out streams
targetIn = target.getInputStream();
targetOut = target.getOutputStream();
//Send the request to the target
System.out.println("---------------Start response---------------");
targetOut.write(raw.getBytes());
System.out.println("request sent to target");
////Same as membrane
byte[] buffer = new byte[8 * 1024];
int length = 0;
try {
while((length = targetIn.read(buffer)) > 0) {
out.write(buffer, 0, length);
out.flush();
}
} catch(Exception e) {
e.printStackTrace();
}
System.out.println("closing out + target socket");
//IOUTILS
// long count = IOUtils.copyLarge(targetIn, out, 0L, 1048576L);
// int count = IOUtils.copy(targetIn, out);
// System.out.println("transfered : " + count );
//CHANNEL COPY
//
// ReadableByteChannel input = Channels.newChannel(targetIn);
// WritableByteChannel output = Channels.newChannel(out);
//
// ChannelTools.fastChannelCopy(input, output);
//
// input.close();
// output.close();
//CHAR TO CHAR COPY
// int c;
// while ((c = targetIn.read()) != -1) {
// out.write(c);
// }
target.close();
out.close();
System.out.println("-------------------- end response ------------------------------");
}
catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
主要问题在于将目标输入流复制到客户端(firefox)输出流的适当方法。
我用来测试的站点是http://www.ouest-france.fr(带有大量图像并发出大量请求的新站点)。
从工作站到目标的 Ping 时间:10 毫秒
iceweasel 中的正常加载(debian firefox,firebug 时间):14 秒,2.5MB
在这个代理后面加载:14 分钟(firebug 网络面板充满了虚假的 404,并且在一定时间后返回黑色的中止请求,大量请求处于阻塞或等待模式)
现在,当执行 i loadup visual vm 时,启动没有类过滤器的分析(查看应用程序真正花费时间的地方)并且它花费 99% 的时间在 java.net.SocketInputStream.read(byte[], int, int ),它正在读取目标套接字输入流。
我想我已经完成了我的功课,并且一直在寻找可以在任何地方测试不同的解决方案。
但性能似乎从未改善。
我已经尝试过的东西:
- 将输入和输出流放入它们的缓冲版本,完全没有变化
-int 到 int 复制,完全没有变化,
- 具有可变大小数组的经典字节 [] 数组副本,完全没有变化
摆弄 settcpnodelay、setsendbuffersize、setreceivebuffersize,没有得到任何改变。
正在考虑尝试 nio socketchannels ,但找不到将套接字劫持到 sslsocket 的方法。
所以目前我有点卡住并寻找解决方案。
我查看了开源代理的源代码,似乎找不到逻辑上的根本区别,所以我完全迷失了这一点。
尝试了其他测试:
导出 http_proxy="localhost:4242" wget debiandvd.iso
吞吐量达到 2MB/s。线程似乎花费 66% 的时间从目标读取,33% 的时间写入客户端
我在想,也许我有很多线程正在运行,但在 www.google.com 上运行测试的请求要少得多,但问题仍然与 www.ouest-france.fr 相同
通过 debian iso 测试,我认为我必须运行许多线程(法国西部大约有 270 个请求),但谷歌测试(10 个请求)测试似乎证实线程数不是问题。
任何帮助将不胜感激。
环境是debian,sun java 1.6,带有eclipse和visualvm的dev
我可以根据需要提供其余代码。
谢谢