0

谢谢阅读。

这么烦人的问题发生在我身上，我值得有人帮助我。我在java中使用httpcomponent（以前的httpclient的新版本）来打开一些url和废弃内容。并且使用multihtread来提高性能。

所以问题来了：

1.threads共享一个HttpClient

1)定义

private static final ThreadSafeClientConnManager cm = new ThreadSafeClientConnManager();
private static HttpHost proxy = new HttpHost("127.0.0.1",8086,"http");
private static DefaultHttpClient http = new DefaultHttpClient(cm);

2）在我的初始功能中

cm.setMaxTotal(100);
http.getParams().setParameter(ConnRoutePNames.DEFAULT_PROXY, proxy);

3）然后是我的线程函数

public static String getUrl(String url, String Chareset)
    {
        HttpGet get = new HttpGet(url);//uri
        get.setHeader("Content-Type", "text/html");
        get.setHeader("User-Agent","Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.0; .NET CLR 1.1.4322; .NET CLR 2.0.50215;)");
        get.setHeader("Accept-Charset", Chareset+";q=0.7,*;q=0.7");//"utf-8;q=0.7,*;q=0.7");
    get.getParams().setParameter("http.socket.timeout",new Integer(CONNECTION_TIMEOUT));//20000

        String result = "";
        try {
            HttpResponse response = http.execute(get);
        if (response.getStatusLine().getStatusCode() != 200){//statusCode != HttpStatus.SC_OK) {
                System.err.println("HttpGet Method failed: "
                        + response.getStatusLine());//httpGet.getStatusLine()
        }
        HttpEntity entity = response.getEntity();
        if (entity != null) {
            result = EntityUtils.toString(entity);
            EntityUtils.consume(entity);
            entity = null;
        }
    } catch(java.net.SocketException ee)
    {
            ee.printStackTrace();
            Logger.getLogger(DBManager.class.getName()).log(Level.SEVERE, null, ee);
    }
        catch (IOException e) {
            //throw new Exception(e);
            Logger.getLogger(DBManager.class.getName()).log(Level.SEVERE, null, e);//TODO Debug
    } finally {
        get.abort();//releaseConnection();//TODO http.getConnectionManager().shutdown();?
        get = null;
    }
        return result; 
    }

4）然后我创建了 10 个线程来调用 getUrl() 函数，但是在大约 1000 个循环之后，发生了狗屎：

**HttpGet Method failed: HTTP/1.0 503 Service Unavailable**

但是我用IE和代理打开了url，打开成功了。所以这意味着我的代理没有问题。

那么有什么问题呢？

2.然后我把httpclient的创建改成getUrl()函数，这样线程就不会共享HttpClient了，像这样：

public static String getUrl(String url, String Chareset)
    {
        HttpGet get = new HttpGet(url);//uri
        get.setHeader("Content-Type", "text/html");
        get.setHeader("User-Agent","Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.0; .NET CLR 1.1.4322; .NET CLR 2.0.50215;)");
        get.setHeader("Accept-Charset", Chareset+";q=0.7,*;q=0.7");//"utf-8;q=0.7,*;q=0.7");
    get.getParams().setParameter("http.socket.timeout",new Integer(CONNECTION_TIMEOUT));//20000

        DefaultHttpClient http = new DefaultHttpClient(cm);//threads dont't share it
        http.getParams().setParameter(ConnRoutePNames.DEFAULT_PROXY, proxy);

        String result = "";
        try {
            HttpResponse response = http.execute(get);
        if (response.getStatusLine().getStatusCode() != 200){//statusCode != HttpStatus.SC_OK) {
                System.err.println("HttpGet Method failed: "
                        + response.getStatusLine());//httpGet.getStatusLine()
        }
        HttpEntity entity = response.getEntity();
        if (entity != null) {
            result = EntityUtils.toString(entity);
            EntityUtils.consume(entity);
            entity = null;
        }
    } catch(java.net.SocketException ee)
    {
            ee.printStackTrace();
            Logger.getLogger(DBManager.class.getName()).log(Level.SEVERE, null, ee);
    }
        catch (IOException e) {
            //throw new Exception(e);
            Logger.getLogger(DBManager.class.getName()).log(Level.SEVERE, null, e);//TODO Debug
    } finally {
        get.abort();//releaseConnection();//TODO http.getConnectionManager().shutdown();?
        get = null;
                http = null;//clean almost all the resources
    }
        return result; 
    }

然后在 10 个线程的大约 600 个循环之后，又发生了另一件事：

**Exception in thread "Thread-11" java.lang.OutOfMemoryError: Java heap space**

结果发生异常= EntityUtils.toString(entity); 线

所以，真的需要一些帮助。

谢谢！

4

2 回答 2

2

503 表示服务不可用，因此服务已关闭。现在这可能是由于您实际上一遍又一遍地访问相同的服务并最终出现错误或由于此类负载而拒绝您的服务。

第二个错误很明显：没有更多的内存，因为你用完了它。您的程序正在泄漏内存，或者您应该使用 -Xmx256m、-Xmx512m、-Xmx1G 等来增加堆大小......对于这些问题，有很多关于 SO 的答案。

于 2012-02-29T14:54:12.887 回答
1

纪尧姆给出的答案对我来说听起来完全合理。就你第二个问题而言，原因OutOfMemoryError很简单。DefaultHttpClient对象非常昂贵，并且通过为每个请求创建一个新实例，您会更快地耗尽系统资源。此外，除了简单的测试外，通常EntityUtils#toString应避免使用。应该将 HTTP 响应消息作为内容流来使用，而无需在内存中缓冲整个响应主体。

于 2012-02-29T16:13:36.633 回答