method = new GetMethod(strUrl);
log.info("Befor execueteMechod");
statusCode = client.executeMethod(method);
log.info("After execueteMechod");
我写这个java代码来抓取网页，它在服务器上运行。几天后，今天我很失望地发现爬虫线程被阻止了。从日志中我可以说它在executeMethod方法中被阻止。有人可以告诉我如何处理这个问题。
而且，它报告了两次 504 或 503 警告，当第三次抓取此页面时，出现问题，线程被阻塞，我不想要这个。