是否有任何有效的方法可以并行处理 Java 中的大量 GET 请求。我有一个包含 200,000 行的文件,每行都需要来自 Wikimedia 的 GET 请求。然后我必须将响应的一部分写入一个公共文件。我在下面粘贴了我的代码的主要部分作为参考。
while ((line = br.readLine()) != null) {
count++;
if ((count % 1000) == 0) {
System.out.println(count + " tags parsed");
fbw.flush();
bw.flush();
}
//System.out.println(line);
String target = new String(line);
if (target.startsWith("\"") && (target.endsWith("\""))) {
target = target.replaceAll("\"", "");
}
String url = "http://en.wikipedia.org/w/api.php?action=query&prop=revisions&format=xml&rvprop=timestamp&rvlimit=1&rvdir=newer&titles=";
url = url + URLEncoder.encode(target, "UTF-8");
URL obj = new URL(url);
HttpURLConnection con = (HttpURLConnection) obj.openConnection();
// optional default is GET
con.setRequestMethod("GET");
//add request header
//con.setRequestProperty("User-Agent", USER_AGENT);
int responsecode = con.getResponseCode();
//System.out.println("Sending 'Get' request to URL: " + url);
BufferedReader in = new BufferedReader(new InputStreamReader(con.getInputStream()));
String inputLine;
StringBuffer response = new StringBuffer();
while ((inputLine = in.readLine()) != null) {
response.append(inputLine);
}
Document doc = loadXMLFromString(response.toString());
NodeList x = doc.getElementsByTagName("revisions");
if (x.getLength() == 1) {
String time = x.item(0).getFirstChild().getAttributes().item(0).getTextContent().substring(0,10).replaceAll("-", "");
bw.write(line + "\t" + time + "\n");
} else if (x.getLength() == 2) {
String time = x.item(1).getFirstChild().getAttributes().item(0).getTextContent().substring(0, 10).replaceAll("-", "");
bw.write(line + "\t" + time + "\n");
} else {
fbw.write(line + "\t" + "NULL" + "\n");
}
}
我用谷歌搜索了一下,似乎有两种选择。一种是创建线程,另一种是使用称为 Executor 的东西。有人可以就哪一个更适合这项任务提供一些指导吗?