6

我正在尝试找到一种更有效的方法来从远程 URL 读取文件并将其保存到字节数组中。这是我目前拥有的：

private byte[] fetchRemoteFile(String location) throws Exception {
  URL url = new URL(location);
  InputStream is = null;
  byte[] bytes = null;
  try {
    is = url.openStream ();
    bytes = IOUtils.toByteArray(is);
  } catch (IOException e) {
    //handle errors
  }
  finally {
    if (is != null) is.close();
  }
  return bytes;
}

如您所见，我目前将 URL 传递给该方法，它使用 InputStream 对象读取文件的字节。此方法使用 Apache Commons IOUtils。但是，此方法调用往往需要相对较长的时间才能运行。当一个接一个地检索数百、数千或数十万个文件时，它会变得非常慢。有没有办法改进这种方法，使其运行更有效？我考虑过多线程，但我想把它保存为最后的手段。

4

1 回答 1

2

你这样做的方式似乎完全没问题。

但如果你说：

“但是，这个方法调用往往需要相对较长的时间来运行”

您可能会遇到以下问题：

  • 网络、连接问题

  • 您确定在单独的线程中下载每个文件吗？

如果您为此使用多线程，请确保 VM args -XmsYYYYM和-XmxYYYYM 配置良好，因为如果不是，您可能会遇到问题，即您的处理器未使用所有内核。我前段时间遇到过这个问题。

于 2014-11-18T19:09:39.710 回答