2

我的代码需要取 0 到 255 之间的整数值并将其作为字符串写入文件。它需要快速，因为它可能会被非常快速地重复调用，因此在重负载下任何优化都会变得明显。关于将大量数据写入文件的有效方法，这里还有其他问题，但是少量数据呢？

这是我目前的方法：

public static void writeInt(final String filename, final int value)
{
    try
    {
        // Convert the int to a string representation in a byte array
        final String string = Integer.toString(value);
        final byte[] bytes = new byte[string.length()];
        for (int i = 0; i < string.length(); i++)
        {
            bytes[i] = (byte)string.charAt(i);
        }

        // Now write the byte array to file
        final FileOutputStream fileOutputStream = new FileOutputStream(filename);
        fileOutputStream.write(bytes, 0, bytes.length);
        fileOutputStream.close();
    }
    catch (IOException exception)
    {
        // Error handling here
    }
}

我认为 aBufferedOutputStream在这里没有帮助：构建刷新缓冲区的开销对于 3 个字符的写入可能会适得其反，不是吗？我还能做其他改进吗？

4

5 回答 5

5

我认为这与 0-255 范围要求的要求一样有效。使用缓冲写入器的效率会降低，因为它会创建一些您不需要创建的临时结构，而写入的字节数很少。

static byte[][] cache = new byte[256][];
public static void writeInt(final String filename, final int value)
{
    // time will be spent on integer to string conversion, so cache that
    byte[] bytesToWrite = cache[value];
    if (bytesToWrite == null) {
        bytesToWrite = cache[value] = String.valueOf(value).getBytes();
    }

    FileOutputStream fileOutputStream = null;
    try {
        // Now write the byte array to file
        fileOutputStream = new FileOutputStream(filename);
        fileOutputStream.write(bytesToWrite);
        fileOutputStream.close();
    } catch (IOException exception) {
        // Error handling here
    } finally {
        if (fileOutputStream != null) {
            fileOutputStream.close()
        }
    }
}
于 2013-09-25T14:34:55.497 回答
3

你不能让它更快IMO。如果不是这样，BufferedOutputStream 在这里将无济于事。如果我们查看 src，我们会看到 FileOutputStream.write(byte b[], int off, int len) 直接将字节数组发送到本机方法，而 BufferedOutputStream.write(byte b[], int off, int len) 是同步并首先将数组复制到其缓冲区，并在关闭时将字节从缓冲区刷新到实际流。

除了在这种情况下最慢的部分是打开/关闭文件。

于 2013-09-25T14:20:10.327 回答
0

我认为，这里的瓶颈是 IO，这两项改进可能会有所帮助：

  • 考虑更新的粒度。即，如果您的应用程序每秒需要不超过 20 次更新，那么您可以优化您的应用程序以每 1/20 秒写入不超过 1 次更新。根据环境的不同，这可能非常有益。
  • 事实证明，Java NIO 对于大尺寸来说要快得多，因此尝试使用小尺寸也是有意义的，例如写入 aChannel而不是InputStream.
于 2013-09-25T23:05:14.857 回答
0

很抱歉这么晚来参加聚会:)

我认为尝试优化代码可能不是正确的方法。如果您重复写入同一个小文件，并且每次都必须写入而不是在应用程序中缓冲它，那么到目前为止，最大的考虑因素将是文件系统和存储硬件。

关键是，如果您实际上每次都碰到硬件，那么您会严重破坏它。但是，如果您的系统正在缓存写入，那么您可能可以让它不经常碰到硬件：数据在到达那里之前将被覆盖，并且只会写入新数据。

但这取决于两件事。一方面，当你的文件系统在写入旧文件之前获得新写入时会做什么？一些文件系统可能最终仍会在日志中写入额外的条目，或者甚至将旧文件写入一个位置，然后将新文件写入另一个物理位置。那将是一个杀手。

另一方面，当被要求覆盖某些内容时，您的硬件会做什么？如果是传统硬盘，它可能只会覆盖旧数据。如果它是闪存（如果它是 Android 则很可能是），磨损均衡将启动，并且它将继续写入驱动器的不同位。

在磁盘缓存和文件系统方面，您确实需要尽您所能，以确保如果您在将缓存推送到磁盘之前发送 1000 次更新，则只有最后一次更新被写入。

由于这是 Android，您可能正在查看 ext2/3/4。仔细查看日志选项，并研究 ext4 中延迟分配的影响。也许最好的选择是使用 ext4，但关闭日志。

于 2014-09-02T19:06:06.487 回答
-1

一个快速的谷歌搜索带来了不同大小文件的不同写入/读取操作的基准：

http://designingefficientsoftware.wordpress.com/2011/03/03/efficient-file-io-from-csharp/

作者得出的结论是WinFileIO.WriteBlocks将数据写入文件的速度最快，尽管 I/O 操作在很大程度上依赖于多种因素，例如操作系统文件缓存、文件索引、磁盘碎片、文件系统缓存等。

于 2013-09-25T14:22:06.820 回答