问题标签 [random-access]

继续列表到优先队列

我正在使用随机访问实现改进的 priority_queue。

我走对路了吗？

• 修复了一元构造函数。
• 改进的代码。

存在提供对 gzip 和 bzip2 档案的随机访问的工具：

• gzip zran.c 来自 ghostscript 源代码
• bzip2 seek-bzip by James Taylor

我正在为 7zip 寻找任何类似的解决方案

（目标是离线使用有时巨大的 Wikipedia 转储文件，而无需保留解压缩的副本）

我必须阅读tomcat日志文件，一段时间后（例如：一个小时）我会再次阅读该文件（仅针对新添加的内容），所以我创建了RandomAccessFile来记录我完成的最后一个位置，并使用BufferedReader.readLine() 方法。

但是，我发现有时我无法读取文件的整行。

例如，tomcat 正在尝试编写以下内容（仅示例）：

192.168.0.0 本地主机 /index.html .....

此刻，当我阅读时，我可能会得到结果：

192.168.0 0 本地主机 /index.html .....

或者

192.168.0.0 本地主机 /index.html .....

也就是说，如果正在写这行，我的读者会读到一个不完整的行。

所以我想知道确定正在阅读的行是否已经完成？

这是核心代码：

我试过这个（添加条件）：

但它不起作用..

任何想法？

我必须监听一个文件，当它的内容被添加时，我将读取新行，并处理新行的内容。文件的长度永远不会减少。（实际上是tomcat的日志文件）。

我使用以下代码：

现在，我的问题是，如果正在写入文件的新行的行没有完成，则会发生死循环。

例如，如果 tomcat 尝试向文件写入新行：

而当只写了一行的一部分时（例如：< 10.33.2.45 - - [08/Dec/2010:08:44:43 +0800] "GET /poi.txt HTTP/1.1" 200 672 >），现在由于不能匹配我定义的模式，也就是说tomcat没有完成它的写入工作，所以我将尝试回滚文件指针，并休眠2秒然后再次读取。

在睡眠期间，该行的最后一部分可能尚未写入（实际上我编写它们而不是 tomcat 进行测试），在我看来，randomaccessfile 将读取一个可以匹配模式的新行，但似乎不是。

任何人都可以检查代码？

注意：日志文件的格式是“组合”的，如下所示：

这是一个简单的随机存取归档程序。问题出现在我想随机写入数据的地方。如果我在文件中写入任何位置，则以前的记录设置为 0。正在输入的最后一个 1 当前保存正确的值，所有其他 = 0。

这是代码

我无法理解 Y 以前的记录转为 0。

我目前正在使用JOGL（Java OpenGL 绑定）开发 3D 图形应用程序。简而言之，我有一个巨大的横向二进制文件。由于它的大小，我必须在运行时流式传输地形块。因此，我们明确地看到了随机访问问题。我已经完成了第一个（也是肮脏的:)）实现（也许它是多线程的），我正在使用一种愚蠢的方法......这是它的初始化：

当我需要读取（流式传输）特殊块时（我已经知道它在文件中的“偏移量”），我正在执行以下操作（我感到羞耻:)）：

由于我没有什么经验，这是我能想到的第一件事 :) 所以，到目前为止，我已经阅读了 3 篇有用且非常有趣的文章（我建议你阅读它们，也许如果你对这个主题感兴趣）

1. 字节缓冲区和非堆内存- Gregory 先生似乎精通 Java NIO。

2. Java 提示：如何快速读取文件[http://nadeausoftware.com/articles/2008/02/java_tip_how_read_files_quickly] - 这是一个有趣的基准。

3. 文章：调整 Java I/O 性能[http://java.sun.com/developer/technicalArticles/Programming/PerfTuning/] - 简单的 Sun 建议，但请向下滚动并查看那里的“随机访问”部分；他们展示了具有自我缓冲改进的 RandomAccessFile (RAF) 的简单实现。

Gregory 先生在他的文章末尾提供了几个 *.java 文件。其中之一是 FileChannel + ByteBuffer + Mapping (FBM) 和 RAF 之间的基准测试。他说，与 RAF 相比，他注意到使用 FBM 时的速度提高了 4 倍。我在以下条件下运行了这个基准测试：

1. 偏移量（例如访问位置）是随机生成的（在文件范围内，例如 0 - file.length()）；
2. 文件大小为220MB；
3. 1 000 000 次访问（75% 读取和 25% 写入）

结果令人震惊：

~ 英国皇家空军 28 秒！ FBM 约 0.2 秒！

然而，他在这个基准测试中的 RAF 实现没有自缓冲（第 3 篇文章讲述了一个），所以我猜是“RandomAccessFile.seek”方法调用，导致性能如此下降。

好的，在我学到了所有这些东西之后，现在有 1 个问题和 1 个困境 :)

问题：当我们使用“FileChannel.map”映射文件时，Java 是否会将整个文件内容复制到 MappedByteBuffer 中？还是只是模仿它？如果是副本，那么使用FBM的方式不适合我的情况，是吗？

困境：取决于您对问题的回答...

1. 如果映射复制一个文件，那么我似乎只有两种可能的解决方案：RAF + 自缓冲（第 3 篇文章中的那个）或利用 FileChannel 中的位置（不使用映射）......哪一个会会更好？

2. 如果映射不复制文件，那么我有 3 个选项：前两个选项和FBM 本身。

编辑：这是另一个问题。你们中的一些人说映射不会将文件复制到 MappedByteBuffer 中。好吧，那为什么我不能映射 1GB 文件，我收到“映射失败”消息...

PS我想收到一个完整的答案和建议，因为我无法在互联网上找到关于这个主题的一致信息。

谢谢 ：）

在我的程序中，关闭一个 java.util.RandomAccessFile 有时需要 45 秒（嗯，几乎完全是：44.998 到 45.003 秒之间）。该程序创建并关闭许多小文件。通常关闭文件非常快（在 0 到 0.1 秒之间）。如果我调试程序，它会卡在本机方法 RandomAccessFile.close0 中。

使用 FileOutputStream 而不是 RandomAccessFile 时也会出现同样的问题（在这种情况下，程序在本机方法 FileOutputStream.close0 中被阻塞）。

有人知道那可能是什么吗？你能在你的系统上重现这个问题吗（我只能在 Mac 上重现它，不能在 Windows XP 上重现；我还没有在 Linux 上测试过）？

更新 2：

这似乎只发生在 Mac OS X 上。我使用 JDK 1.6.0_22-b04。它发生在 32 位和 64 位上。在 Windows XP 上，它似乎不会发生。

我的测试用例是：

我的机器上的示例输出：

我有一个 10GB 的 CSV 文件，它本质上是一个巨大的方阵。我正在尝试编写一个可以尽可能高效地访问矩阵的单个单元格的函数，即矩阵[12345,20000]。

鉴于它的大小，显然不可能将整个矩阵加载到二维数组中，我需要以某种方式直接从文件中读取值。

我已经用 Google 搜索了使用 FileStream.Seek 查看文件随机访问，但不幸的是，由于可变舍入每个单元格不是固定宽度。我不可能通过某种算术寻找特定字节并知道我正在查看的单元格。

我考虑扫描文件并为每行的第一个字节的索引创建一个查找表。这样，如果我想访问 matrix[12345,20000] 我会寻找第 12345 行的开头，然后扫描整个行，计算逗号，直到我到达正确的单元格。

我正要尝试这个，但还有其他人有更好的想法吗？我敢肯定我不会是第一个尝试处理这样的文件的人。

干杯

编辑：我应该注意到该文件包含一个非常稀疏的矩阵。如果解析 CSV 文件最终太慢，我会考虑将文件转换为更合适且更易于处理的文件格式。存储稀疏矩阵的最佳方法是什么？

编辑：更详细和重点

我正在使用 Rails 3：

我目前有一个从我的数据库中提取并显示在属性/索引页面上的项目列表，人们可以在其中查看基本信息，然后单击其链接转到属性/显示页面。我用来调用它的代码是

link_to_rental(property) 在 Properties Helper 中定义

我想做的是在我的主页/索引页面上有一个特色属性。有没有办法使用类似的东西从属性控制器中随机提取一个属性并在主页/索引页面上显示其 .title ？

注意： rand 在 rails 3 中已弃用，必须使用 random_element

我使用索引实例（例如，音乐曲目）进行操作，并且必须通过其索引（int->string）查找对象的名称。字典太慢了（我有大约 10M 个对象）。内存不是问题，因此最方便的解决方案是从带有名称的 csv 文件创建一个随机访问的字符串数组。

但是，我在 python 中没有做到这一点——我收到一个错误，即 0-dim 数组（字符串）无法被索引。为字符串创建随机访问容器的本机 python 方法是什么？