在处理应用程序时,解析大量文本文件(例如 4000 个文件);发现使用 JDBC 作为 INSERT/SELECT Prepared Statements 将解析的数据存储/读取到 DB2 中的时间延迟。(仅供参考:使用单独的线程解析数据,然后将日期粘贴到另一个线程以保存到 DB2 中)。
我可以使用文件写入/读取机制来解析数据,而不是 DB2 交互吗?它会比它更快吗?
如果文件处理会更快,那么需要使用哪种机制:简单文件写入/读取或对象写入/读取?
在处理应用程序时,解析大量文本文件(例如 4000 个文件);发现使用 JDBC 作为 INSERT/SELECT Prepared Statements 将解析的数据存储/读取到 DB2 中的时间延迟。(仅供参考:使用单独的线程解析数据,然后将日期粘贴到另一个线程以保存到 DB2 中)。
我可以使用文件写入/读取机制来解析数据,而不是 DB2 交互吗?它会比它更快吗?
如果文件处理会更快,那么需要使用哪种机制:简单文件写入/读取或对象写入/读取?
如果使用得当,简单的文件读/写应该更快,即如果数据以大块的形式传输。
另外,考虑使用内存映射文件。
您是否考虑过从 Java 使用 DB2 LOAD。插入将非常快,您可以使用光标进行选择,或从文件中插入。
但是,将数据插入/加载到数据库中与写入文件完全不同。你想让我做什么?
这取决于您要读取/写入的数据范围。读取一个巨大的文件有它自己的开销。如果 source 是一个小文件,您显然可以快速读取它,因为解析开销会很低。但如果文件由复杂结构组成,RDBMS 或数据库可能是一个可行的选择。
另一种选择是您可能想要查看要读取和写入的数据的自动性、一致性、隔离性和持久性 (ACID)。