scriptella - Scriptella 是否在写入 CSV 文件之前将所有记录读入内存

Question

如果我们使用的是 CSVDriver，Scriptella（1.0 版本）是否会在开始写入 CSV 文件之前将所有记录读入内存。如果我从数据库中读取 1000 万条记录，那么它会在开始写入文件之前读取所有这 1000 万条记录，还是以批处理模式读取？

提前致谢。

Answer 1

简短的回答是否定的。Scriptella 尽可能避免将数据保存在内存中。

在基本的非优化情况下，它一个接一个地读取记录并将它们发送到另一个数据源。除此之外，根据驱动程序和/或其他设置，可以添加某些优化。可以启用批处理，以便批量获取和发送记录。根据数据库和可用内存，批次可以是 100 到 10000（或更多）条记录。在这种情况下，只有一批保存在内存中。请注意，Scriptella 1.1 中提供了批处理功能。