spring-batch - Spring批量100万条记录——5小时

Question

如果使用 JdbcCursorItemReader 读取表中的 100 万个 ID 并使用 FlatFileItemWriter 写入文件并且该过程需要 5 小时，这是否正常？

Spring 建议使用 JdbcCursorItemReader 来提高性能，我已经使用过了。还有什么可以做的？

我可以完全跳过行映射器，因为我正在将获取的 ID 转换为映射器中的 Map 条目 (Map)，并在编写时从 Map 中获取 ID，这似乎没用。

Spring 批处理是此类场景的理想方法吗？

提前致谢

Answer 1

添加了 commitInterval 属性并将其值设置为 10,000。该过程现在在 44 分钟内完成。谢谢。