apache-camel - Camel - 文件读取 10 行批处理

Question

我们正在尝试使用 Apache Camel 分批读取一个非常大的 CSV 文件（无法完全加载到内存中），例如每批 100 行）。可以提供的任何帮助将不胜感激。

Answer 1

在流模式下使用拆分器 EIP： http: //camel.apache.org/splitter 并阅读链接并查看关于将 N 行组合在一起的部分。这允许您一次读取和处理 100 行的文件。

Answer 2

您可以使用限制器来限制一次加载的文件数量。

Answer 3

与组一起使用split，例如：
from(CSV).split().tokenize("\n", 100).streaming()
每个Exchange正文将String包含一组 100 行。