jdbc - 使用数据库中的 Mule ESB 处理大型数据集：如何根据一定的批量大小更新处理过的记录？

Question

我有大量要处理的记录，例如：100,000 条记录。我的用例有 4 个步骤：

1. 使用 jdbc 入站适配器从数据库表中选择记录
2. 将记录转换为xml格式
3. 将消息发布到队列
4. 然后用一些状态标志更新相同的记录，因为它已经被处理了，这样它就不会被再次拾取

我不想一次性从表中选择所有记录进行处理：有没有办法可以分批选择并且不想为一条记录更新表？是否有批量级别的批量/批量更新选项？

或者有没有其他更好的方法来处理这个用例？任何建议高度赞赏。

Answer 1

我会编写 SQL 选择查询以仅返回 N 条记录（类似LIMIT 100或等价的），其中的 where 子句根据状态标志排除已处理的记录。