mongodb - WSO2SP 流处理器，从 MongoDB 加载数据

Question

我试图从 mongodb 集合中加载数据。该集合包含超过 10M 的文档，我找不到任何方法来限制 SP 加载的文档数量。

显然 WsoSO 将所有文档加载到内存中，wisch 引发了 java out-of-memory 错误。

请问有什么建议吗？

谢谢

Answer 1

谢谢尼维西卡，

如果我直接在 mongodb 中执行查询，它的工作没有任何问题。

在 WSO2 SP 中，我添加了（限制 1）来限制结果。

像下面这样：

from TestStream join TestTable
select *
Limit 1
into Outputstream;

我有内存不足的错误。

问候。

Answer 2

MongoDB 不会将所有数据加载到内存中。这将取决于您的连接查询。

from TestStream join TestTable
select * 
into Outputstream;

是的，这将加载所有数据，因为您没有限制要获取的记录。添加适当的条件，它将仅加载需要的记录。