streamsets - 流集阶段中的记录数

Question

我使用 Streamsets 将记录从 oracle 提取到 ElasticSearch。我想在 maprDB 目标中注册我在 oracle 查询中处理每个步骤的记录计数。如何获取某个流集阶段的记录数？

score 2 · Accepted Answer

您可以插入其中一个脚本处理器（JavaScript Evaluator）来触发事件记录。并将 MaprDB 目的地连接到脚本处理器事件通道。

var eventRecord = sdcFunctions.createEvent("count", 1);
eventRecord.value = { recordCount :  records.length};
sdcFunctions.toEvent(eventRecord);

1 回答 1