streamsets - 如何区分来自 StreamSets 中多个 HTTP 客户端来源的数据

Question

我有 6 个管道，每个管道都有连接到 SDCRPC 目标的 HTTP 客户端源，我的计划是创建另一个具有 SDCRPC 源和目标的管道到 hive 表。

我的问题是在连接到 SDCRPC 源之后如何区分数据，因为每个 HTTP 管道都会提取与一个相同表相关的数据。

任何示例或在线资源将不胜感激。

Answer 1

向 6 个 HTTP->SDCRPC 管道中的每一个添加一个表达式评估器，每个管道都向记录添加不同的标头属性值。现在，您的 SDCRPC 源管道可以查看该标头属性以确定它来自哪个管道。