我的情况涉及自定义处理器参与 ETL 管道的各个阶段:
Processor_1 -> Processor_2 -> Processor_3
对于某些用例,Processor_3 需要参考输入到 Processor_1 的原始数据。流文件定义中有父引用的概念。
粗略的方法是将原始数据与流文件从Processor_1 传递到Processor_2 到Processor_3。是否有下游处理器引用原始数据的机制?
我的情况涉及自定义处理器参与 ETL 管道的各个阶段:
Processor_1 -> Processor_2 -> Processor_3
对于某些用例,Processor_3 需要参考输入到 Processor_1 的原始数据。流文件定义中有父引用的概念。
粗略的方法是将原始数据与流文件从Processor_1 传递到Processor_2 到Processor_3。是否有下游处理器引用原始数据的机制?