here-olp - 如何从批处理管道中读取 Volatile 层？

Question

如何使用批处理管道从易失层读取？

public IntermediateData compileInFn(Pair<Key, Meta> in, LogContext logContext) {
    String partitionID = in.getKey().partition().toString();        
    try {
        if (!partitionID.isEmpty()) {
            // Retrieve the partition.
            Payload payload = retriever.getPayload(in.getKey(), in.getValue(), logContext);          

            }
        }
    } catch (Exception e) {

    }        
    return new IntermediateData(in.getKey(), testResults);
}

Answer 1

嗯，它实际上与从版本目录中读取没有什么不同。但是，这可能不是您真正想要做的。运行 DPL 编译器的计划批处理管道仅在发布新版本时触发。在 volatile 层中，只要将新数据推送到 volatile 层，就不一定会发布元数据（这会触发版本更新）。因此，除非数据提供者每次发布到 volatile 层时实际上都在更新元数据，否则版本可能不会更新并且批处理管道可能不会被触发。您可以手动启动批处理管道作业并将处理类型设置为“重新处理”，这将读取整个目录，但这只会运行编译器一次。