hadoop - 防止camus增加offset值

Question

有什么方法可以防止camus增加偏移值，并使其始终读取先前的值？

以及如何为创建的文件提供自定义名称而不是一般格式，即topic.leaderId.partitionId.partitioner.encodePartition(context, key)？

Answer 1

映射器输出的文件名在类的generateFileName方法中生成com.linkedin.camus.etl.Patitioner。

您可以实现自定义 Partitioner 并在 as 中提供逻辑

@Override public String generateFileName(JobContext context, String topic, String brokerId, int partitionId, int count, long offset, String encodedPartition) { return "MyCustomFileName-"+topic+partitionId; }