hadoop - hadoop-确定是否正在写入文件

Question

有没有办法确定是否正在写入 hadoop 中的文件？例如-我有一个将日志放入 hdfs 的过程。我有另一个进程可以监视 hdfs 中是否存在新日志，但我希望它确保文件在处理之前已完全上传到 hdfs。这样的事情可能吗？

Answer 1

如果当前正在写入文件，Hadoop 文件系统 API 似乎不提供任何信息。但是，作为一种解决方法，您可以检查相关文件的修改时间 - 如果在一段时间内（例如，20 分钟）没有发生写入，则可以安全地假设副本已完成或已死亡。