java - hadoop DistributedFileSystem 线程安全吗？

Question

我正在使用 hadoop 来编写我抓取的数据。

我有一个从多个线程调用的 spring 服务以将一些内容写入 HDFS。

@Service
public class WriteService
{
    public void write(String path, String content)
    {
        FileSystem fs = FileSystem.get(conf);
    }
}

我不确定 FileSystem 对象是否可以成为 WriteService 的成员，我不知道它是否是线程安全的。我正在使用 DistributedFileSystem 对象。

你知道它是否是线程安全的并且我可以将它用作我的服务的成员吗？

谢谢

Answer 1

Hadoop DFS 使用所谓的WORM-Model。这使得它在处理并发问题时更加健壮。

但是，要回答这个问题，一般来说它是不安全的。您仍然需要考虑并发控制要求。