linux - HDFS 是如何将多个文件同时写入低层本地文件系统的？

Question

在我完全理解之前，我想知道如果 HDFS 同时写入许多文件，它是如何保持高性能的。

例如，当前一个数据节点有100个文件可供读写。我认为它不会只使用几个线程来执行正常的同步 IO 操作。HDFS 是创建 100 个工作线程来处理它们，还是使用一些没有这么多线程的异步 IO 机制？

Answer 1

是的，datanode 将使用 100 个线程为请求提供服务。一个 Hadoop HDFS 数据节点对它在任何时候服务的文件数量都有一个上限。上限参数是 dfs.datanode.max.xcievers。默认上限为 256。