根据我对 Hadoop-3.x 的理解,他们引入了对 Microsoft Azure Data Lake 文件系统的支持,并更改了复制方案。这些只是主要功能吗,他们作为 hadoop-3.x 的一部分引入的任何其他新功能吗?
以及复制方案如何在 Hadoop-3.x中工作
根据我对 Hadoop-3.x 的理解,他们引入了对 Microsoft Azure Data Lake 文件系统的支持,并更改了复制方案。这些只是主要功能吗,他们作为 hadoop-3.x 的一部分引入的任何其他新功能吗?
以及复制方案如何在 Hadoop-3.x中工作
Hadoop 3.0 将采用纠删码代替复制,消耗相对较少的存储空间,同时提供相同级别的容错。
Hadoop 3x 复制方案导致 200% 的额外存储空间和资源开销。
有关详细信息,请参阅“<a href="https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HDFSErasureCoding.html" rel="nofollow noreferrer">HDFS 擦除编码” .
要了解 HDFS 擦除编码的工作原理,请参阅:“<a href="https://blog.cloudera.com/blog/2015/09/introduction-to-hdfs-erasure-coding-in-apache-hadoop/" rel="nofollow noreferrer">Apache Hadoop 中 HDFS 纠删码简介”。