hadoop - 是否可以将 hadoop 块大小设置为 24 MB？

Question

我只是想问问你对 HDFS 块大小的看法。所以我将 HDFS 块大小设置为 24 MB，它可以正常运行。我记得 24 MB 不是计算机上通常大小的指数数（2 的倍数）。所以我想问大家，你对24MB有什么看法？

谢谢大家....

score 1 · Accepted Answer

是的。可以将 HDFS 块大小设置为 24 MB。Hadoop1.x.x默认为 64 MB，默认为2.x.x128 MB。

我认为增加块大小。因为，块大小越大，在 reducer 阶段使用的时间就越少。事情会加速。但是，如果您减小块大小，则在每个映射阶段将花费更少的时间，但在减少阶段可能会使用更多时间。从而增加整体时间。

从本地文件系统传输到HDFS时，您可以使用以下命令更改块大小：

hadoop fs -D dfs.blocksize=<blocksize> -put <source_filename> <destination>

可以通过将 hdfs-site.xml 更改为以下内容来永久更改块大小：

<property> 
<name>dfs.block.size<name> 
<value>134217728<value> 
<description>Block size<description> 
<property>

score 0 · Accepted Answer

是的，可以在 Hadoop 环境中设置块大小。只需转到 /usr/local/hadoop/conf/hdfs-site.xml 然后更改块大小值参考：http ://commandstech.com/blocksize-in-hadoop/

2 回答 2