我在 Hadoop 中有一个由两台机器组成的多节点集群。第一台机器(配置的主机和从机)运行名称节点和数据节点,第二台机器(配置的从机)运行数据节点。
我想几乎平等地上传和分配它们之间的数据?
我有两种情况:
首先:假设我有一个大小为 500MB 的文件 file1,我使用以下命令上传到第一台机器:
hadoop fs -put file1 hdfspath
它会被分成两个数据节点还是只存储在第一台机器上?
何时分配:是在超过第一台机器的块大小之后才分配还是有其他标准。
每个datanode会平均分配250mb吗?
第二:假设我有 250 个文件,每个文件大小为 2mb,并且我使用以下命令将包含它们的文件夹 dir1 上传到第一台机器:
hadoop fs -put dir1 hdfspath
同样的问题:数据是分布在两台机器上还是只分布在第一台机器上。还有何时以及如何分配?
谢谢你。