hadoop - Hadoop数据拆分和数据流控制

Question

对于将 hadoop 作为存储系统，我有 2 个问题。

1. 我有一个包含 3 个数据节点的 hadoop 集群，我想将一个大小为 128mb 的大文件（假设拆分大小为 64mb ）直接拆分到我选择的数据节点。这就是在这种情况下如何控制哪个拆分到哪个 DataNode。我的意思是说我们有 3 个数据节点（即 D1、D2、D3）并且我们想要特定的拆分（比如说“A”），我希望它移动到特定的数据节点让它成为 D2。

   我们应该怎么做 ？

2. hadoop 文件系统的最小可能拆分大小是多少。我们如何将其配置为最小的拆分大小。

Answer 1

1）你无法控制数据块的放置位置

2）尽可能小（虽然应该是 1024 字节的倍数，但我认为这没有实际的限制），但在现代硬件上，任何小于 64 / 128 MB 的东西都是低效的（你可以指定如果您在 MR 作业中执行任何 CPU 密集型操作，则处理拆分大小更小）