我的一位同事认为 HDFS 没有最大文件大小，即通过分区为 128 / 256 meg 块可以存储任何文件大小（显然 HDFS 磁盘有大小限制，但这是唯一的限制）。我找不到任何说有限制的东西，所以她是对的吗？
谢谢，吉姆
问问题
14711 次
3 回答
14
那么显然有一个实际的限制。但物理上 HDFS 块 ID 是 Java 长的，因此它们的最大值为 2^63，如果您的块大小为 64 MB，则最大大小为 512 yottabytes。
于 2012-11-15T18:06:56.823 回答
1
我认为她说 HDFS 上没有最大文件大小是对的。您唯一可以真正设置的是块大小，默认情况下为 64 MB。我想可以存储任何长度的大小，唯一的限制可能是文件的大小越大，容纳它的硬件就越大。
于 2012-04-06T14:46:11.543 回答
0
我不是 Hadoop 方面的专家，但 AFAIK，对单个文件大小没有明确的限制，尽管有一些隐含的因素，例如整体存储容量和最大命名空间大小。此外，可能会有关于实体数量和目录大小的行政报价。HDFS 容量主题在本文档中有很好的描述。报价在此处描述并在此处讨论。
我建议对最后一个链接提到的 Michael G Noll 的博客多加注意，它涵盖了许多特定于 hadoop 的主题。
于 2011-03-31T02:27:33.190 回答