0

我已经开始学习 Hadoop 并且刚刚完成了在hadoop 1.2.1 文档中演示的单个节点的设置 现在我想知道是否

  1. 当文件存储在这种类型的 FS 中时,我应该使用分层存储模式 - 就像我在 Windows 中那样使用文件夹和子文件夹,或者文件只要具有唯一名称就被写入?
  2. 如果有人在生产环境中使用它,是否可以将新节点添加到单节点设置中。或者仅仅通过简单地添加更多节点和编辑配置就可以将单个节点转换为集群而不会丢失数据?
  3. 这个我可以用谷歌搜索,但这是什么鬼!反正我要问,告我。我可以在 HDFS 中存储的最大文件数是多少?
4

2 回答 2

1

当文件存储在这种类型的 FS 中时,我应该使用分层存储模式 - 就像我在 Windows 中那样使用文件夹和子文件夹,或者文件只要具有唯一名称就被写入?

是的,使用目录对您有利。通常,当您在 Hadoop 中运行作业时,如果您将路径传递到目录,它将处理该目录中的所有文件。所以..你真的必须使用它们。

如果有人在生产环境中使用它,是否可以将新节点添加到单节点设置中。或者仅仅通过简单地添加更多节点和编辑配置就可以将单个节点转换为集群而不会丢失数据?

您可以随意添加/删除节点(除非单节点,您的意思是伪分布式......这是不同的)

这个我可以用谷歌搜索,但这是什么鬼!反正我要问,告我。我可以在 HDFS 中存储的最大文件数是多少?

很多

于 2013-11-05T17:53:40.223 回答
0

扩展攀登的答案:

最大文件数是名称节点服务器可用内存量的函数。有一些松散的指导,名称节点中的每个元数据条目都需要 150-200 字节的内存(它会根据版本而变化)。

从这里你需要推断出文件的数量,以及每个文件的块数(这可能因文件和块大小而异),你可以估计给定的内存分配(2G / 4G / 20G 等),您可以存储多少元数据条目(以及文件)。

于 2013-11-06T00:32:58.643 回答