hadoop - 在安全模式下启动节点

Question

我正在使用 CentOS 来实现 Hadoop。当我启动操作系统时，默认情况下 hadoop 将以安全模式启动。在我从“安全模式”中删除它并尝试将数据放入 HDFS 后，它会弹出 0 个可用的名称节点。有人说“重启操作系统”可以解决这个问题。有什么办法可以摆脱这个问题..

Answer 1

恕我直言，强迫 NN 退出安全模式并不是一个非常明智的选择。在此期间，NameNode 从 fsimage 和编辑日志文件加载文件系统状态。通常，在安全模式下花费的时间通常与集群的大小或数据的大小成正比。

如果您对当前配置不满意，可以使用dfs.safemode.threshold.pct更改 NN 安全模式行为。NN 一直等到特定百分比的块存在并由该属性表示。达到此阈值后，将自动退出安全模式。如果您希望您的 NN 快速退出安全模式，您可以选择一个更小的值。

话虽如此，如果您面临长时间的安全模式，您可以检查几件事以确保一切正常：

• 所有数据节点都正常出现。
• 您有足够的名称节点线程来处理要签入的数据节点的数量。您可以通过dfs.namenode.handler.count处理此问题。

高温高压