hadoop - 在本地模式下配置 hadoop

Question

嗨，我已经在虚拟机上以伪分布式模式成功安装了 hadoop。我在eclipse中编写代码，而不是作为jar文件导出到hadoop集群，而不是在那里进行调试。现在只是为了学习目的，我试图在我的 Windows 机器上以本地配置模式安装 hadoop。通过这样做，我将能够进行测试，而无需经历创建 jar 文件、导出和在 hadoop 集群上进行测试的所有麻烦。

我的问题是任何人都可以帮助我了解 hadoop 如何在 windows 上的本地模式（hdfs 与本地文件系统）下工作，以及如何在 windows 机器上的本地机器中配置 hadoop（我可以遵循哪些步骤）。

我尝试关注各种博客来做同样的事情，但无法从中了解很多。所以在这里张贴相同。

让我知道是否需要任何其他信息。提前致谢。

Answer 1

不幸的是，您不能从一开始就在 Windows 上使用 hadoop - 但是，您可以使用Cygwin来有效地实现相同的目标。

我设法设置了直接从 cygwin 运行的本地模式和分布式模式，但是由于 Unix 和 Windows 路径样式之间的各种 cygpath 转换问题，我无法让伪分布式正常工作。

但是，在实践中，我仍然使用 jar 制作 jar 并将它们直接发送到集群rsync，因为一旦您的项目达到一定的测试量级，它会更快，并且可以从 windows 上的 eclipse 到 linux 集群进行远程调试。