0

我听说 Apache Crunch 是一个门面，它可以在没有 Hadoop 的情况下运行应用程序。这是真的？

如果是，那么该怎么做？

在Apache Crunch Getting Started中，第一个示例包括 hadoop 命令：

$ hadoop jar target/crunch-demo-1.0-SNAPSHOT-job.jar <in> <out>

可以省略hadoop吗？

4

1 回答 1

0

也许您误解了您不需要 Hadoop集群。Hive、Pig、Spark 都可以在本地运行，也可以在 HDFS 以外的文件系统上运行。

根据我对库的了解，您确实需要 Hadoop API（这hadoop jar将为您加载）。

换句话说，您可以将输入和输出目录设置为本地file://路径来绕过需要 HDFS。

您可以export CLASSPATH自己包含 Hadoop 库，并运行java jar运行 JAR

于 2018-05-24T00:52:04.327 回答