eclipse - 在 windows 中使用 Apache Cascading

Question

我开始使用 Cascading 库，但我搜索信息，所有都是关于 linux 上的级联......我在 ubuntu 服务器中执行了很好的不耐烦示例。

但我想在 windows 中使用 eclipse 开发和测试我的应用程序......

这可能吗？？我该怎么做？

谢谢

Answer 1

要在 windows 中使用 eclipse 开发和测试 Cascading 应用程序，您需要应用补丁 ( https://github.com/congainc/patch-hadoop_7682-1.0.x-win )。下载补丁 jar，然后添加到应用程序的 CLASSPATH。在您的代码中，您需要设置属性“fs.file.impl”

Properties properties = new Properties();
AppProps.setApplicationJarClass(properties, Main.class);
if (System.getProperty("os.name").toLowerCase().indexOf("win") >= 0) {
  properties.put("fs.file.impl",
  "com.conga.services.hadoop.patch.HADOOP_7682.WinLocalFileSystem");
}
HadoopFlowConnector flowConnector = new HadoopFlowConnector(properties);

Answer 2

很高兴听到“不耐烦”的例子有所帮助-

有两个问题：(1) Windows 和 (2) Eclipse。

Hadoop 在 Java 中运行，主要用于在集群上运行应用程序。在 Windows 上你必须小心，因为 Java 支持是有问题的。我见过很多学生尝试使用 Cygwin，认为这会提供 Java 层——但事实并非如此。在 Cygwin 上运行 Hadoop 通常麻烦多于其价值。显然，Microsoft 的HDInsight工作是在 Windows 和 Azure 上运行 Hadoop 的好方法。要在桌面 Windows 上运行 Hadoop，最好使用虚拟机。然后一定要以“独立模式”运行，而不是伪分布式模式或尝试在您的桌面上创建集群。否则，最好在 Azure 上的 HDInsight for Hadoop 中运行级联应用程序。

Eclipse 是一个更简单的答案。“不耐烦”系列中的 Gradle 构建脚本展示了如何使用“gradle eclipse”生成要导入 IDE 的项目。即便如此，您可能必须清理一些路径——据我所见，Eclipse 并没有像应有的那样干净地处理 Gradle 导入。

希望有帮助-