1

我已经安装了 Hadoop 并且测试正常，但是找不到任何关于 n00b 的说明

如何设置级联和 cascading.jruby。在哪里放置级联罐子以及如何配置 jading 以正确构建 ruby​​ 程序集？

有人使用詹金斯自动构建它吗？

编辑：更多细节我正在尝试从https://github.com/etsy/cascading.jruby构建示例字数统计作业

我已经安装

  1. hadoop，并成功运行测试。
  2. 安装了jruby
  3. 宝石安装级联.jruby
  4. 玉 - https://github.com/etsy/jading

  5. 安装蚂蚁

  6. 创建了 wordcount 样本 wc.rb

  7. 运行jade将wc.rb编译成jar

    玉wc.rb

  8. 我收到以下编译错误

    构建文件：build.xml 不存在！构建失败 RuntimeError: Ant 检索失败 (root) at /usr/bin/hjade:89

查看翡翠代码是有道理的，但是示例用法中没有涉及到这一点？我在这里想念什么？

4

3 回答 3

7

抱歉耽搁了; 这是我的第一个答案，在这里。

您描述的问题，Jading 在从符号链接调用时无法找到其 Ant 构建脚本，确实是一个问题。我建议您将 Jading 克隆添加到您的 PATH 中，而不是创建符号链接（或提交拉取请求来解决问题！）。

为了解决您的其他一些问题，我在 Jading wiki 中创建了一个入门页面，这可能会有所帮助。它引导您完成本地和远程 cascading.jruby 作业的启动和运行，而无需安装除 preqs（Java、Ant、JRuby 和 Hadoop 客户端+配置）之外的任何东西。现在包括一个完整的示例 wordcount 脚本，它应该在本地和 Hadoop 集群上运行，并且已经在 Etsy 自己的内部集群上进行了测试。

并且进一步备份以解决您关于 Jenkins 的问题，是的，在 Etsy，我们使用 Jenkins 构建和部署 cascading.jruby（和 Scalding）到我们的集群。但是，该构建过程当前不使用 Jading 来生成作业 jar。我们的构建早于 Jading，而 Jading 试图发布我们构建该 jar 过程的更清洁版本。我们的构建可以很容易地使用 Jading（原始示例来自我们代码的实际使用），但是我们对构建生成的工件的要求略有不同。

如果您对 Jading 有任何其他问题，请随时向 github 项目提交问题或拉取请求。

于 2013-03-22T16:31:39.357 回答
0

我现在已经完成了端到端的工作。我在 /usr/local/bin 中创建了指向 hadoop 和 jading 二进制文件的符号链接

脚本需要从它们自己的目录运行才能找到支持文件

即以下工作：（假设 cascading.jruby 示例在 ~/dev/cascading.jruby.demo/wc.rb

cd /usr/local/jading
./jade ~/dev/cascading.jruby.demo/wc.rb

# creates a jade.jar locally in jading folder
cd /usr/local/hadoop
./bin/hadoop jar /usr/local/jading/jade.jar ~/dev/cascading.jruby.demo/wc.rb ~/dev/cascading.jruby.demo/sampledata/in.txt
于 2013-03-17T07:24:59.447 回答
0

如果您使用的是 jruby。您也必须使用捆绑程序。在这种情况下，您可以在 gemfile 中添加 cascading.jruby 作为依赖项。

无论如何，您可以尝试从您的项目文件夹安装：

gem install 'cascading.jruby'

希望这可以帮助。

于 2013-03-16T13:50:54.290 回答